请问为什么transformer的forward部分，encoder和decoder输入的是同一个文本序列？

[zhoushaoxiang]

https://github.com/datawhalechina/tiny-universe/blob/main/content/TinyTransformer/tiny_transformer.py#L281

[logan-zou]

不好意思，没有太理解你的问题；Transformer 应用于 Seq2Seq 任务，也就是模型的输入就是一个文本序列；其 forward 计算流程为输入的文本序列先经过 Encoder 编码，再进入 Decoder 解码，在全部过程中也仅有一个输入文本序列

[zhoushaoxiang]

不好意思，没有太理解你的问题；Transformer 应用于 Seq2Seq 任务，也就是模型的输入就是一个文本序列；其 forward 计算流程为输入的文本序列先经过 Encoder 编码，再进入 Decoder 解码，在全部过程中也仅有一个输入文本序列

您好，我理解的transformer，encoder输入的是源文本，decoder输入的是目标文本；
训练过程中，第i个Decoder输入是： Encoder的输出 + 目标序列的一部分；
推理过程中，第i个Decoder输入是Encoder的输出 + 第(i-1)个decoder输出，第一次decoder的输入是Decoder接收初始输入（开始符号）和来自Encoder的所有输出。

我理解的和您所说的有些差异，我不清楚是不是同时有这两种用法？

[HugoWang232608]

这个代码不是对这个图的实现，代码中target并没有参与训练，只是最后计算交叉熵

[zhoushaoxiang]

这个代码不是对这个图的实现，代码中target并没有参与训练，只是最后计算交叉熵

哦哦，谢谢，请问这个代码是对哪个版本的实现呀，我想学习一下