Transformer 的计算流程
以 Pre-RMSNorm 结构为例，展示词嵌入、残差更新与输出投影。
图示可左右滑动，保留矩阵比例与文字大小。
01
词嵌入
根据 token ID 查表，得到对应的 d 维向量。
02a
Attention 子层
归一化后的表示参与注意力计算，结果与输入 X 相加。
02b
FFN 子层
H 经归一化与前馈变换后，通过残差相加得到 Y。
03
词表投影
02a 与 02b 构成一个 Block。经过 L 层后，最终表示映射为词表分数。
- 维度
- B 为批大小，T 为序列长度，d 为隐藏维度，V 为词表大小。各 Block 的输入输出形状均为 B × T × d。
- 对象
- 方框表示计算操作。token ID 为离散编号，残差流中的表示为实数向量，logits 为未归一化的词表分数。
- 参数
- 可学习参数来自 Norm 的缩放、线性投影和嵌入表。残差相加、mask 与本文采用的 RoPE 不引入参数。