SwiGLU 的门控与投影
输入经过两个独立投影，所得结果逐元素相乘，再映射回隐藏维度。
Y = [SiLU(XW₁) ⊙ (XW₃)]W₂
图示可左右滑动，保留矩阵比例与文字大小。
01
并行投影
W₁ 和 W₃ 分别将输入映射到 d_ff 维，门控支路随后应用 SiLU。
02
逐元素门控
G 与 U 逐元素相乘，得到相同形状的 Z。
03
输出投影
W₂ 将中间结果映射回 d 维，与残差流的宽度一致。
- 维度
- 取 T = 2，d = 4，d_ff = 6，并省略批次轴。相同维度对应相同边长。
- 对象
- W₁、W₂、W₃ 为权重矩阵，G、U、Z、Y 为中间张量。颜色区分计算支路，深浅仅作示意；⊙ 表示逐元素相乘。
- 参数
- 三次投影共包含 3 d d_ff 个权重，本例为 72。SiLU 与逐元素相乘均不引入参数。