MoE 的路由与加权汇总
Router 为每个 token 选择 4 个专家中的 2 个，并确定其输出的混合权重。
路由结果
图示可左右滑动，保留矩阵比例与文字大小。
01
路由概率
路由分数 xW_r 经 softmax 转为专家概率，图中以柱高表示。
02
专家选择
取概率最大的两项，保留专家编号，并将对应概率重新归一化。
03
分发与汇总
输入 x 分发给选中的专家，各专家输出按归一化权重求和。
- 维度
- x 的形状为 1 × d，Router 权重为 d × E，取 E = 4。各专家输出均为 1 × d；图中节点表示专家身份。
- 对象
- Top-k 返回按概率降序排列的专家编号，取值为 1 到 4 的整数。选中概率归一化后，两项混合权重之和为 1。
- 计算
- 示例采用 Mixtral 的选中概率归一化方式，路由分数取 log(p)。本 token 仅在选中的专家中进行前向计算。