MHA、GQA 与 MQA 的头共享关系
固定 4 个 Query 头，比较三种结构的 K/V 分组方式。选择一个头可高亮对应关系。
Query 头
图示可左右滑动，保留矩阵比例与文字大小。
4 组
MHA
每个 Query 头使用独立的一组 K/V。
2 组
GQA
每两个 Query 头共享一组 K/V。
1 组
MQA
所有 Query 头共享同一组 K/V。
- 维度
- 固定 h = 4，每个头的宽度为 d_h。图中节点用于标识各头，尺寸不表示张量大小。
- 对象
- Q_i 表示第 i 个 Query 头，连接线指向它使用的 K_g / V_g。
- 参数
- 共享 K/V 会减少其投影参数和缓存。各 Query 头仍分别计算注意力概率与输出。