同一个模型，四种大小
选择配置，再改变 KV 头、缓存长度与 batch。所有结果按矩阵形状实时计算。
总参数—
每 token 激活参数（模块口径）—
全部权重的理想存储—
所有序列的 KV 数据—
固定 32 层、隐藏维度 4096、32 个 Query 头、每头 128 维、无 bias、SwiGLU、两端不共享。改变 KV 头得到的是假设架构，不能直接修改已有模型权重。未计激活、工作区、框架和分配开销；模型上下文上限另行约束。
选择配置，再改变 KV 头、缓存长度与 batch。所有结果按矩阵形状实时计算。
固定 32 层、隐藏维度 4096、32 个 Query 头、每头 128 维、无 bias、SwiGLU、两端不共享。改变 KV 头得到的是假设架构，不能直接修改已有模型权重。未计激活、工作区、框架和分配开销；模型上下文上限另行约束。