大模型强化学习中的 KL 散度与梯度估计
从二元分布出发，讨论 KL 的采样估计、奖励修正与直接反传，再推导自回归序列中的梯度关系，并用可枚举的例子核对结果。
最新文章
Transformer 的参数量、计算量与显存
从一层 Transformer 的矩阵形状出发，算清 Llama、Mixtral 的参数量，再把同一套推导用于 KV Cache、推理计算量和训练显存。附交互计算器与可运行代码。
1.5-1.7 常返性、击中概率、格林函数
从一个状态出发，还会不会回来？要等多久？这几节讲常返性，再往下是击中概率和格林函数。
1.3-1.4 状态的分类、首达时、强马氏性
哪些状态能走到一起，第一次到达某个状态要多久，以及到了这个时刻以后，能不能把过程重新开始算。
1.1-1.2 马氏链、不变分布、可逆分布
应随第一章的开头：马氏链是什么，转移矩阵怎么写，不变分布怎么求。后面还有可逆分布和几个例子。
PKU AutoBookingVenues -fixed by cq-tutu
想打羽毛球一直抢不到场，找来的预约脚本又已经跑不动了。改了下 Selenium 和预约流程，把配置和用法放在这里。
这个分类下暂无文章。