站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
语言模型的最小侵入式引导
Minimally Invasive Steering of Language Models
论文提出 MISVO（最小侵入式转向向量优化），在冻结语言模型的最终隐藏状态上加入向量以实现测试时奖励适配，并用诱导 token 分布的局部 KL 几何对干预进行惩罚。该 Fisher 二次型可通过与冻结语言模型 head 的矩阵-向量乘积解析求梯度，作者还给出序列级 KL 梯度分解。在约 1B–14B 参数模型的偏好与代码生成任务中，MISVO 在 7 个模型-任务设置中的 6 个取得最高平均奖励，多样性与连贯性接近 Best-of-N。
意义：为冻结模型提供无需更新参数、更少损伤生成质量的测试时对齐方法，降低微调成本。