- 资讯公开站rss_arxiv_cs_ai
有效的大语言模型微调是否必须依赖人类可读文本？
Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?
arXiv:2609.35868v1 公告类型：新 摘要：有效微调大语言模型是否必须依赖人类可读性？我们研究模型条件化的训练表示能否在无需人类可读文本形式的情况下保持或提升适配效用。我们提出 Desired-Update-Aligned Synthetic Data（DASA），利用冻结参考模型的激活梯度反馈来指导连续合成输入嵌入的优化。受激活梯度在局部风险降低中作用的启发，DASA 针对有用的适配更新，而非源文本重建或语言流畅性。所得…
- 论文公开站arXiv
Harness-Zero：以智能体为框架的框架蒸馏
Harness-Zero: Harness Distillation via Agent-as-Harness
论文提出「智能体外壳蒸馏」问题：将针对特定领域或实例优化过的外部外壳（harness）所诱导的行为迁移进模型权重，使收益在部署时固定单一外壳下仍能保留。作者提出 Harness-Zero，借助「智能体即外壳」机制，由受优化外壳引导的智能体在目标外壳动作空间中修正学生回答，形成训练示范，再经微调内化。实验覆盖知识工作、工具使用与科学领域，摘要显示在相同演化外壳下 agent-as-harness 优于 code-as-harness。
意义：为智能体训练提供新范式：把外部外壳的优化收益固化进模型权重，减少对部署期专用外壳与路由的依赖。