- 论文公开站arXiv
Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
Masked diffusion language models (dLMs) offer a promising parallel alternative to autoregressive models for complex reasoning. However, they face a distinct credit-assignment challenge, since a few commitments during den…
- 论文公开站arXiv
LESSER: Post-Training Data Selection with Output-Layer Gradients
The choice of post-training data for large language models substantially affects downstream performance. Gradient-based data selection is a popular approach that ranks training data by how well their gradients align with…
- 资讯公开站rss_arxiv_cs_ai
通过嵌入式编码改进大语言模型的医学计算能力
Improving Medical Calculation of LLMs with Embedded Coding
arXiv:2609.31908v1 公告类型：新 摘要：大语言模型（LLM）在医学考试和问答基准上表现良好，但在需要精确数值输出的医学计算任务上仍不可靠。这些计算支撑着用药剂量、器官功能评估和预后评分等高风险决策，即使很小的误差也可能带来严重的临床后果。我们提出 MedCode，一个通过训练 LLM 生成嵌入式可执行代码来改进医学计算的框架。给定临床情境，模型识别相关计算器，提取其输入变量，并生成一段将算术运算委托给确定性解释器的脚本…
- 论文公开站arXiv
交错强化学习让统一模型学会原生反思
Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning
统一多模态模型既能看图又能生成图，原则上可自我修复生成结果：诊断错误、修改、观察再诊断；但修改是否有益只有渲染后才能知晓。
- 论文公开站arXiv
onPanda：通过词元级修正高效标注LLM与智能体对齐数据
onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction
摘要显示，onPanda是一款用于高效标注LLM对齐数据与Agent轨迹的交互式工具，核心交互为Token级校正：标注者定位首个不当Token，从候选Token中选择替代或自由编辑，系统截断其后内容并从修正前缀继续生成，循环此过程。摘要称小规模对照研究显示其中位标注时间较人工后编辑减少52%，且因绝大多数Token由模型生成，数据较好保留采样分布，适合构建on-policy SFT与偏好数据；同时发布Panda-CVL数据集及Token…
意义：Token级校正以低成本产出贴近模型采样分布的on-policy数据，并天然形成带位置的正负样本，可提升SFT与偏好数据构建效率。
- 论文公开站arXiv
MidTool：面向智能体工具使用的中期训练数据合成
MidTool: Mid-training Data Synthesis for Agentic Tool Use
摘要显示，MidTool是一个用于智能体工具使用中期训练的开源语料构建流程，整合大规模网页、PDF和代码数据，并利用真实工具API、MCP技能和文档相关工作流合成监督信号。该流程旨在教会模型识别工具功能、从上下文获取参数、组合工具调用工作流并从不完整信息中恢复。在Qwen3-4B-Base和Qwen3-8B-Base上进行中期训练，并配合监督微调和强化学习，MidTool-Mix在BFCL、tau2-Bench和MCP Universe…
意义：为通用工具使用提供专门的中期训练方法，提升模型在真实工具调用场景中的能力，对智能体开发具有重要意义。
