- 论文公开站arXiv
DP-SGD 下权重绑定对纯解码器 LLM 是否仍有益？
Is Weight Tying Still Beneficial for Decoder-Only LLMs in Private Settings Under DP-SGD?
DP-SGD 是大模型隐私保护微调的主流方法。许多纯解码器 LLM 采用输入输出嵌入权重绑定，本文在差分隐私设定下重新审视这一设计是否仍然有利。
- 论文公开站arXiv
面向多模态临床诊断的排序感知提示优化
Ranking-Aware Prompt Optimization for Multimodal Clinical Diagnosis
多模态大模型正快速推进临床诊断，但其适配流程仍以准确率为目标。临床数据类别严重不平衡，恒定多数类预测器准确率可超90%却无临床价值。
- 论文公开站arXiv
AdviSD：通过定向多轮自蒸馏学习指导前沿大模型
AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation
小型可训练顾问可利用自然语言建议引导冻结的语言模型执行器。除任务奖励外，顾问还可利用已完成交互的反馈改进建议，但看似合理的纠正未必能改变执行结果。
- 论文公开站arXiv
大模型图重建失真的谱理论：紧界与实证刻画
A Spectral Theory of Distortion in LLM Graph Reconstruction: Sharp Bounds and Empirical Characterization
语言模型图重建评估通常报告原始图与重建图之间的单一聚合距离。本文证明对于拉普拉斯谱间的Wasserstein距离，该汇总受两个边计数约束。
- 论文公开站arXiv
LeapQuant：具有精确循环状态量化的高效线性注意力
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
近期大模型越来越多采用线性注意力替代标准注意力，如Gated DeltaNet和Kimi Delta Attention。这些方法将上下文压缩为固定大小循环状态，大幅降低长上下文成本。本文提出LeapQuant。
- 论文公开站arXiv
学会停止而无需学会停止：自监督置信度训练提升推理效率
Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
摘要显示，该研究提出一种自监督置信度微调方法：让推理模型在自身推理轨迹的中间点预测对答案的置信度，训练仅用600道题，损失函数不含长度、效率或停止目标，推理时也不做置信度引导或早停。在Gemma、Qwen、Nemotron、GPT-OSS等模型及数学、科学、代码基准上，生成token最多减少25%且准确率持平，效果与显式优化短推理的方法相当，并基本保留原有高层推理结构。
意义：为推理模型提效提供新监督信号：无需改推理流程或加长度惩罚，即可在保持准确率的同时显著降低推理成本。
- 论文公开站arXiv
StageGuard：通过智能体蒸馏学习长时程机器人任务的阶段转换
StageGuard: Learning Stage Transitions for Long-Horizon Robot Tasks via Agentic Distillation
摘要显示，针对长时程机器人任务中判断何时终止当前技能并切换到下一子任务的问题，作者提出 StageGuard，一种智能体蒸馏框架。该方法结合教师模型推理与演示轨迹，生成子任务完成与策略切换的结构化解释，再让轻量学生 VLM 生成紧凑自解释并做监督微调。在两个基准轨迹上评估阶段转换预测，并通过集成到 BEHAVIOR-1K 分层机器人控制中评估闭环任务成功率，还在真实机器人上做了进一步验证。结果称阶段转换预测显著提升，并支持高效在线监控。
意义：为长时程机器人任务提供轻量级阶段切换判断方案，降低对云端大模型推理的依赖，利于实时在线监控与端侧部署。
- 论文公开站arXiv
自精炼流水线中的非对称容量分配研究
Asymmetric Capacity Allocation in Self-Refinement Pipelines
自精炼（生成、批评、修订）是提升大模型生成能力的常用范式，但现有方法多将模型大小视为实现细节而非研究对象。本文首次对自精炼流程进行分阶段模型规模研究，基于Qwen3和Gemma 3的多个尺寸在5个基准上实验，发现较大生成器和修订者通常提升性能，而过小的修订者可能损害性能；批评者大小对性能影响不敏感，但包含小型批评者仍优于完全省略。
意义：为多阶段LLM系统提供容量分配指导，避免资源浪费，助力构建计算高效的自精炼流水线。
