- 论文公开站arXiv
Cogentic：面向自动证明发现的多智能体编排
Cogentic: Multi-Agent Orchestration for Automated Proof Discovery
提出 Cogentic，一个用于开放研究问题自动证明发现的多智能体框架。前沿语言模型虽能单次生成优质数学想法，但面对需多路径探索的开放问题，单次生成往往不足。
- 论文公开站arXiv
打破同质化陷阱：通过SplitMoE扩展视频扩散模型
Breaking the Uniformity Trap: Scaling Video Diffusion Model via SplitMoE
受大语言模型启发的混合专家（MoE）是扩展视觉生成模型的有前景范式，但传统token级MoE在同类专家池中独立路由token并趋向均匀化，限制了性能。本文提出SplitMoE方法。
- 论文公开站arXiv
AdviSD：通过定向多轮自蒸馏学习指导前沿大模型
AdviSD: Learning to Advise Frontier LLMs via Targeted Multi-Turn Self-Distillation
小型可训练顾问可利用自然语言建议引导冻结的语言模型执行器。除任务奖励外，顾问还可利用已完成交互的反馈改进建议，但看似合理的纠正未必能改变执行结果。
- 论文公开站arXiv
大模型图重建失真的谱理论：紧界与实证刻画
A Spectral Theory of Distortion in LLM Graph Reconstruction: Sharp Bounds and Empirical Characterization
语言模型图重建评估通常报告原始图与重建图之间的单一聚合距离。本文证明对于拉普拉斯谱间的Wasserstein距离，该汇总受两个边计数约束。
- 论文公开站arXiv
伸缩式语言模型
Telescopic Language Models
一个已部署的语言模型常需服务多种算力预算，而每个预算点仍需单独训练或压缩；本文训练伸缩式语言模型（TLM）作为连续体，由随机前缀监督的嵌套容量Transformer构成。
- 论文公开站arXiv
大语言模型用于结构化临床数据分析：双智能体接地与验证
Large Language Models for Structured Clinical Data Analysis: Dual-Agent Grounding and Validation
目标：开发并表征 CLEAR-Med，一种用于结构化临床数据自然语言分析的双智能体框架，将基于 SQL 的调用与独立验证分离。方法：CLEAR-Med 使用一个智能体将问题转化为可执行的结构化查询。
- 论文公开站arXiv
约束强化学习中的视觉-语言信号：安全增益但无预判能力
Vision--Language Signals in Constrained RL: Safety Gains Without Anticipation
安全强化学习寻求在满足安全约束的同时最大化任务性能的策略。然而在驾驶基准中，碰撞成本通常仅在碰撞时出现，无法提前预警逼近的危险。冻结的视觉-语言模型被用于提供信号。
- 论文公开站arXiv
Kafila：在可信异构消费级机器集合上服务大语言模型
Kafila: Serving Large Language Models on a Trusted Set of Heterogeneous Commodity Machines
研究组成员或朋友圈各自拥有几台消费级计算机，但单台都不足以运行一个有能力的大语言模型。现有系统在开放集群中汇聚此类算力，而仅接纳可信机器的群体则无法使用。
- 论文公开站arXiv
用价值移植引导语言模型目标
Steering Language Model Goals with Value Transplant
推理模型常表现得仿佛在追求目标，但其努力并不总指向用户意图，有时导致意外结果。先前工作研究了模型如何通过“价值”内部追踪其目标进展。
- 论文公开站arXiv
语言模型的最小侵入式引导
Minimally Invasive Steering of Language Models
论文提出 MISVO（最小侵入式转向向量优化），在冻结语言模型的最终隐藏状态上加入向量以实现测试时奖励适配，并用诱导 token 分布的局部 KL 几何对干预进行惩罚。该 Fisher 二次型可通过与冻结语言模型 head 的矩阵-向量乘积解析求梯度，作者还给出序列级 KL 梯度分解。在约 1B–14B 参数模型的偏好与代码生成任务中，MISVO 在 7 个模型-任务设置中的 6 个取得最高平均奖励，多样性与连贯性接近 Best-of-…
意义：为冻结模型提供无需更新参数、更少损伤生成质量的测试时对齐方法，降低微调成本。
- 论文公开站arXiv
需求约束的已验证调试：四十亿参数冻结本地模型作为候选生成器
Requirement-Bound Verified Commissioning: A Frozen Four-Billion-Parameter Local Model as a Candidate Generator under an External Acceptance Layer with Verification and Release Authority
摘要显示，该研究为机电调试中的传感器坐标与极性绑定提出一种验收协议，将候选生成与发布权限分离：确定性解析器无法支持的需求被路由至一个冻结的40亿参数本地语言模型，仅当外部门控在密封语法下能推导出两项事实时才发布计划。在144项任务上评估，22项被路由的不可答任务中21项提交了伪造的“就绪”计划且全部被拒；83次发布中未观察到误发布，单侧95% Clopper-Pearson上界为0.0354，低于5%阈值。但基准外另有1次误发布记录。
意义：为LLM在安全关键工业场景中的使用提供“生成与发布分离”的验证架构，对构建可审计、可拒绝的AI调试系统有参考价值。
- 论文公开站arXiv
信还是不信：语音中的检索增强事实核查
To Trust or Not to Trust: Retrieval-Augmented Fact Checking in Speech
摘要显示，研究者提出 VeriSpeak，一个用于研究大型音频语言模型（LALM）语音事实核查能力的探针基准，包含 3,879 条口语化声明，覆盖时间、地理与关系类事实，真假标签均衡。实验发现文本与语音之间存在稳定的模态差距：能可靠核查书面声明的模型在同样内容以语音呈现时常常失败；仅靠检索收益有限，因为模型常将检索证据与语音声明混淆，而检索结合显式推理可提升声明-证据比对效果，思维调优的 LALM 达到 86.1% 准确率。
意义：提示开发者：语音场景下事实核查不能简单复用文本能力，需重视跨模态差距与检索证据的显式推理比对。
- 论文公开站arXiv
数学推理中顺序不变的答案与顺序敏感的表示
Order-Invariant Answers, Order-Sensitive Representations in Mathematical Reasoning
摘要显示，研究用合成多步函数复合任务测试16个1B至8B参数语言模型，在语义相同但规则顺序不同的题目下测量准确率与置换信噪比（SNR）。结果显示，能更准确解答重排问题的模型，其内部表征对不同规则顺序的区分度更高；层平均置换SNR与准确率在所有测试设置中均呈正秩相关，Spearman相关系数最高达0.86。研究据此提出应区分答案不变性与表征不变性。
意义：提示开发者：模型答案正确不等于内部表征对顺序不敏感，评估数学推理时需关注表征层面的顺序敏感性。
- 论文公开站arXiv
通过迭代去对齐估计罕见事件
Rare Event Estimation via Iterative Unalignment
摘要显示，该研究针对自主智能体随机输出轨迹中极稀有但可能灾难性的事件，提出一种新的重要性采样方法：通过可微扰动原模型权重构造提议分布，并联合事件放大可微代理与自适应正则化以平衡放大与估计稳定性。在约1.2亿和26亿参数模型、三类事件族、300多个稀有事件（稀有度低至10^-9）上评估，最可验证设置下相较朴素蒙特卡洛获得超过800倍计算加权效率提升。
意义：为评估自主智能体极端风险提供了可扩展的稀有事件概率估计工具，降低安全部署中风险量化的算力门槛。
- 论文公开站arXiv
MIGU：面向操作规划的不确定性下多模态指令接地
MIGU: Multimodal Instruction Grounding under Uncertainty for Manipulation Planning
摘要显示，MIGU 是一个模块化框架，用于在语言与手势线索互补但不确定的情况下进行多模态指令接地。它通过眼-指几何传播视线方向与深度不确定性构建三维几何似然，并结合视觉语言模型提供的语义先验，以类贝叶斯方式融合为统一接地信念，进而支持直接规划或请求澄清。真实基准上 MIGU 优于所评估基线，消融实验支持显式多模态不确定性建模的收益。
意义：为机器人在不确定语言与手势输入下提供可量化的接地与澄清机制，对具身智能与多模态规划有参考价值。
- 论文公开站arXiv
SeeQ：为长时程机器人操作训练通用价值函数
SeeQ: Training Generalist Value Functions for Long-Horizon Robotic Manipulation
摘要显示，通用机器人策略在包含多阶段或需反复尝试的长时程任务上表现脆弱。SeeQ 提出学习当前活跃子任务的 Q 值，以缩短价值预测时程，从而可用时序差分目标有效训练；训练时利用离线机器人数据中的子任务标注，测试时由视觉-语言骨干自回归预测自然语言子任务再估值。在两种双臂机器人平台的四个真实操作任务上，该方法显著提升了 best-of-N 策略引导效果。
意义：为长时程机器人操作提供可扩展的价值函数训练范式，降低稀疏奖励下的信用分配难度，对通用机器人策略与强化学习结合有参考价值。
- 论文公开站arXiv
分数中心化稳定离策略强化学习
Score Centering Stabilizes Off-policy Reinforcement Learning
摘要显示，大语言模型强化学习对训练引擎与推理引擎之间的微小差异（训练-推理不匹配，TIM）高度敏感，而完全消除 TIM 会显著牺牲 rollout 效率。作者认为 TIM 下 RL 不稳定的主因是「漂移」——训练与推理引擎间随训练步数累积的持续偏差，并提出加性的「分数中心化」修正项来抵消漂移。在 0.6B 至 30B 参数模型上，该方法在量化条件下匹配或优于基于重要性采样的方法，且不匹配越严重优势越大；由于修正是加性的，它还能与重要性采…
意义：为 LLM 强化学习训练中普遍存在的训练-推理引擎不一致问题提供了一种轻量、可组合的稳定性修正，有助于在不牺牲 rollout 效率的前提下提升大规模 RL 训练稳定性。
- 论文公开站arXiv
基于VLM智能体的上下文机器人学习
In-Context Robot Learning with VLM Agents
摘要显示，该研究提出 GPT-Policy，一种面向上下文机器人学习的通用智能体框架，整合了保留任务相关视觉过渡的上下文编译器、提出机器人工具动作的视觉语言模型（VLM），以及验证并执行动作、反馈结果的受限控制器。在真实机器人试验中，人类视频演示即使没有机器人动作标签也能提升任务完成率，对齐的动作参考在接触敏感任务上带来进一步增益，无需梯度更新或持久修改任务参数。
意义：为机器人泛化提供无需微调的新范式，降低部署成本，并凸显VLM作为机器人策略核心组件的潜力。
- 论文公开站arXiv
目标 vs. 搜索：分解什么造就了好的分词器
Objective vs. Search: Decomposing What Makes a Good Tokeniser
摘要显示，研究将分词算法差异拆解为优化目标（压缩 vs 对数似然）与搜索过程（自底向上合并 vs 自顶向下剪枝）两个正交维度，并补全 2×2 设计空间，提出 BottomUpLL 与 TopDownComp 两种新算法。在不同模型规模、词表大小及单语/多语场景下训练语言模型并以 bits-per-byte 评估，发现搜索过程而非优化目标是主导因素，自底向上分词器在多数设置下取得更低 bits-per-byte；但在 BLiMP 任务上设…
意义：为开发者选择或设计分词器提供实证依据：优先关注搜索过程而非优化目标，可能更有效提升语言建模效率。
- 论文公开站arXiv
LACE：面向动态帧率编解码器的逐层压缩
LACE: Layer-Wise Compression for Dynamic Frame Rate Codecs
摘要显示，神经音频编解码器帧率高导致序列过长、计算成本上升，动态帧率编解码器通过压缩步骤合并多帧来缓解。但已有方法多针对单码本，或在多层量化前只做一次压缩，使各量化层共享相同分段边界，而不同层的残差嵌入随时间变化速率不同。作者提出 LACE（Layer-Adaptive Codec Encoding），在每个量化层独立压缩以支持层特定分段边界，并引入联合对齐与边界锚机制，用于下游 TTS。LibriTTS 实验显示其在重建的率-质量权衡…
意义：为语音语言模型与 TTS 提供更高效的 token 压缩方案，降低序列长度与推理成本，代码已并入 ESPnet3。
- 论文公开站arXiv
有效学习率主导语言模型预训练中的损失动态
Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining
摘要显示，在语言模型预训练中发现有效学习率（ELR）坍缩现象：学习率与参数范数主要通过其比值（即有效学习率）影响损失动态。当ELR匹配时，不同运行间的损失轨迹在整个训练过程中坍缩，尽管学习率和参数范数差异显著。跨优化器、架构、数据集和模型规模，平均坍缩误差通常为几乘以10^-3，低于代表性配置中种子间变异。系统消融表明，归一化设计和学习率-范数变化的时间尺度是坍缩精度的关键决定因素。受控干预进一步显示，权重衰减和超球形状主要通过其诱导的…
意义：为语言模型预训练提供统一的优化视角，有助于改进学习率调度与范数控制策略，提升训练效率与可预测性。
- 论文公开站arXiv
部分知识下的约束实体选择：面向LLM知识图谱问答
Constrained Entity Selection under Partial Knowledge for LLM-Based Knowledge Graph QA
该论文研究大语言模型在知识图谱问答中的实体选择问题，提出CES-PK框架，利用轻量级符号约束（类型、关系、排除）过滤无效候选答案，并采用三值语义（满足、违反、未知）处理不完整知识图谱。在Hetionet生物医学知识图谱上的实验显示，该方法能提升精确率，同时保持召回率。
意义：提供一种无需完整语义解析即可提升KGQA可靠性的方法，对构建可验证的LLM问答系统有参考价值。
- 论文公开站arXiv
双维度LLM框架用于大规模测评中题目非内容相似性自动分析
A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments
该研究提出一种基于大语言模型的双维度自动题目相似性分析框架，通过结构化分解和语义相关性来检测题目中非内容冗余。心理测量验证显示，LLM指标比传统文本指标更接近构念无关局部依赖，并产生更一致的题目参数分组。在计算机自适应测试中，基于LLM的相似性约束提高了估计稳定性并减少了偏差。
意义：为大规模题库管理提供新方法，提升自适应测试的准确性和效率，对教育测评AI应用有重要价值。
- 论文公开站arXiv
读取不等于使用：检索、判断与AI金融研究工作流的设计
Reading Is Not Using: Retrieval, Judgment, and the Design of AI Financial Research Workflows
摘要显示，大型语言模型在金融分析中的评估通常基于检索能力，而非检索信息对判断的影响。研究发现，在长上下文金融分析中存在“检索-整合缺口”：当无关上下文从2000增至128000个token时，风险披露对投资判断的影响降至噪声水平，尽管直接检索仍准确。该现象在多个模型家族和任务中复现，且更强大的模型仅推迟而非消除此缺口。因果记忆干预表明，压缩摘要和源文本查找共同传递披露信息，而工作流架构（如分块-总结流水线会逐出相关信息）决定传递成败。因…
意义：对AI行业而言，提示了仅靠检索评估的不足，强调工作流设计对模型实际决策的影响，为金融AI系统开发提供关键考量。
- 论文公开站arXiv
ConvergeFlow：具有可证明收敛到词元嵌入的语言流模型
ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
ConvergeFlow是一种基于嵌入空间的流式语言模型，将数据预测器限制在词元嵌入的凸包内，并仅使用流匹配的均方误差目标进行训练。在适当正则条件下，证明该流能收敛到有效词元嵌入，无需交叉熵解码器即可直接预测词元。实验表明其在OpenWebText上性能与现有连续和离散扩散模型相当。
意义：该研究简化了连续语言模型的训练流程，无需交叉熵解码器，为流式语言建模提供了理论基础，可能提升生成效率与可控性。
