- 论文公开站arXiv
用自适应循环Transformer改进测试时扩展
Improving Test-Time Scaling with Adaptive Looped Transformers
循环Transformer通过复用层进行潜在计算，展现出良好的参数效率。此前研究在参数量或每token FLOPs匹配下比较循环与非循环模型，但循环是否改善测试时扩展尚不明确。
- 论文公开站arXiv
学会停止而无需学会停止：自监督置信度训练提升推理效率
Learning to Stop without Learning to Stop: Self-Supervised Confidence Training Improves Reasoning Efficiency
摘要显示，该研究提出一种自监督置信度微调方法：让推理模型在自身推理轨迹的中间点预测对答案的置信度，训练仅用600道题，损失函数不含长度、效率或停止目标，推理时也不做置信度引导或早停。在Gemma、Qwen、Nemotron、GPT-OSS等模型及数学、科学、代码基准上，生成token最多减少25%且准确率持平，效果与显式优化短推理的方法相当，并基本保留原有高层推理结构。
意义：为推理模型提效提供新监督信号：无需改推理流程或加长度惩罚，即可在保持准确率的同时显著降低推理成本。
- 论文公开站arXiv
通过迭代去对齐估计罕见事件
Rare Event Estimation via Iterative Unalignment
摘要显示，该研究针对自主智能体随机输出轨迹中极稀有但可能灾难性的事件，提出一种新的重要性采样方法：通过可微扰动原模型权重构造提议分布，并联合事件放大可微代理与自适应正则化以平衡放大与估计稳定性。在约1.2亿和26亿参数模型、三类事件族、300多个稀有事件（稀有度低至10^-9）上评估，最可验证设置下相较朴素蒙特卡洛获得超过800倍计算加权效率提升。
意义：为评估自主智能体极端风险提供了可扩展的稀有事件概率估计工具，降低安全部署中风险量化的算力门槛。
- 论文公开站arXiv
DolphinBench：绘制智能体记忆的帕累托前沿
DolphinBench: Mapping the Pareto Frontier of Agent Memory
摘要显示，现有记忆基准多采用对话问答形式，问题本身已暗示需检索的事实，且仅以准确率评分，允许系统以不合理成本与时间换取高分。DolphinBench 改为通过智能体任务完成度直接评估记忆，包含三种知识工作角色，每角色约 50 万 token 用户消息，每个角色 200 项任务均经有/无相关历史对照验证，并要求同时报告总成本与延迟。
意义：为智能体记忆系统提供兼顾准确率、成本与延迟的评测基准，有助于避免以不合理开销刷分的记忆方案。
- 论文公开站arXiv
onPanda：通过词元级修正高效标注LLM与智能体对齐数据
onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction
摘要显示，onPanda是一款用于高效标注LLM对齐数据与Agent轨迹的交互式工具，核心交互为Token级校正：标注者定位首个不当Token，从候选Token中选择替代或自由编辑，系统截断其后内容并从修正前缀继续生成，循环此过程。摘要称小规模对照研究显示其中位标注时间较人工后编辑减少52%，且因绝大多数Token由模型生成，数据较好保留采样分布，适合构建on-policy SFT与偏好数据；同时发布Panda-CVL数据集及Token…
意义：Token级校正以低成本产出贴近模型采样分布的on-policy数据，并天然形成带位置的正负样本，可提升SFT与偏好数据构建效率。
- 论文公开站arXiv
临界状态RL：诊断多轮工具使用中的可训练状态
Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use
摘要显示，多轮工具调用失败常取决于单次模型调用，但仅靠奖励变化无法判断哪次调用值得训练，因为奖励可能反映后续随机性而非当前动作差异。作者提出 Critical-State RL，通过评估每次候选调用的局部奖励是否反映其对任务成功的贡献、以及相对参考策略是否存在改进空间，并用嵌套采样分离动作相关奖励变化与延续噪声，在选定状态上以上下文赌博机方式优化策略。在 BFCL v4 上，诊断选出的状态训练优于其他状态，missing-functio…
意义：为多轮工具调用智能体提供一种定位关键可训练步骤的方法，有助于减少无效训练信号、提升 RL 微调效率。
- 论文公开站arXiv
编码智能体测试框架设计的实证研究
An Empirical Study of Harness Design for Coding Agents
该研究用轻量级编码框架在固定执行循环下，分别变化规划、动作空间与上下文管理三个组件，在 SWE-Bench Verified 与 Terminal-Bench 2.1 上对四个模型评测了 176 组匹配设置。摘要显示：上下文预算收紧时上下文管理价值上升，收益主要来自避免上下文溢出；规则式删减先于 LLM 摘要效率最佳；规划对弱模型提升准确率、对强模型主要节省成本；预定义工具利好 bash 能力弱的模型，而 bash 强模型用纯 bash…
意义：为构建编码智能体的开发者提供组件级实证依据，说明上下文管理、规划与工具接口应按模型能力与预算差异化设计，而非整体堆叠。
- 论文公开站arXiv
分数中心化稳定离策略强化学习
Score Centering Stabilizes Off-policy Reinforcement Learning
摘要显示，大语言模型强化学习对训练引擎与推理引擎之间的微小差异（训练-推理不匹配，TIM）高度敏感，而完全消除 TIM 会显著牺牲 rollout 效率。作者认为 TIM 下 RL 不稳定的主因是「漂移」——训练与推理引擎间随训练步数累积的持续偏差，并提出加性的「分数中心化」修正项来抵消漂移。在 0.6B 至 30B 参数模型上，该方法在量化条件下匹配或优于基于重要性采样的方法，且不匹配越严重优势越大；由于修正是加性的，它还能与重要性采…
意义：为 LLM 强化学习训练中普遍存在的训练-推理引擎不一致问题提供了一种轻量、可组合的稳定性修正，有助于在不牺牲 rollout 效率的前提下提升大规模 RL 训练稳定性。
- 论文公开站arXiv
模型增长、递归和边界算子如何影响缩放指数
How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents
摘要显示，该研究挑战了缩放定律中指数固定的传统认知，指出架构干预可改变预训练缩放指数，从而随算力增加带来指数级性能提升。作者以循环Transformer为锚点，发现模型增长（含是否共享权重）对缩放指数影响最大：7.4B增长架构在CORE上以约20倍更少算力匹配GPT-3 13B，且算力效率增益随规模增大。普通Transformer中加入边界算子也有较小增益；数据受限多轮训练下，循环具正则化效果，且随规模增加循环数为算力最优。
意义：若缩放指数可被架构改变，则算力效率提升会随规模放大，为开发者提供超越单纯堆参数的新扩展路径。
- 论文公开站arXiv
双过程语言智能体的认知扩展：交互环境中的记忆与自我反思
Cognitive Extensions for Dual-Process Language Agents: Memory and Self-Reflection in Interactive Environments
摘要显示，研究者为双过程智能体 SwiftSage 增加两个模块化认知扩展：自适应记忆模块（AMM）负责显著性门控的情景存储与触发式检索，自我反思模块（SRM）负责有界的执行期验证与纠正干预。两模块以特性开关形式叠加在同一执行底座上，在 ScienceWorld 上进行受控消融，比较基线、基线+AMM、基线+SRM 与完整系统四种配置。完整系统取得最佳平均最终得分 64.62、成功率 43.17% 与成功步效率 19.33 步，其中 S…
意义：表明交互式语言智能体的主要瓶颈在执行期控制而非记忆，为智能体运行时校验与纠错设计提供可复现的消融证据。
- 论文公开站arXiv
目标 vs. 搜索：分解什么造就了好的分词器
Objective vs. Search: Decomposing What Makes a Good Tokeniser
摘要显示，研究将分词算法差异拆解为优化目标（压缩 vs 对数似然）与搜索过程（自底向上合并 vs 自顶向下剪枝）两个正交维度，并补全 2×2 设计空间，提出 BottomUpLL 与 TopDownComp 两种新算法。在不同模型规模、词表大小及单语/多语场景下训练语言模型并以 bits-per-byte 评估，发现搜索过程而非优化目标是主导因素，自底向上分词器在多数设置下取得更低 bits-per-byte；但在 BLiMP 任务上设…
意义：为开发者选择或设计分词器提供实证依据：优先关注搜索过程而非优化目标，可能更有效提升语言建模效率。
- 论文公开站arXiv
LACE：面向动态帧率编解码器的逐层压缩
LACE: Layer-Wise Compression for Dynamic Frame Rate Codecs
摘要显示，神经音频编解码器帧率高导致序列过长、计算成本上升，动态帧率编解码器通过压缩步骤合并多帧来缓解。但已有方法多针对单码本，或在多层量化前只做一次压缩，使各量化层共享相同分段边界，而不同层的残差嵌入随时间变化速率不同。作者提出 LACE（Layer-Adaptive Codec Encoding），在每个量化层独立压缩以支持层特定分段边界，并引入联合对齐与边界锚机制，用于下游 TTS。LibriTTS 实验显示其在重建的率-质量权衡…
意义：为语音语言模型与 TTS 提供更高效的 token 压缩方案，降低序列长度与推理成本，代码已并入 ESPnet3。
- 论文公开站arXiv
有效学习率主导语言模型预训练中的损失动态
Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining
摘要显示，在语言模型预训练中发现有效学习率（ELR）坍缩现象：学习率与参数范数主要通过其比值（即有效学习率）影响损失动态。当ELR匹配时，不同运行间的损失轨迹在整个训练过程中坍缩，尽管学习率和参数范数差异显著。跨优化器、架构、数据集和模型规模，平均坍缩误差通常为几乘以10^-3，低于代表性配置中种子间变异。系统消融表明，归一化设计和学习率-范数变化的时间尺度是坍缩精度的关键决定因素。受控干预进一步显示，权重衰减和超球形状主要通过其诱导的…
意义：为语言模型预训练提供统一的优化视角，有助于改进学习率调度与范数控制策略，提升训练效率与可预测性。
- 论文公开站arXiv
双维度LLM框架用于大规模测评中题目非内容相似性自动分析
A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments
该研究提出一种基于大语言模型的双维度自动题目相似性分析框架，通过结构化分解和语义相关性来检测题目中非内容冗余。心理测量验证显示，LLM指标比传统文本指标更接近构念无关局部依赖，并产生更一致的题目参数分组。在计算机自适应测试中，基于LLM的相似性约束提高了估计稳定性并减少了偏差。
意义：为大规模题库管理提供新方法，提升自适应测试的准确性和效率，对教育测评AI应用有重要价值。
- 论文公开站arXiv
通过局部增强偏好与表示解缠改进跨问题车辆路径规划
Improving Cross-Problem Vehicle Routing with Locally Augmented Preferences and Representation Disentanglement
摘要显示，多任务车辆路径问题求解器面临训练监督弱和架构纠缠的挑战。为此，提出POLAR训练算法，通过局部搜索细化最佳解码路径以形成更优偏好对，以及PLE编码器，利用门控机制分离共享专家与任务特定专家，逐步解缠通用路由结构与约束特定编码。实验表明，两者结合可提升当前最先进性能。
意义：对开发者而言，该研究提供了训练算法与架构设计的改进，有望提升多任务VRP模型的泛化能力与训练效率，推动实际物流调度应用。
- 论文公开站arXiv
SPO++：面向异步智能体强化学习的流对齐策略优化
SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL
摘要介绍SPO++，一种改进的异步智能体强化学习算法。针对组相对强化学习等待同提示兄弟rollout的高成本，SPO使用持久提示级价值估计，但轨迹中心化未能正确居中行动者消费的token加权量。SPO++通过标准化行动token度量下的终端结果优势来修正，并依据策略事件而非接收顺序组织提示证据。在ALFWorld和Math-TIR上的实验显示，SPO++相比SPO提升了在线学习效率，消融实验表明行动token度量归一化是最有效的组件。
意义：为异步智能体强化学习提供更高效的策略优化方法，减少等待成本，提升在线学习效率，对长工具使用轨迹的智能体训练有重要意义。
- 论文公开站arXiv
AI辅助如何影响人类技能发展：一项基于逻辑谜题的学习研究
How AI Assistance Affects Human Skill Development: A Study of Learning with Logic Puzzles
摘要显示，研究者通过逻辑谜题实验考察AI辅助对技能发展的影响。实验设置不同AI请求成本，发现低成本辅助导致更频繁使用AI。参与者在AI辅助阶段请求帮助后，在移除辅助后表现更差，且其后续无辅助表现被高估。贝叶斯潜在能力模型显示，独立解决问题的努力与能力提升正相关，表明AI替代独立推理会削弱技能发展。
意义：对开发者与AI行业而言，此研究提示AI工具设计需平衡效率与用户长期技能发展，避免过度依赖导致能力退化，对AI辅助学习系统设计有重要参考价值。
- 论文公开站arXiv
ConvergeFlow：具有可证明收敛到词元嵌入的语言流模型
ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings
ConvergeFlow是一种基于嵌入空间的流式语言模型，将数据预测器限制在词元嵌入的凸包内，并仅使用流匹配的均方误差目标进行训练。在适当正则条件下，证明该流能收敛到有效词元嵌入，无需交叉熵解码器即可直接预测词元。实验表明其在OpenWebText上性能与现有连续和离散扩散模型相当。
意义：该研究简化了连续语言模型的训练流程，无需交叉熵解码器，为流式语言建模提供了理论基础，可能提升生成效率与可控性。
- 论文公开站arXiv
均匀与重掩码离散扩散模型的自适应采样保证
Provably adaptive sampling with uniform and remasking discrete diffusion models
摘要显示，针对均匀前向过程的离散扩散模型，标准τ-leaping采样器的下界随维度d线性增长，但该研究提出一种基于留一法去噪器的一阶采样器，支持并行坐标更新，并能纠正采样中的去噪错误。主要结果建立了自适应采样保证：在忽略对数因子下，N = O(DTC(X0)/ε)步即可达到O(ε_score+ε)的采样误差，其中DTC为双总相关，表明采样复杂度由目标分布的内在结构而非维度决定。
意义：该研究为离散扩散模型提供了更高效的采样方法，将采样复杂度与数据内在结构关联，有望提升高维生成任务的效率，对生成式AI的推理优化有重要意义。
- 论文公开站arXiv
重新思考测试时训练的表示能力与效率：E²-TTT 方法
Rethinking Expressivity and Efficiency in Test-Time Training
摘要介绍了一种名为 E²-TTT 的新方法，旨在平衡测试时训练（TTT）中逐 token 更新动态的表示能力与分块近似的硬件效率。该方法在标准近似下推导出闭式状态转移，精确复现逐 token 循环的块端快速权重和动量状态，实现完全并行化的块级训练，同时保留先前分块方法丢弃的时间结构。通过在最多 1.3B 参数模型上的验证，E²-TTT 在语言建模上与现有 TTT 和混合注意力基线相当，但在上下文检索上表现更优，尤其在长度外推上优势显著，…
意义：E²-TTT 为长上下文处理提供了兼顾表示能力与硬件效率的解决方案，有望提升语言模型在长序列任务中的性能，并推动 TTT 方法的实际应用。
- 论文公开站arXiv
凸集图上Steiner旅行商问题的统一分支定界搜索
Unified Branch-and-Bound Search for the Steiner Traveling Salesman Problem on Graphs of Convex Sets
摘要提出了一种在凸集图（GCS）上求解Steiner旅行商问题（Steiner-TSP）的统一分支定界搜索方法，该问题要求寻找通过所需凸集的最小成本闭合轨迹，允许可选中转顶点和重复访问。通过根行走前缀的搜索，利用加性下界图成本和割分离连通流松弛来界定前缀和剩余成本。在均匀正成本假设下，最佳优先遍历在有限次扩展后终止，深度优先遍历在有限可行解存在时终止。对于用户指定的因子ε≥1，全局下界保证任一策略的解成本至多为全局最优的ε倍。在移动机械…
意义：为机器人路径规划等组合优化问题提供统一求解框架，兼顾最优性保证与计算效率，对AI决策与自动化领域有参考价值。
- 论文公开站arXiv
TurboBias 2.0：面向生产高效ASR系统的流式上下文偏置
TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
摘要显示，TurboBias 2.0是一个面向生产环境的ASR上下文偏置框架，基于Transducer架构，扩展了GPU加速的TurboBias，支持大小写不敏感的偏置图和每流批量解码，允许每个批次中的话语使用独立的上下文配置，实现多用户个性化偏置而无需共享列表。该框架支持离线和流式推理，兼容贪心和束搜索解码，实验表明能提升上下文短语识别，同时保持低延迟和高吞吐量。
意义：对开发者而言，该框架解决了生产ASR中多用户个性化上下文偏置的实际需求，兼顾流式推理与低开销，有助于提升实时语音识别系统的准确性和效率。
- 论文公开站arXiv
自精炼流水线中的非对称容量分配研究
Asymmetric Capacity Allocation in Self-Refinement Pipelines
自精炼（生成、批评、修订）是提升大模型生成能力的常用范式，但现有方法多将模型大小视为实现细节而非研究对象。本文首次对自精炼流程进行分阶段模型规模研究，基于Qwen3和Gemma 3的多个尺寸在5个基准上实验，发现较大生成器和修订者通常提升性能，而过小的修订者可能损害性能；批评者大小对性能影响不敏感，但包含小型批评者仍优于完全省略。
意义：为多阶段LLM系统提供容量分配指导，避免资源浪费，助力构建计算高效的自精炼流水线。
- 论文公开站arXiv
AI从应用到硅片的权威验证：一人五周流片RISC-V，零人工审查
AI with Authority, from Application to Silicon
摘要显示，生成式AI使机器验证从昂贵开销变为高效必需。一名研究人员在五周内，利用消费级AI订阅，指挥AI代理从应用代码经验证编译器到RISC-V处理器流片，全程无人工审查、无人工编写RTL。所采用的Salt方法基于证明内核，杜绝幻觉证明，验证从Lean 4内核到硅边界SAT检查逐环相扣。记录显示错误账本编号至#256，零错误证明进入记录。
意义：展示AI代理在硬件设计中的可靠协作范式，验证自动化证明与人类监督的结合，对提升AI开发效率与信任度有指导意义。
- 论文公开站arXiv
牛顿法的原始加速方法
Primal Acceleration of Newton's Method
我们开发了一种新的直接加速牛顿法，用于最小化具有Lipschitz连续Hessian的凸函数。该算法仅使用原始变量，每次迭代只需一次线性求解。通过简单的预定参数选择，它在函数残差方面达到O(1/k^3)的全局收敛率。据我们所知，这是此类问题中第一种在每次迭代仅依赖一次线性系统求解（无需求解辅助非线性正则化子问题，如三次正则化，执行非线性参数搜索或使用对偶外梯度校正）就达到此速率的一阶方法。我们的方法可以以无Hessian方式实现，使用非…
意义：该算法在保持二阶方法快速收敛的同时，大幅降低了计算成本，为大规模凸优化提供了新选择，可能推动机器学习中相关问题的求解效率。
