- 论文公开站arXiv
FAMOS:从稀疏观测前馈式建模3D铰接物体
FAMOS: Feed-Forward 3D Articulation Modeling from Sparse Observations
摘要显示,FAMOS 是一种前馈模型,可从稀疏、无序的部分点云集合中预测可动部件分割与关节参数,联合推理多个观测并支持可变数量输入(含单视图)。方法引入 Multi-state Articulation Transformer,交替进行状态级与全局注意力,并提出 observed articulation span 目标以监督各部件在输入观测中的运动范围。作者还构建程序化数据生成器合成自标注资产,在 PartNet-Mobility、A…
意义:为机器人操作与具身智能提供无需逐物体优化的稀疏视图铰接物体建模方案,降低对类别级形状先验与密集观测的依赖。
- 论文公开站arXiv
LLM偏好对齐的零阶范式
A Zeroth-Order Paradigm for LLM Preference Alignment
摘要显示,该论文提出并分析了一种基于比较预言机的零阶对齐方法 ComPO,用于从偏好对中提取方向信息,而不直接优化可微的偏好损失,以缓解似然位移问题。作者给出了离线基础方案在平滑性、梯度稀疏性与预言机-潜在目标兼容性假设下的收敛保证,并引入在线 ComPO,利用无标注策略生成做相对参考策略的反向 KL 控制,在局部覆盖与分布内成对奖励准确率下给出性能保证。在 Mistral、Llama、Gemma-2、Qwen3、Gemma-3 上的实…
意义:为 LLM 偏好对齐提供不依赖可微偏好损失的零阶替代路径,并给出理论保证,可能缓解似然位移并影响对齐算法设计。
- 论文公开站arXiv
目标 vs. 搜索:分解什么造就了好的分词器
Objective vs. Search: Decomposing What Makes a Good Tokeniser
摘要显示,研究将分词算法差异拆解为优化目标(压缩 vs 对数似然)与搜索过程(自底向上合并 vs 自顶向下剪枝)两个正交维度,并补全 2×2 设计空间,提出 BottomUpLL 与 TopDownComp 两种新算法。在不同模型规模、词表大小及单语/多语场景下训练语言模型并以 bits-per-byte 评估,发现搜索过程而非优化目标是主导因素,自底向上分词器在多数设置下取得更低 bits-per-byte;但在 BLiMP 任务上设…
意义:为开发者选择或设计分词器提供实证依据:优先关注搜索过程而非优化目标,可能更有效提升语言建模效率。
- 论文公开站arXiv
弥合同构与异构异步优化之间的差距出奇困难
Bridging the Gap Between Homogeneous and Heterogeneous Asynchronous Optimization Is Surprisingly Difficult
摘要显示,该研究探讨异步并行随机梯度优化中同构(各worker数据分布相同)与异构(各worker数据分布不同)两种设定的理论差距。作者证明,在常用的一阶与二阶相似性假设下,任何随机算法都无法突破异构情形下已知的悲观最优时间复杂度;弱插值假设亦不足。最后提出强插值与局部Polyak-Lojasiewicz条件的最小组合,得到与同构最优结果相当的复杂度界,且无需数据分布相同。
意义:为异构异步分布式训练的理论极限划出边界,提示开发者不能仅靠相似性假设缩小同构与异构的差距,需关注插值与局部PL条件等更强假设。
- 论文公开站arXiv
有效学习率主导语言模型预训练中的损失动态
Effective Learning Rate Governs Loss Dynamics in Language Model Pretraining
摘要显示,在语言模型预训练中发现有效学习率(ELR)坍缩现象:学习率与参数范数主要通过其比值(即有效学习率)影响损失动态。当ELR匹配时,不同运行间的损失轨迹在整个训练过程中坍缩,尽管学习率和参数范数差异显著。跨优化器、架构、数据集和模型规模,平均坍缩误差通常为几乘以10^-3,低于代表性配置中种子间变异。系统消融表明,归一化设计和学习率-范数变化的时间尺度是坍缩精度的关键决定因素。受控干预进一步显示,权重衰减和超球形状主要通过其诱导的…
意义:为语言模型预训练提供统一的优化视角,有助于改进学习率调度与范数控制策略,提升训练效率与可预测性。
- 论文公开站arXiv
通过局部增强偏好与表示解缠改进跨问题车辆路径规划
Improving Cross-Problem Vehicle Routing with Locally Augmented Preferences and Representation Disentanglement
摘要显示,多任务车辆路径问题求解器面临训练监督弱和架构纠缠的挑战。为此,提出POLAR训练算法,通过局部搜索细化最佳解码路径以形成更优偏好对,以及PLE编码器,利用门控机制分离共享专家与任务特定专家,逐步解缠通用路由结构与约束特定编码。实验表明,两者结合可提升当前最先进性能。
意义:对开发者而言,该研究提供了训练算法与架构设计的改进,有望提升多任务VRP模型的泛化能力与训练效率,推动实际物流调度应用。
- 论文公开站arXiv
SPO++:面向异步智能体强化学习的流对齐策略优化
SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL
摘要介绍SPO++,一种改进的异步智能体强化学习算法。针对组相对强化学习等待同提示兄弟rollout的高成本,SPO使用持久提示级价值估计,但轨迹中心化未能正确居中行动者消费的token加权量。SPO++通过标准化行动token度量下的终端结果优势来修正,并依据策略事件而非接收顺序组织提示证据。在ALFWorld和Math-TIR上的实验显示,SPO++相比SPO提升了在线学习效率,消融实验表明行动token度量归一化是最有效的组件。
意义:为异步智能体强化学习提供更高效的策略优化方法,减少等待成本,提升在线学习效率,对长工具使用轨迹的智能体训练有重要意义。
- 论文公开站arXiv
生成评估中FID掩盖的偏差:检测、排序与诊断
What FID Hides: Detecting, Ranking, and Diagnosing Deviations in Generative Evaluation
摘要显示,生成模型常用FID和KID评估,但FID仅基于前两阶矩,可能忽略分布差异,且标量差距未校准采样变异。在ImageNet上,仅优化匹配Inception均值和协方差的不可识别图像,其FID为24.7,而保留的真实图像为58.6。FID和KID为对称标量,无法编码离散度变化方向。为此,引入ZID,结合六个位置和离散敏感指标,输出排序指数、置换p值和符号离散读数,以检测偏差并排序严重性。
意义:为生成模型评估提供更全面的诊断工具,帮助开发者识别模型与真实数据的细微偏差,优化模型调优。
- 论文公开站arXiv
交互税:多智能体团队中的通信如何抹杀多样性
The Interaction Tax: When Communication Erases Diversity in Multi-Agent Teams
摘要显示,多智能体LLM交互效果不一,部分研究显示辩论、批评循环等有增益,但另一些在同等预算下无改进。作者提出“交互税”概念:当智能体读取完整输出时,一轮内提案趋同,抹杀多样性。在11个验证器评分优化任务中,完整解决方案交互为弱默认,独立生成可避免崩溃;批评仅在规则易找易修时有效。
意义:该研究揭示多智能体性能的关键在于信息交换类型而非数量,对设计高效多智能体系统、避免无效交互成本具有指导意义。
- 论文公开站arXiv
均匀与重掩码离散扩散模型的自适应采样保证
Provably adaptive sampling with uniform and remasking discrete diffusion models
摘要显示,针对均匀前向过程的离散扩散模型,标准τ-leaping采样器的下界随维度d线性增长,但该研究提出一种基于留一法去噪器的一阶采样器,支持并行坐标更新,并能纠正采样中的去噪错误。主要结果建立了自适应采样保证:在忽略对数因子下,N = O(DTC(X0)/ε)步即可达到O(ε_score+ε)的采样误差,其中DTC为双总相关,表明采样复杂度由目标分布的内在结构而非维度决定。
意义:该研究为离散扩散模型提供了更高效的采样方法,将采样复杂度与数据内在结构关联,有望提升高维生成任务的效率,对生成式AI的推理优化有重要意义。
- 论文公开站arXiv
Re³Cap:基于检索引导的强化学习图像描述优化方法
Re$^3$Cap: Retrieval-Guided Refinement for Image Captioning Enhancement via Reinforcement Learning
Re³Cap提出一种检索引导的推理策略,用于增强图像描述生成,无需额外标注。该方法通过描述细化建议器和质量评估器,识别并修正描述中的幻觉与遗漏,从而生成更准确、详细的描述。实验表明,在COCO-LN500基准上,Re³Cap在关系推理任务上平均比GRPO提升8.64%,甚至优于监督微调方法。
意义:该方法利用多模态检索作为推理信号,提升强化学习在图像描述中的探索能力,为无需额外标注的模型优化提供了新思路。
- 论文公开站arXiv
凸集图上Steiner旅行商问题的统一分支定界搜索
Unified Branch-and-Bound Search for the Steiner Traveling Salesman Problem on Graphs of Convex Sets
摘要提出了一种在凸集图(GCS)上求解Steiner旅行商问题(Steiner-TSP)的统一分支定界搜索方法,该问题要求寻找通过所需凸集的最小成本闭合轨迹,允许可选中转顶点和重复访问。通过根行走前缀的搜索,利用加性下界图成本和割分离连通流松弛来界定前缀和剩余成本。在均匀正成本假设下,最佳优先遍历在有限次扩展后终止,深度优先遍历在有限可行解存在时终止。对于用户指定的因子ε≥1,全局下界保证任一策略的解成本至多为全局最优的ε倍。在移动机械…
意义:为机器人路径规划等组合优化问题提供统一求解框架,兼顾最优性保证与计算效率,对AI决策与自动化领域有参考价值。
- 论文公开站arXiv
牛顿法的原始加速方法
Primal Acceleration of Newton's Method
我们开发了一种新的直接加速牛顿法,用于最小化具有Lipschitz连续Hessian的凸函数。该算法仅使用原始变量,每次迭代只需一次线性求解。通过简单的预定参数选择,它在函数残差方面达到O(1/k^3)的全局收敛率。据我们所知,这是此类问题中第一种在每次迭代仅依赖一次线性系统求解(无需求解辅助非线性正则化子问题,如三次正则化,执行非线性参数搜索或使用对偶外梯度校正)就达到此速率的一阶方法。我们的方法可以以无Hessian方式实现,使用非…
意义:该算法在保持二阶方法快速收敛的同时,大幅降低了计算成本,为大规模凸优化提供了新选择,可能推动机器学习中相关问题的求解效率。
- 论文公开站arXiv
潘多拉AI模型路由盒:代价高昂的价值估计下的高效分配
Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation
摘要显示,异构AI系统通过路由查询至最有效且成本最低的专家模型,可提升质量与效率,但价值估计需付出代价。该研究将这一权衡形式化为潘多拉盒子问题,在高斯信号模型下推导出闭式信息价值表达式,提出集中式路由策略Pandora's Router和去中心化策略Pandora's Bidder。实验表明,Pandora's Router在匹配穷举估计路由质量的同时,显著减少昂贵估计器的调用次数。
意义:为AI系统提供成本感知的路由策略,降低多模型推理开销,对构建高效、经济的LLM服务具有直接指导意义。
- 论文公开站arXiv
G-CARL:面向患者导向的医学报告解读的基于清单对齐的奖励学习框架
G-CARL: Grounded Checklist-Aligned Reward Learning for Patient-Oriented Medical Report Interpretation
摘要显示,研究者提出患者导向的医学报告解读(PMRI)任务,要求模型根据用户查询和对话历史,以准确且通俗的语言解释医学报告。为解决事实性和沟通性目标难以联合优化的问题,提出G-CARL框架,结合多源检索进行原子声明验证,并采用上下文感知的加权清单确保响应覆盖,从而提供结构化监督。同时构建了真实世界基准MMedReport和临床医生设计的三维评估协议,实验表明G-CARL在整体质量、声明级精度和清单达成率上优于现有基线。
意义:为医学报告解读提供了兼顾事实性与用户沟通的强化学习框架,并引入新基准,对医疗AI的个性化交互和可验证生成有重要参考价值。