- 论文公开站arXiv
Ego4WAM:扩展第一人称人类数据用于机器人学习的关键因素
Ego4WAM: What Matters When Scaling Egocentric Human Data for Robot Learning?
第一人称人类数据为机器人学习提供可扩展经验,但在人机对齐、行为覆盖和监督信号上差异显著。已有工作显示数据越多效果越好,但哪些数据属性真正关键仍不明确。
- 论文公开站arXiv
重新思考世界-动作建模的表征
Rethinking Representations for World-Action Modeling
世界-动作模型联合学习机器人策略并预测未来观测,使表征空间成为控制与预测的接口。本文通过受控比较研究该空间的设计,发现重建保真度和预训练均非关键。
- 论文公开站arXiv
Rho:高效可适应VLA模型的基础
Rho: A Foundation for Efficiently Adaptable VLA Models
通用物理AI模型须结合广泛视觉语言能力与跨机器人本体的精确控制及高效下游适应。本文提出Rho系列开放权重VLA模型,用于双臂操作,专为数据高效适应设计。
- 论文公开站arXiv
反事实视频生成实现可扩展人形机器人移动操作
Counterfactual Video Generation Enables Scalable Humanoid Loco-Manipulation
通过视觉模仿教授人形机器人移动操作技能(如搬运多样物体)是通向通用机器人的有前景路径。但收集多样高质量交互视频(清晰展示人体全身和无遮挡交互)仍具挑战。
- 论文公开站arXiv
简化上下文机器人学习:面向操作任务的民主化方案
In-context Robot Learning Made Simple: A Democratized Recipe for Manipulation Tasks
本文研究机器人上下文学习(ICL),这一新兴范式使机器人能从视觉演示中推断并执行任务。尽管前景广阔,但问题本身仍定义不清:视觉演示同时传达动作轨迹和物体信息。
- 论文公开站arXiv
技能空间射击用于自主机器人策略改进
Skill-Space Shooting for Autonomous Robot Policy Improvement
部署在物理世界的机器人须能在遇到新情况和失败时超越初始训练进行改进。为使改进跨任务扩展,须有效利用经验而无需人类演示每次纠正。
- 论文公开站arXiv
DexRoam:从第一人称全身人类演示学习移动双臂灵巧操作
DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations
移动双臂灵巧操作需在单条轨迹中协调运动、全身动作与手指级灵巧性,造成严重的机器人演示瓶颈;第一人称人类演示提供了可扩展的替代方案。
- 论文公开站arXiv
基于状态空间模型的 3D 点跟踪
3D Point Tracking with State Space Models
在度量 3D(绝对米制,而非未知尺度)中跟踪动态场景的任意点,支撑着 3D/4D 重建、机器人导航和自动驾驶——这些场景以米而非像素做决策。我们的目标是构建在此类场景中精确的 3D 点跟踪器。
- 论文公开站arXiv
生成、跟踪、改进:基于RL微调运动生成器的感知型多技能人形机器人运动
Generate, Track, Improve: Perceptive Multi-Skill Humanoid Locomotion with RL-Fine-Tuned Motion Generators
摘要显示,该工作提出双层运动架构:感知式流匹配运动生成器从原始深度图规划全身轨迹,控制引导强化学习训练的感知跟踪策略执行动作。核心贡献是一种离策略强化学习微调循环,通过结构化搜索采集数据并进行优势加权回归,提升生成器在未见地形与技能组合上的一致性。摘要称地形通过成功率最高提升25个百分点,技能选择提升80个百分点;使用原始深度图无需里程计或高度图,单对策略即可驱动Unitree G1完成走、跑、站立与跳跃等动作。
意义:为开发者提供一种样本高效的离策略微调范式,使多技能人形机器人仅凭深度图即可适应复杂地形,降低感知与部署门槛。
- 论文公开站arXiv
通过STL引导的Stein变分策略梯度从稀疏成功信号学习机器人策略
Learning Robot Policies from Sparse Success Signals via STL-Guided Stein Variational Policy Gradient
摘要显示,该研究针对稀疏成功信号下机器人策略学习难题,提出STL-SVPG方法:以平滑的信号时序逻辑(STL)鲁棒性作为轨迹级训练目标,通过动力学求导将信用按对完整任务规范的影响分配给策略动作,而非仅依据局部进展。在六项四旋翼与机械臂任务(含事件触发、严格顺序、截止时间响应与物理接触)中,该方法在五项取得最高平均成功率,且仿真训练策略可迁移到真实世界。
意义:为稀疏奖励与多条件时序任务提供可微轨迹级目标,利于机器人策略的信用分配与仿真到现实迁移。
- 论文公开站arXiv
TrackEverything:通过去重3D场景表示实现长时程稠密跟踪
TrackEverything: Long Horizon Dense Tracking via De-Duplicating 3D Scene Representations
摘要显示,现有3D点追踪模型面临稀疏长时程与稠密短片段之间的权衡。TrackEverything将视频表示为世界坐标系下的持久3D场景轨迹,通过滑动窗口边界体素化去重、端点细化器加轻量轨迹细化器的两阶段分解,以及用场景点云特征采样替代4D相关体积的3D WAFT,把模型复杂度与视频时长解耦。摘要称其为首个能在40GB显存内追踪超1000帧视频全部可见点的3D追踪器,在TAPVid-3D短片段上较开源全帧稠密3D追踪器APD提升超20%。
意义:为长视频稠密3D点追踪提供了显存可控的新范式,有望推动机器人、视频编辑与4D重建等长时程应用。
- 论文公开站arXiv
面向广义任务与运动规划问题的编码智能体
Coding Agents for Generalized Task and Motion Planning Problems
摘要显示,研究探讨编码智能体能否通过合成跨实例泛化的程序来自动化广义任务与运动规划(TAMP)。在 KinDER 与 PDDLStream 的 28 个模拟环境中,对 Claude Code(Opus 5)和 Codex(GPT-5.6 Sol、GPT-6 Astra)进行评估,共在 98,000 个评估回合中测试 980 个生成程序。结果显示,三种智能体配置在平均成功率上均优于手工规划器、单次生成及基于 LLM 的基线(56%–95%…
意义:表明编码智能体可自动合成泛化规划程序,减少 TAMP 领域工程投入,为机器人规划与程序合成提供新范式。
- 论文公开站arXiv
Rolling-WAM:带滚动想象的世界动作模型
Rolling-WAM: World Action Models with Rolling Imagination
摘要显示,世界动作模型(WAM)将动作生成与未来视觉预测耦合,但每个重规划周期都要完成完整的视频-动作联合去噪,带来显著延迟。Rolling-WAM 将联合去噪分散到连续的重规划周期中,用滑动窗口维护处于不同噪声水平的视频-动作块:每步完整去噪即将执行的动作块,同时部分精炼更远未来的块,并随新相机观测推进窗口。在 LIBERO、RoboTwin 与真实 Unitree G1 人形机器人上,摘要称其达到有竞争力的操作性能,并相较标准联合 …
意义:为机器人操作中的视频-动作联合模型提供低延迟重规划思路,把计算摊到时间轴上,提升闭环响应速度。
- 论文公开站arXiv
RAPID:从演示中进行机器人智能体编程
RAPID: Robot Agentic Programming from Demonstrations
摘要显示,RAPID 面向机器人系统提出「从演示进行机器人智能体编程」方法,仅凭一次视觉人类演示,即可自动生成、验证并迭代优化机器人程序。其智能体循环依赖可测试任务规范、动作原语与可交互执行验证环境,三者均由演示自动推断。RAPID 采用以物体为中心的关系式程序表示,将动作原语表达为实现物体级运动效果的轨迹优化程序,并通过关系约束在运行时组合,从而提升跨物体位姿、形状、材质与环境的泛化能力。
意义:该方法把编码智能体的自动验证与迭代能力引入机器人编程,降低示教门槛,并为可复用、可泛化的机器人技能生成提供新范式。
- 论文公开站arXiv
AD-WM:面向反事实模型预测控制的动作判别世界模型
AD-WM: Action-Discriminative World Models for Counterfactual Model Predictive Control
摘要显示,潜在世界模型通常只优化事实转移预测,但 MPC 需要比较同一状态下的不同动作,因此可能出现预测误差低却难以区分候选动作的问题。作者提出 AD-WM,将残差潜在动力学与预测器层面的动作恢复正则化结合,利用逆动力学和基于条件互信息的归一化恢复目标,使规划转移保留动作信息,测试时丢弃辅助头、不改变 MPC。在 OGBench-Cube 上,硬启动成功率从匹配 LeWM 基线的 3.7% 提升到 52.0%,五个仿真环境中有四个平均成…
意义:提示世界模型应优化动作判别性而非仅事实预测精度,为基于 MPC 的规划与机器人策略迁移提供可复用的正则化思路。
- 论文公开站arXiv
观察、回忆、行动:并发具身流中的常开机器人
Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams
摘要显示,论文针对「永远在线」机器人面临的持续指令流、场景变化与自身历史动作影响问题,提出 ARMS 流式策略:以预训练 π0.5 为骨干,叠加三个轻量模块,将实时感知、具身状态与自身过去动作转为上下文,异步更新使「看」与「忆」不阻塞「行动」,双臂可并发执行。作者构建 ARMS Dataset 以真实双臂遥操作自动标注各模块,联合任务达 45%,强基线为 28%,消融显示记忆模块、具身状态头与异步并发均必要。
意义:为长时在线、可中断的具身智能体提供简单可扩展的流式上下文方案,异步并发设计对实时机器人系统有直接参考价值。
- 论文公开站arXiv
LiMA:通过异步扩散桥接长期想象与实时灵巧操作
LiMA: Bridging Long-term Imagination to Real-time Dexterous Manipulation via Asynchronous Diffusion
摘要显示,LiMA 是一种异步双系统生成框架,将意图规划与反应式执行解耦:慢系统负责稀疏的长时程时空意图生成,快系统负责稠密高频动作精修,并通过 Latent Schrödinger Bridge Coupling 机制对齐稀疏意图与稠密轨迹。论文称其相较 Cosmos-Policy 降低 45.8% 推理延迟,在六项双臂灵巧操作任务上总体成功率 70.8%、子任务平均成功率 78.9%,并在未见场景中保持性能。
意义:为 VLA 与 World-Action Model 的推理延迟与反应速度矛盾提供异步分层思路,对实时机器人操作与具身智能系统架构有参考价值。
- 论文公开站arXiv
我该加入哪里?语言引导目标预测的机器人群体加入
Where Should I Join? Robot Group Joining via Language-Guided Goal Prediction
摘要显示,社交导航通常假设目标已给定,而机器人加入群体需根据群体实时活动与队形预测加入位置。该工作提出语言引导的机器人群体加入任务:给定观测与目标群体的自然语言描述,机器人识别相关成员并预测符合社交规范的加入位姿。方法通过递归谱划分生成结构化候选子集,用语言条件图像-几何模型排序,再以人类队形先验生成多模态能量-朝向图。在对话、排队、观众场景中取得竞争性定位精度与亚秒级推理,加入位姿预测优于所有基线,并在真实机器人上验证。
意义:为社交导航引入语言引导的群体加入能力,对导盲机器人、自主代步车等需要理解人群语义与队形的应用有直接价值。
- 论文公开站arXiv
利用单一传感单元测量历史进行非定常流中的水下导航
Underwater Navigation in Unsteady Flows Using Measurement Histories from a Single Sensing Unit
摘要显示,研究提出一种因果观测器,仅凭单一传感单元的历史测量估计侧向流速,为固定导航控制器提供输入。在二维尾流仿真中,该虚拟传感接口将同步流场采样点从三个减少到机器人中心。仅在 Re=100 圆柱尾流上训练,未重新训练即在 Re=205 和 240 上分别达到 84.4% 和 80.6% 成功率,低于直接空间感知 7.4 和 4.6 个百分点,但显著优于仅当前流速观测器。
意义:为水下机器人减少传感器数量、降低布局约束提供思路,并验证单点流场历史在闭环控制中的可用性。
- 论文公开站arXiv
TM-APR:基于解析在线自适应的热成像时序记忆定位
TM-APR: Thermal Temporal-Memory Localization via Analytic Online Adaptation
摘要显示,该工作针对热成像视觉位置识别(Thermal VPR)在在线部署中面临的环境依赖强、在线重训练开销大、难以建模非线性漂移等问题,首次将解析类增量学习(ACIL)与域不变VPR结合,发现其无梯度矩阵更新可构成强基线,并进一步利用ACIL与现代控制理论的代数等价性,将无迹传播、高斯混合划分与极小极大H∞优化嵌入更新回路,实现O(1)复杂度的闭式矩阵更新,使在线学习延迟低于传感器采样间隔,从而避免实时SLAM轨迹跳变。
意义:为热成像SLAM/VPR在线部署提供免反向传播、低延迟的域自适应更新思路,对实时机器人与边缘AI有参考价值。
- 论文公开站arXiv
φ-RIE:从逼真重建到可交互环境
φ-RIE: From Photorealistic Reconstruction to Interactive Environments
摘要显示,3D高斯泼溅(3DGS)虽能对捕获场景实现照片级真实重建,但该表示本身不支持物理交互,因为物体外观可能与背景纠缠,且被遮挡的物体几何与背景内容未被观测。为此作者提出φ-RIE,一种高斯原生流水线,将选定物体转换为可移动的模拟器资产,同时保留其余重建内容,其核心是资产构建与源移除相耦合。在50个ScanNet++场景上,基于证据的选择与配准重试将20毫米匹配F1从0.336提升至0.383。
意义:为机器人仿真与具身智能提供从真实场景重建到可交互资产的转换路径,弥合视觉重建与物理仿真之间的鸿沟。
- 论文公开站arXiv
DexTacWAM:面向灵巧操作的视触觉世界-动作模型
DexTacWAM: A Visuo-Tactile World-Action Model for Dexterous Manipulation
摘要显示,DexTacWAM 是一种视触觉世界-动作模型(WAM),将各指尖触觉独立编码,经手指与姿态感知的触觉压缩器聚合后注入视频扩散世界模型,实现视触觉联合世界建模。在 22 自由度双臂平台的六项富接触灵巧操作任务中均取得最高分,平均 70.6,最强基线为 38.0。消融表明收益来自将接触演化纳入预测世界状态,而非仅做触觉条件化。
意义:把触觉纳入世界模型而非仅作条件输入,为富接触机器人操作提供了新范式,对具身智能与多模态世界模型研究有直接参考价值。
- 论文公开站arXiv
MIGU:面向操作规划的不确定性下多模态指令接地
MIGU: Multimodal Instruction Grounding under Uncertainty for Manipulation Planning
摘要显示,MIGU 是一个模块化框架,用于在语言与手势线索互补但不确定的情况下进行多模态指令接地。它通过眼-指几何传播视线方向与深度不确定性构建三维几何似然,并结合视觉语言模型提供的语义先验,以类贝叶斯方式融合为统一接地信念,进而支持直接规划或请求澄清。真实基准上 MIGU 优于所评估基线,消融实验支持显式多模态不确定性建模的收益。
意义:为机器人在不确定语言与手势输入下提供可量化的接地与澄清机制,对具身智能与多模态规划有参考价值。
- 论文公开站arXiv
学习超越人类可演示的能力
Learning Beyond What Humans Can Demonstrate
摘要显示,针对动态稳定性、精确接触时序或灵巧协调等人类操作者难以甚至无法采集示范数据的任务,作者提出 GLIDE 框架,通过推断任务特定失效模式并将其转化为可执行的「护栏」,用于过滤遥操作与策略指令、约束易失败动作,并依据轨迹反馈迭代改进。在三个任务上,数据采集成功率从 0-10% 提升至 70-90%,策略执行成功率分别达到 70%、60%、60%。
意义:为缺乏人类示范数据的机器人操作任务提供数据采集与策略部署的新思路,护栏机制可降低对专家示范的依赖。
- 论文公开站arXiv
组合任务持续学习的世界模型基准测试
Benchmarking World Models for Continual Learning on Compositional Tasks
摘要显示,该研究提出一个面向机器人操作中世界模型的组合式持续学习基准,通过将任务课程设计为已见任务的组合,并从动作与感知两个维度进行分解,以隔离知识复用与学习新任务两种能力。研究在经典持续学习方法下评估了当前最优世界模型,并对比了一个动态骨干含显式可复用模块的模块化世界模型。结果显示,模块化在复用与遗忘之间取得更好平衡,但均未完全解决问题。
意义:为世界模型的持续学习提供可复用的组合式评测基准,并指出模块化设计在缓解灾难性遗忘上的潜力与局限。