- 论文公开站arXiv
模态自回归的世界-动作模型
Modality-Autoregressive World-Action Models
摘要显示，该工作提出 ModAR，一种先在预测动作前自回归式去噪多种未来模态的世界-动作模型（WAM），使每次预测都能以先前生成的模态为条件。研究从零训练，系统考察训练数据混合、预测模态与 WAM 形式对性能的影响。结果显示，预测点轨迹、DINO 特征与深度图对 WAM 有益，而额外预测 RGB 并无一致收益；ModAR 的序列生成优于现有 WAM 形式，并在所有评估数据规模下取得最高平均成功率。
意义：为具身智能与世界模型提供新范式：用点轨迹、DINO 特征、深度等模态替代 RGB 预测，可能显著降低训练算力并提升策略成功率。