- 论文公开站arXiv
基于状态空间模型的 3D 点跟踪
3D Point Tracking with State Space Models
在度量 3D(绝对米制,而非未知尺度)中跟踪动态场景的任意点,支撑着 3D/4D 重建、机器人导航和自动驾驶——这些场景以米而非像素做决策。我们的目标是构建在此类场景中精确的 3D 点跟踪器。
- 论文公开站arXiv
DreamStream:面向端到端驾驶的策略导向生成式仿真
DreamStream: Towards Policy-Oriented Generative Simulation for End-to-End Driving
摘要显示,现有仿真平台存在仿真到真实的视觉差距,会破坏策略感知,难以评估端到端驾驶策略的闭环决策。作者提出 DreamStream,一种基于仿真器接地的自回归视频模型构建的生成式闭环仿真器,通过交通布局引导从大型预训练视频模型蒸馏,在改变视觉外观的同时保留场景布局与动态物体时序一致性等策略相关特征。作者还指出 FID 等感知指标会误判特征保留程度,并提出多表示指标 FDπ。摘要称,在 FDπ 下 DreamStream 相比最强先前闭环…
意义:为端到端自动驾驶提供更贴近策略感知的闭环仿真与评测指标,有望降低真实路测成本并暴露策略失效场景。
- 论文公开站arXiv
PRIME:VLA模型中基于情境记忆嵌入的感知反馈
PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models
摘要显示,当前自动驾驶VLA模型主要采用前馈推理,早期感知无法获得下游推理与导航目标的反馈。PRIME 提出一种学习式反馈机制,通过交叉注意力聚合过去感知、推理、导航目标与预测行为的潜在表示,形成情境记忆,从而引导感知查询。该方法仅增加最多2970万参数(约占73亿参数基座的0.41%),在Bench2Drive闭环基准上取得82.47的驾驶得分和60.00%的成功率。
意义:为VLA自动驾驶提供轻量级感知-推理反馈回路,以极小参数代价提升闭环驾驶性能,对端到端模型设计有参考价值。