- 论文公开站arXiv
φ-RIE:从逼真重建到可交互环境
φ-RIE: From Photorealistic Reconstruction to Interactive Environments
摘要显示,3D高斯泼溅(3DGS)虽能对捕获场景实现照片级真实重建,但该表示本身不支持物理交互,因为物体外观可能与背景纠缠,且被遮挡的物体几何与背景内容未被观测。为此作者提出φ-RIE,一种高斯原生流水线,将选定物体转换为可移动的模拟器资产,同时保留其余重建内容,其核心是资产构建与源移除相耦合。在50个ScanNet++场景上,基于证据的选择与配准重试将20毫米匹配F1从0.336提升至0.383。
意义:为机器人仿真与具身智能提供从真实场景重建到可交互资产的转换路径,弥合视觉重建与物理仿真之间的鸿沟。
- 论文公开站arXiv
PhysStream:具结构化场景记忆与细粒度运动控制的流式物理视频生成
PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
摘要显示,PhysStream 是一种自回归图像到视频生成模型,面向物理落地的动态场景合成。它引入结构化场景记忆(位置图与目标跟踪图,由已生成帧在线推导),并用稀疏速度增量信号编码物理量实现细粒度运动控制。模型分两阶段训练:先对双向模型做运动控制条件微调,再训练带场景记忆的因果自回归模型。摘要称其在桌面刚体多物体场景中支持生成中途交互控制,合成基准上 FVMD 降低 33%、轨迹误差降低 12%,人类评估中超过 85% 的对比更受偏好。
意义:为视频生成引入可在线更新的场景记忆与物理量级控制信号,使生成过程可中途干预,对交互式世界模型与可控视频生成方向有参考价值。