站内快照 · 国内可打开。外网原文可能无法访问。
- 论文公开站arXiv
梦见接触之声：利用视频和音频生成实现零样本力感知操作与数据生成
Dreaming the Sound of Contact: Leveraging Video and Audio Generation for Zero-Shot Force-Aware Manipulation and Data Generation
摘要显示，该工作针对生成视频仅含运动学轨迹、缺乏力信息的问题，提出用生成接触声音的响度构造有界且随时间变化的期望力曲线，并结合生成视频从结构化自然语言任务提示中同时推导运动轨迹与期望力。作者在 Franka Panda 机器人上用闭环力调节器跟踪该音频塑形的力曲线，在多个需接触的任务上成功完成操作，而仅运动学基线失败；该流程还被用作数据生成引擎训练闭环策略。
意义：为机器人操作引入音频作为力感知信号，弥补生成视频缺少接触力信息的短板，并提供可复用的数据生成思路。