- 论文公开站arXiv
MIGU：面向操作规划的不确定性下多模态指令接地
MIGU: Multimodal Instruction Grounding under Uncertainty for Manipulation Planning
摘要显示，MIGU 是一个模块化框架，用于在语言与手势线索互补但不确定的情况下进行多模态指令接地。它通过眼-指几何传播视线方向与深度不确定性构建三维几何似然，并结合视觉语言模型提供的语义先验，以类贝叶斯方式融合为统一接地信念，进而支持直接规划或请求澄清。真实基准上 MIGU 优于所评估基线，消融实验支持显式多模态不确定性建模的收益。
意义：为机器人在不确定语言与手势输入下提供可量化的接地与澄清机制，对具身智能与多模态规划有参考价值。