近日，由三位美国麻省理工学院（MIT）华人博士为主力完成的具身智能研究论文登上Nature主刊。论文提出基于视觉的深度学习方法，仅通过视觉就能实现对机器人的控制，只需一个RGB相机就能高精度执行预定运动轨迹。
他们开展此研究，是因传统机器人虽易建模，但仿生机器人缺乏感知能力、材料特性会变，对其建模和控制仍是难题。该方法把机器人视频流映射到视觉运动雅可比场，仅用单个摄像头，无需对机器人材料等做假设，观察随机指令执行过程即可完成训练，无需专家干预。
研究团队在不同机器人操纵器上验证了此方法，如UR5机器人手臂、Allegro Hand、Poppy机器人手臂等。结果显示，系统能控制这些机器人执行各种长期技能，实现精确闭环控制，还原因果动态结构。研究团队预计，该研究将拓宽机器人系统设计空间，降低自动化门槛。
