据《科学·机器人学》报道，人形机器人可以通过大型语言模型辅助的自然交互来学习复杂的行为。

使用 LLM 协调机器人行为

使用语言来传达想法和需求是人类互动的自然过程。人类通常无需明确命令即可理解意图。但是，机器人通常需要直接命令来执行基本任务。大型语言模型 (LLM) 已成为连接自然语言对话和机器人感知与行动的强大工具。不幸的是，由于自然语言可能含糊不清，如果模型无法从间接短语中理解整体上下文，LLM 可能无法促进命令的执行。

ARMAR-6 从自然交互中逐步学习行为

在最近的一项研究中，Bärmann等人使用 LLM 在自然语言交互的基础上协调闭环自适应机器人行为。该系统依靠来自人类用户的指令、环境观察和从先前学习的行为中获取的知识记忆来完成任务。这些先前学习的行为知识包含人类用户在机器人执行命令时出错时纠正机器人的示例——机器人从纠正指令中逐步学习。然后，该模型可以使用此历史交互概述，根据使用思路链提示的新交互的要求进行改进。

机器人的记忆系统充当交互管理器和机器人系统之间的中介。

交互 LLM 在 Python 控制台环境中运行。它可以调用函数来获取当前场景的内容（由感知模块提供并存储在内存中）或调用技能，从而执行机器人动作。从内存中查询相关的交互示例，以对 LLM 进行少量提示。增量学习由改进的 LLM 执行，使用从指令中学习到的新内容更新交互示例内存。

研究人员在带有机械臂和夹持器的模拟环境中使用了该框架，随后在 ARMAR-6 人形机器人上进行了实验，以展示基于与人类用户的自然语言交互的增量学习。该机器人包含与物体、其他代理及其在环境中的位置相关的语义知识记忆；与当前场景相关的信息；以及机器人及其可执行技能的程序相关历史。他们在多种场景中测试了他们的方法，不仅展示了行为的改进，还展示了学习用户偏好、适应非通用任务约束和从模糊用户命令中学习的能力。

虽然采用 LLM 进行此方法有很多好处，但也存在一些局限性，例如对指令中的特定单词和短语的敏感性，这可能会严重影响结果。但最终，借助 LLM 生成命令并执行复杂行为的能力将使人类与机器人的互动更加自然。

参考文献

后记

如果您有什么想法，欢迎给@YiyiKing留言。