Mobile ALOHA：通过低成本全身远程操作学习双手移动操作

admin管理员组

文章数量:1546240

24年1月来自斯坦福的论文“Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation”。

在机器人领域，模仿学习人类示范已取得令人瞩目的成绩。然而，大多数成果都集中在桌面操作上，缺乏一般任务所需的机动性（mobility）和灵活性（dexterity）。这项工作开发了一个系统，用于模仿双手操作且需要全身控制的移动操作任务。Mobile ALOHA 是一种用于数据收集的低成本全身遥操作系统。它通过移动基座和全身遥操作界面增强了原始 ALOHA 系统。用 Mobile ALOHA 可以收集数据进行监督行为克隆，并发现与现有静态 ALOHA 数据集联合训练可提高移动操作任务的性能。通过对每项任务进行50次演示，共同训练可以将成功率提高90％，从而使Mobile ALOHA 能够自主完成复杂的移动操作任务，例如炒虾和上菜、打开双门壁柜来存放沉重的锅、呼叫和进入电梯，以及使用厨房水龙头轻轻冲洗用过的锅。

Mobile ALOHA 是一种低成本的移动机械手，可以执行各种家务。Mobile ALOHA 继承了原始 ALOHA 系统 [104] 的优点，即低成本、灵巧和可维修的双手遥控装置，同时将其功能扩展到桌面操作之外。具体来说，结合了四个关键的设计考虑因素：

1. 移动：该系统可以以与人类步行相当的速度移动，约为 1.42 米/秒。
2. 稳定：在操纵锅和橱柜等重型家用物品时很稳定。
3. 全身遥控：所有自由度都可以同时遥控，包括双臂和移动底座。
4. 不受束缚：机载电源和计算。

如图是 Mobile ALOHA 硬件详情。左图：Mobile ALOHA 有两个腕部摄像头和一个顶部摄像头，配备板载电源和计算功能。中图：Mobile ALOHA 遥控装置可以移除，在自主执行期间仅使用两个 ViperX 300 [3]；两个手臂可以达到的距离是最小/最大高度 65 厘米/200 厘米，并从底座延伸距离到 100 厘米。右图：Mobile ALOHA 的技术规格。

根据第 1 和第 2 点考虑，选择 AgileX Tracer AGV（“Tracer”）作为移动基座。Tracer 是一款专为仓库物流设计的低-轮廓差分驱动的移动基座。它可移动至 1.6 米/秒，与人类平均步行速度相似。最大有效载荷为 100 公斤，高度为 17 毫米，可以在离地面较低的地方添加平衡重量，实现所需的翻倾稳定性。Tracer 在可进入的建筑物中具有足够的跨越性：它可以跨越高达 10 毫米的障碍物和陡峭至 8 度的斜坡，最小离地间隙为 30 毫米。在实践中，它能够应对更具挑战性的地形，例如跨越地板和电梯之间的间隙。Tracer 在美国的售价为 7,000 美元，比 Clearpath 等具有类似速度和有效载荷的自动引导车（AGV）便宜 5 倍以上。

寻求在 Tracer 移动基座和 ALOHA 臂的基础上设计一个全身遥控操作系统，即允许同时控制基座和两个手臂遥控系统（考虑 3）。这种设计选择在家庭环境中尤其重要，因为它扩展了机器人的可用工作空间。考虑打开双门柜子的任务。即使对于人类来说，在打开柜门时也会自然地后退，以避免碰撞和尴尬的关节配置。遥控操作系统不会限制这种协调的人体运动，也不会在收集的数据集中引入不必要的 artifacts。然而，设计一个全身遥控系统可能很有挑战性，因为双手已经被 ALOHA 引导臂占用。将操作员腰部系在移动基座上的设计，是最简单、最直接的解决方案，如上图左所示。人类可以反向驱动车轮，当扭矩关闭时，车轮的摩擦力非常小。测量乙烯基地板上的滚动阻力约为 13N，大多数人都可以接受。将操作员直接连接到移动机械手，还可以在机器人与物体碰撞时提供粗略的触觉反馈。为了改善人体工程学（ergonomics），挂链点的高度和引导臂的位置都可以独立调节，最大调节范围为 30 厘米。在自主执行期间，还可以松开 4 颗螺钉将挂链结构与两个引导臂一起拆卸。这减少了移动机械手的占地面积和重量，如上图中所示。为了改善人体工程学并扩大工作空间，还将四个 ALOHA 臂全部朝前安装，不同于原来的 ALOHA，其臂朝内安装。

为了使移动机械手不受束缚（考虑 4），在底座上放置了一个重 14 公斤的 1.26kWh 电池。它还可以作为平衡重量以避免翻倒。数据收集和推理期间的所有计算都在配备 Nvidia 3070 Ti GPU（8GB VRAM）和 Intel i7-12800H 的消费级笔记本电脑上进行。它接受来自三个 Logitech C922x RGB 网络摄像头的数据流，分辨率为 480x640，频率为 50Hz。两个摄像头安装在跟随者机器人的手腕上，第三个摄像头朝前。笔记本电脑还通过 USB 串行端口接受来自所有 4 个臂的本体感受（proprioception）流，并通过 CAN 总线接受来自 Tracer 移动基座的本体感受流。记录移动基座的线性和角速度，用作学习策略的动作。还记录所有 4 个机器人手臂的关节位置，用作策略的观测和动作。

考虑到上述设计因素，以 32,000 美元的预算构建Mobile ALOHA，其预算与单个工业协作机器人（例如 Franka Emika Panda）相当。如上图（中间）所示，移动机械手的动作距离可以垂直于地面达到 65 厘米至 200 厘米，向外延伸 100 厘米，可以举起 1.5 公斤重的物体，并且可以在 1.5 米高度施加 100N 的拉力。移动 ALOHA 能够执行的一些示例任务包括：
• 家务：浇灌植物、使用吸尘器、装载和卸载洗碗机、从冰箱中获取饮料、开门、使用洗衣机、掀开和铺开被子、塞满枕头、拉上夹克拉链并挂上、折叠裤子、打开/关闭灯以及自行充电。
• 烹饪：打鸡蛋、切碎大蒜、拆开蔬菜包装、倒液体、煎炸和翻转鸡腿、甩干、翻炒、将食物盛入盘中。
• 人机交互：与人打招呼并握手、打开啤酒并递给人、帮助人刮胡子和整理床铺。

除了现成的机器人外，还开源了所有软件和硬件部件，并提供涵盖 3D 打印、组装和软件安装的详细教程。

使用模仿学习解决现实世界机器人任务的典型方法，依赖于使用在特定机器人硬件平台上为目标任务收集的数据集。然而，这种直接的方法存在数据收集过程冗长的问题，其中人类操作员在特定机器人硬件平台上为每个任务从头开始收集演示数据。由于这些数据集中视觉多样性有限，在这些专门的数据集上训练的策略通常对感知扰动（例如干扰物和光照变化）不具有鲁棒性 [95]。从不同但相似类型的机器人收集的各种现实世界数据集进行联合训练，在单臂操作 [11, 20, 31, 61] 和导航 [79] 方面显示出有希望的结果。

这项工作使用一个联合训练流程，利用现有的静态 ALOHA 数据集来提高模仿学习在移动操作方面的性能，特别是对于双手手臂动作。静态 ALOHA 数据集 [81, 104] 共有 825 个演示，涉及的任务包括 Ziploc 密封、拿起叉子、糖果包装、撕纸巾、打开带盖的塑料杯、玩乒乓球、分配胶带、使用咖啡机、交出铅笔、系紧尼龙搭扣电缆、插入电池以及使用螺丝刀。请注意，静态 ALOHA 数据全部在黑色桌面上收集，两个臂固定在一起，彼此面对。此设置不同于Mobile ALOHA，在Mobile ALOHA 中，背景随基座的移动而变化，两个臂平行放置，面向前方。在联合训练中，没有对静态 ALOHA 数据的 RGB 观测或双手动作使用任何特殊的数据处理技术。

本文标签： 操作低成本双手全身Mobile