英伟达实验室提出机器人训练数据缺乏问题的新解决方案
发布日期：2024-11-06
来源：IT之家
人类只需要演示五次，就能让机器人学会一项复杂技能。
英伟达实验室，提出了机器人训练数据缺乏问题的新解决方案 ——DexMimicGen。五次演示之后，DexMimicGen 就可以直接模仿出 1000 个新的 demo。
而且可用性强，用这些新 demo 训练出的机器人，在仿真环境中的任务成功率可以高达 97%，比用真人数据效果还要好。
参与此项目的英伟达科学家范麟熙（Jim Fan）认为，这种用机器训练机器的方式，解决了机器人领域最大的痛点（指数据收集）。
同时，Jim Fan 还预言：
机器人数据的未来是生成式的，整个机器人学习流程的未来也将是生成式的。
值得一提的是，DexMimicGen 三名共同一作都是李飞飞的“徒孙”，具体说是德克萨斯大学奥斯汀分校（UT 奥斯汀）助理教授朱玉可（Yuke Zhu）的学生。
而且三人均为华人，目前都在英伟达研究院实习。
5 次演示，生成 1000 条数据
如前所述，DexMimicGen 可以仅根据人类的 5 次演示，生成 1000 个新 DEMO。
在整个实验中，作者设置了 9 个场景，涵盖了 3 种机器人形态，共进行了 60 次演示，获得了 21000 多个生成 DEMO。
在仿真环境当中，用 DexMimicGen 生成数据训练出的策略执行整理抽屉这一任务，成功率可达 76%，而单纯使用人工数据只有 0.7%。
