论文动机

训练一个良好的VLA模型需要高质量的数据,需要具有不同的:

  • 物体形状
  • 背景颜色材质等
  • 光照条件
  • 语言指示
  • 具身体 然而现在的模拟环境具有以下不足:
  • 自动化质量控制
  • 专家级验证循环
  • 随机化太浮于表面,不具备上述变化
  • 忽视了跨具身体差异

论文方法

RoboTwin2.0为了提出一个可行的自动模拟环境,即自动的在模拟环境中收集可行代码,提出了:

  • 一条利用MLLM和循环内反馈来验证改善运行代码的自动化专业代码生成pipeline
  • 包括上述五个点的领域随机化
  • 跨智能体的适配 image.png 这个是整个流程,其中MLLM扮演的是操作的人,提供训练所需的数据。同时有针对上述五种的随机化。 image.png MLLM工作流程。