论文动机
训练一个良好的VLA模型需要高质量的数据,需要具有不同的:
- 物体形状
- 背景颜色材质等
- 光照条件
- 语言指示
- 具身体 然而现在的模拟环境具有以下不足:
- 自动化质量控制
- 专家级验证循环
- 随机化太浮于表面,不具备上述变化
- 忽视了跨具身体差异
论文方法
RoboTwin2.0为了提出一个可行的自动模拟环境,即自动的在模拟环境中收集可行代码,提出了:
- 一条利用MLLM和循环内反馈来验证改善运行代码的自动化专业代码生成pipeline
- 包括上述五个点的领域随机化
- 跨智能体的适配
这个是整个流程,其中MLLM扮演的是操作的人,提供训练所需的数据。同时有针对上述五种的随机化。
MLLM工作流程。