本記事は原著論文をもとに編集部が独自に要約・解説したもので、著者・研究機関による公式翻訳ではありません。正確な表現や数値は原文をご確認ください。
3分で分かる要約
Open X-Embodimentは、異なる研究機関とロボットの操作データを共通形式へまとめ、複数機体の経験を一つの方策へ学習させるためのデータ基盤です。論文では、このデータ混合で学習したRT-1-XとRT-2-Xを使い、ロボット間の正の転移を検証しました。
この研究の重要点は、データ量の大きさだけではありません。カメラ、動作次元、制御方法が違うロボットのデータを、共通の入出力として扱うための整備にあります。
この研究が解こうとした問題
画像や文章はインターネットから大規模データを集められますが、ロボット動作は実機で収集する必要があります。一つの研究室や一種類のロボットだけでは、環境、物体、動作の多様性が限られます。
複数のデータセットを単純に結合しても、ロボットごとにカメラ構成、関節数、座標系、動作表現、記録形式が違います。Open X-Embodimentは、この不一致を揃えたうえで、他ロボットの経験が対象ロボットへ役立つかを調べました。
従来との違い
従来は、ロボット、環境、作業ごとに個別モデルを学習する構成が一般的でした。本研究は、異なる機体のデータをまとめて学習するcross-embodimentという方向を、共同データセットと実機評価の両方で検討しています。
RT-1-Xはロボット制御向けTransformer、RT-2-Xは画像・言語で事前学習した大規模モデルを基礎に、ロボット動作をトークンとして出力するVLAです。モデル容量によって、異種データを吸収できる範囲が異なる点も評価されています。
提案手法の解説：異なる機体を共通形式へそろえる
データは観測、言語指示、動作へ整理されます。RT-Xでは、ロボットの手先座標に対する位置・姿勢・グリッパー操作を共通の動作表現として使い、使わない次元はゼロにします。
論文全体のデータセットは22種類のロボットを含みますが、RT-Xモデルの実験学習では9種類のマニピュレーターが使われています。この「データセットの全体」と「モデル学習に使った範囲」を分けて読む必要があります。
RT-1-XとRT-2-Xは、各機体専用のデータだけで学ぶモデルと比較されます。また、あるロボットのデータセットを除くablationにより、特定技能が別のロボットから転移した可能性を調べています。
実験・評価方法
RT-1-Xは複数の研究機関にある実機で、各環境内の既知技能を評価しています。小規模データの領域と大規模データの領域を分け、個別学習モデルや各データセットの元手法と比較しました。
RT-2-Xでは、Google Robotの元データにはなく、Bridgeデータ側には存在する技能を評価しています。Bridgeデータを学習混合から除いた比較も行い、他機体の経験が成績へ与える影響を調べています。
主な結果
著者らは、小規模データの領域でRT-1-Xが複数の個別手法を上回り、データが豊富な領域では、より大きなRT-2-Xが異種データから利益を得たと報告しています。小さいモデルでは大規模データ領域で過少適合が見られました。
RT-2-Xの新技能評価では、Bridgeデータを含む構成が、除いた構成より良い結果を示しました。これは別ロボットのデータからの転移を支持しますが、あらゆるデータ追加が常に有効という意味ではありません。
論文が示す限界と未解決点
データセットごとの品質、指示文、制御周期、成功の定義も均一ではありません。データを増やすだけでなく、対象作業に関係するデータをどう選び、重みづけするかが後続研究の課題です。
運営者の考察
異種データには、正の転移だけでなく干渉の可能性があります。対象設備の評価セットを先に固定し、データを一種類ずつ追加したablationを行わなければ、改善理由を判断できません。
日本の産業・研究への影響
国内では、大学・企業ごとに閉じているロボットデータの形式をそろえる議論につながります。装置メーカー、SIer、利用企業がデータ定義を共有できれば、個別PoCの経験を次の設備へ転用しやすくなります。
ただし、データには映像、施設情報、作業ノウハウが含まれる可能性があります。ライセンスだけでなく、個人情報、機密、輸出管理、契約上の利用範囲も確認が必要です。
用語解説
- Cross-embodiment：異なる身体構成・機体のデータをまたいで学習する考え方です。
- 正の転移：別のタスクや機体から得た学習が、対象の性能改善に役立つことです。
- Ablation：要素を除いた比較により、その要素の寄与を調べる実験です。
- RT-1-X：RT-1を複数ロボットのデータ混合で学習したモデルです。
- RT-2-X：VLMを基礎に、複数ロボットのデータで学習したVLAです。
原論文情報
参考資料
- Open X-Embodiment Collaboration et al., “Open X-Embodiment: Robotic Learning Datasets and RT-X Models,” arXiv:2310.08864, 2023.
- Open X-Embodiment official project page.