Apple、ロボット動作を型付きプログラム化するREFACTOR発表

Appleの機械学習研究チーム（Apple Machine Learning Research）は、ロボット制御におけるVLA（視覚・言語・ロボット動作を統合処理する基盤モデル）向けに、再利用可能なスキルを型付きプログラムとして教師なし学習するシステム「REFACTOR-VLA（ロボットの動作を型付きプログラムとして抽象化・再利用する学習基盤）」を発表しました。

モノリシックVLAの課題とwake/sleepアーキテクチャ

OpenVLA、π0、RT-2、RDT-1Bなどの既存VLAモデルは、生のモーター制御値や極めて短い行動系列を直接出力する「モノリシック（一体型）」な構造をとっています。この方式では、多段階にわたる長期タスクでの性能が低下しやすく、モデルが何を学習したかの解釈が困難という課題がありました。

REFACTOR-VLAは、人間の睡眠と覚醒のサイクルに着想を得た「wake/sleep」アーキテクチャを採用し、再利用可能な動作スキルをライブラリとして体系化します。

フェーズ	役割と処理内容
Phase A（事前学習）	潜在ワールドモデル（$M_\phi$）を訓練
Phase B（Wakeフェーズ）	型付きラムダ項を生成し、整流フローデコーダーで行動ポリシーを最適化
Phase C（Sleepフェーズ）	振る舞い等価カーネル（BEK）を用いて動作断片をクラスタリングしスキル発見

発見された動作抽象化は、最小記述長（MDL）基準とリターン保持ゲートの双方を通過したもののみがライブラリへ登録されます。

LIBEROベンチマークでの実験結果と知見

研究チームは、ロボット操作の標準ベンチマーク「LIBERO」の全スイートで評価を実施し、以下の重要な知見を明らかにしました。

• ​モデル規模拡大の限界​: ワールドモデルを188M（1億8800万）パラメータから430M（4億3000万）パラメータへ単純に拡大したところ、全4スイートで性能が悪化し、単純なスケーリング神話が成り立たないことを確認
• ​対比学習による品質向上​: Phase Aで補助的な教師あり対比損失（InfoNCE）を導入することで、Phase Cにおけるスキルのクラスタリング精度（Normalized Mutual Information: NMI）が大幅に向上

スイート	クラスタリング品質（NMI）
Object	0.462 ± 0.021
Spatial	0.867 ± 0.025
Goal	0.915 ± 0.013
LIBERO-10	0.754 ± 0.010

ロボット制御におけるプログラム抽象化の意義

従来のスキル獲得手法であるAtomicVLAやAtomSkillが対比埋め込みの幾何的クラスタリングに頼り、BLADEやLRLLがロボットの物理ダイナミクスを考慮しない外部LLMの判定に依存していたのに対し、REFACTOR-VLAは潜在ワールドモデルのシミュレーション結果に基づく等価性判定を実現しています。

エンドツーエンドのブラックボックスモデルから、検証可能で構造化されたプログラムライブラリへの移行は、ロボットの自律動作における信頼性と汎用性の向上に大きく寄与すると期待されます。

引用元：Apple Machine Learning Research