Personal news Publisher

TurboVLA、1GB未満のVRAMでロボットを毎秒32回制御

TurboVLAが画像と指示から軽量にロボット動作を生成する構造と性能の図解

ロボット向け視覚・言語・行動モデル「TurboVLA」が発表されました。大規模言語モデルを毎回通して行動を決める構造をやめ、画像と指示を別々に軽量処理して直接動作へ結び付けます。RTX 4090上で推論用VRAM 0.9GB、遅延31.2ミリ秒、毎秒約32回の制御を実現し、LIBERO評価で平均成功率97.7%を報告しました。

LLMを中心に置かないVLA設計

一般的なVLAは、カメラ画像をLLMの表現へ変換し、言語処理を経由してロボット動作を出します。TurboVLAは視覚と指示の特徴を双方向に交換し、0.2Bパラメータの小型デコーダーが連続した動作列を直接予測することで、計算量とメモリ使用を減らしました。

0.9GB・31.2ミリ秒・成功率97.7%

重要なのは、ロボット制御に常に大きな言語モデルが必要とは限らない点です。言語は作業条件を与え、視覚は現場状態を伝え、必要な相互作用だけを残す設計により、消費者向けGPUでも高頻度制御へ近づきました。コードも公開されています。

現場導入前に確かめる実環境の差

工場や研究室では、クラウド往復や大容量GPUに依存せず、現場端末で低遅延に動かせる可能性があります。導入費用、通信断への強さ、複数台展開の設計へ影響します。 97.7%はLIBEROベンチマーク上の結果で、未知の物体、照明変化、安全要件を含む実環境性能を保証しません。7月29日公開の査読前プレプリントとして検証が必要です。

引用元