トロント大学などの研究チームは、言葉で指定した物を複雑な場面からつかむSeededGraspを発表しました。大きな視覚言語モデルは「どこを狙うか」に集中し、軽量な生成器がロボットの形に合う動きを作ります。意味理解と実行を分けることで、別のロボットへ学習を移しやすくする狙いです。
意味理解と把持動作を分けた仕組み
7月22日投稿の論文では、視覚言語モデルが画像と言語指示から対象物上の種点を予測し、把持生成器が深度情報とロボット形状を使って具体的な動作を作ります。研究チームは複数のロボットを含む250万件超の卓上把持データも構築しました。
複数ロボットへ移しやすい理由
シミュレーション成功率72%、実機78%と報告され、同じ意味理解を異なる腕や手へ使える点が特徴です。巨大モデルにロボットごとの動作まで覚えさせず、意味と幾何を分担させるため、追加データの負担を抑えられます。
実用化で残る確認
倉庫や工場では、製品名や用途で対象を指示しつつ、設備ごとに実行部分だけ調整する設計へつながります。 数値は論文環境での結果で、査読前のプレプリントです。透明物、変形物、動く対象、失敗時の安全停止は実環境で別途検証が必要です。