アトラックラボ、熟練技能のロボット継承技術の開発開始 VLMと模倣学習を活用

ロボットシステム開発のアトラックラボ（埼玉・三芳町）は8月20日、熟練作業者の動作や判断をロボットに学習させる「模倣学習」と「VLM（視覚言語モデル）」を組み合わせた技能継承ロボット技術の開発を始めたと発表した。熟練者の動作だけでなく、作業中の発話や判断理由も記録し、フィジカルAIとしてロボットへ継承する技術の確立を目指す。

技能継承ロボット技術では、熟練者の動作に加え、作業中の発話や判断理由も同時に記録し、学習データとして活用する。「ここでは少し力を抜く」「この角度から工具を当てる」といった熟練者の言葉と、実際の動作、カメラ映像、センサーデータを関連付けることで、「どう動いたか」だけでなく、「何を見て、なぜその動作をしたのか」までロボットに学習させる。

開発する技術で取り入れる「模倣学習」は、人が実際に行った作業を教師データとして、ロボットに作業を学習させる技術。熟練者がロボットアームなどを操作して作業を実演し、その際のカメラ映像、関節位置、姿勢、速度、力・トルクなどを記録する。さらに、作業中の音声も同時に記録する。

例えば、「最初は軽く当てて位置を決める」「抵抗が増えたら力を抜きながら回す」「この角度になったら工具を少し寝かせる」といった言葉には、動作軌跡だけでは取得しにくい熟練者の経験や作業のコツが含まれる。

これらの発話を映像、ロボットの動作、力覚などのデータと関連付け、視覚、動作、力覚、言語を組み合わせた学習データとして蓄積する。

一方、「VLM」は、カメラ映像から作業対象やその状態を捉えるために使用する。熟練作業では、決められた動作を繰り返すだけでなく、対象物の位置、形状、向き、作業の進み具合などを見ながら、その都度、動作や力加減を変える必要がある。

そのため、「VLM」で得た情報を熟練者の言葉、ロボットの動作、力覚データと関連付けることで、「見る、判断する、動く」という流れを学習データとして利用する。

アトラックラボでは、模倣学習の手法の1つである「DAgger（データセット・アグリゲーション）」の考え方も取り入れる。

熟練者による実演データを基にロボットを学習させた後、ロボットが実際の作業やシミュレーションで迷った場面に対し、熟練者が適切な動作や判断を追加で示すようにする。失敗しやすい状況や未知の状況を新たな教師データとして継続的に蓄積することで、ロボットの現場適応力を高める。

追加指導では、修正動作だけでなく、「対象物がずれているため、工具を当てる角度を変える」「抵抗が強いため、一度力を抜いて位置を合わせ直す」といった判断理由も言葉として記録する。

「VLM」が捉えた作業対象の状態と、修正動作、力覚データ、言葉による説明を関連付け、状況の変化に応じて動作を修正できる技術を開発する。

同社は、熟練者の「見る・考える・動く」に加え、「ずれに気づき、立て直す」という技能までロボットに継承することを目指す。