【東芝】世界初、少量データによる「オフライン強化学習」で複雑なロボット操作を高精度に制御するAIを開発

２０２４－５－１０
株式会社　東芝


世界初、少量データによる「オフライン強化学習」で複雑なロボット操作を高精度に制御するAIを開発
～安全かつ効率的に学習可能なAIで製造現場などの自動化を推進し、人手不足の解消に貢献～

概要
　当社は、ロボット制御に用いられる機械学習の一つである「オフライン強化学習」において、世界で初めて(*1)、少量の画像データから複雑なロボット操作を高精度に制御するAI技術を開発しました。本AIを用いて、公開ベンチマーク環境でピッキングや物を置くといった8種類の作業のシミュレーション評価を行ったところ、従来手法では36％だった平均成功率が今般の開発手法を用いると72％に向上し、世界最高精度(*2)を達成しました。
　AI自身が試行錯誤して学習する強化学習に対して、あらかじめ作成したデータで学習する手法は「オフライン強化学習」と呼ばれています。従来、この手法で精度を上げるには数千以上の学習データが必要で、データの作成に数週間から1ヵ月以上かかるといった課題がありました。本AIは100程度の少量の学習データで精度を上げることが可能で、必要なデータが減ることから、わずか半日ほどで学習データを作成することができるようになります。学習データの作成に必要なデータが少ない分野や試行錯誤してデータを作成することが難しい分野で、導入時の負荷を抑えながらより簡単に機器制御ができるようになり、安全性が求められる製造機器や医療機器の操作・自動運転を含む、あらゆる分野における自動化を推進し、人手不足の解消に貢献できます。
　本AIは、理化学研究所 革新知能統合研究センター長　兼　東京大学 大学院新領域創成科学研究科教授の杉山将氏(*3)との共創の成果で、ロボットアームの作業状況を撮影した画像から注目領域を切り出して制御の微調整を行う、2段階制御を学習する技術を開発し、精度の大幅な改善を実現しました。
　当社は、本技術の詳細を、5月13日から17日にかけて横浜で開催されるロボティクス分野で世界トップの国際学会「ICRA（IEEE International Conference on Robotics and Automation）」にて5月14日に発表します。

開発の背景
　近年、製造・保守・物流など産業のさまざまな現場で、労働力不足や熟練者の減少などを背景に、ロボットによる自動化が急速に進められています。世界の産業オートメーション市場は、2022年の2,058億6,000万米ドルから2029年までに3,950億9,000万米ドルに成長（年平均成長率9.8％）すると予測されており(*4)、より複雑な作業を自動化できる技術へのニーズが高まっています。
　現在、製造現場などでロボットを導入して複雑な作業をさせるためには、対象物の位置や向きなどの状態推定や、状態ごとの動作計画などを専門家が設計・開発する必要があり、人手で学習させています。ロボット制御に用いられる機械学習手法の一つである「強化学習」は、カメラで取得した画像から自律的にロボットの操作を学習できるため、複雑な作業を自動化する手法として期待されています。しかし、高精度な作業を実現するには、AIがロボットを実際に稼働させ（オンライン）、試行錯誤して学習していくため、安全上の懸念が生じます。
　そこで、あらかじめ作成したデータから制御を学習し（オフライン）、試行錯誤を必要としない「オフライン強化学習」への期待が高まっています。オフライン強化学習で精度を上げるには、想定される物の配置や作業のパターンを網羅的に学習する手法が一般的ですが、数千以上の学習データが必要であり、その学習データの作成に数週間から1ヵ月以上かかるなど、多大な手間と労力がかかります。複雑なロボット制御を安全かつ高精度に少量のデータで学習するオフライン強化学習が実現すれば、より多くの現場でロボットによる自動化を進めることができます。