第 4 章 学習とデータ4.1

模倣学習・強化学習・基盤モデルの全体像

ロボットの模倣学習と強化学習を、学習に使う情報と準備するものから比較します。基盤モデルは学習方法とは別の軸にあることを整理し、架空の箱移動を例に、方法を選ぶ手順と失敗の見方を説明します。

要点

  1. 模倣学習は見本となる動作から学ぶ方法で、強化学習は環境とのやり取りで得る報酬を手がかりに学ぶ方法です。
  2. ロボット基盤モデルは多様な作業に使える学習済みモデルであり、この二つと同じ軸の三択ではありません。
  3. 利用できる見本、結果を評価する仕組み、試行する環境を確かめ、既存モデルを使うかどうかも別に検討します。
  4. どの方法でも、学習に使った条件の外で動くか、実機へ移すときに何が変わるかを確認します。

定義

報酬(reward)
学習の際に結果や行動を評価するために与える値です。
行動模倣(behavioral cloning)
見本の観測と動作の対応を学ぶ模倣学習の方法です。

ロボットに動作を学ばせる方法を選ぶときは、「何を手がかりに学ぶか」と「学習済みの何を使うか」を分けます。模倣学習と強化学習は前者の違いです。基盤モデルは後者の出発点に当たるため、三つを互いに置き換え可能な製品のように比べると、必要な準備を見落とします。

架空の課題として、台の上の箱を指定したトレーへ移す作業を考えます。人が動かした記録を見本にする、シミュレーションで試行の結果を評価する、既存モデルをこの作業に適応させる、という検討ができます。以下の比較と作業順は、この課題を整理するための独自例です。製品の性能順位、必要なデータ量、実機の安全性を示すものではありません。実際の試験は許可を得た対象と環境で行います。

学習の手がかりとモデルの出発点

方策(policy)は、観測した情報に応じて動作を選ぶ仕組みです。箱の画像やロボットの状態を受け取り、次の動作を出すものと考えられます。学習方法の違いは、この方策を何に照らして更新するかにあります。

次の表は、論文が扱う役割を箱移動の検討項目に整理したものです。「先に確かめること」は本稿の選定用の問いで、論文の推奨手順や性能比較ではありません。

観点学習で利用するもの箱移動の例で先に確かめること
模倣学習人などが示した動作の見本観測と動作を対応させた見本を用意できるか
強化学習環境とのやり取りと、その結果に対する報酬結果の良さを評価し、試行を重ねる環境を用意できるか
基盤モデルの利用多様なデータで学習した既存モデル対象の入力・動作・作業に適応させる方法と確認材料があるか

模倣学習にも複数の方法があります。ここでは、見本の観測と動作の対応を学ぶ行動模倣(behavioral cloning)を中心に説明します。Zhaoらのサーベイは、見本から報酬を推定する方法も区別しています(II-F節)。したがって、模倣学習を常に「記録をそのまま再生すること」と考えるのは適切ではありません。

二つの点線枠は、学習に用いる手がかりと、使い始めるモデルを分けています。模倣学習と強化学習から出る線は方策を更新する関係、基盤モデルから出る線は既に学習したモデルを出発点にする関係です(図 4.1.1 学習の手がかりと出発点の関係)。

学習の手がかりと出発点の関係模倣学習の見本と強化学習の報酬は方策を更新する手がかり、基盤モデルは方策の出発点という別の問いに属することを示す図。学習の出発点学習の手がかり更新更新出発点模倣学習動作の見本強化学習試行と報酬基盤モデル方策観測→動作
図 4.1.1 学習の手がかりと出発点の関係

見本から学ぶ模倣学習

箱移動の見本を作るなら、箱を見たときの画像と、そのときに選んだ動作を対応させて記録します。学習後には新たな観測から動作を選ぶため、見本と同じ時刻に同じ命令を送るだけの再生とは役割が違います。

ACTを提案したZhaoらの論文は、遠隔操作で集めた実演から動作を学ぶ構成を示しています。また、一度の小さな動作のずれが後の状態を変え、見本にない状態へ外れていく問題を説明しています(I・II節)。ACTは一つ先だけでなく、動作の連なりを予測する方法です。これは特定の研究の構成であり、すべての模倣学習に同じ仕組みがあるわけではありません。

本稿の箱移動なら、見本では箱をつかめていても、学習した方策が箱を少し押してしまい、その後の観測が変わる場合を確認対象にします。成功した場面の記録だけで、そのずれから戻れると判断しません。見本に含まれる条件と、確認したい条件を分けて書き出すと、追加で何を観察すべきかが明確になります。

報酬を手がかりに学ぶ強化学習

報酬(reward)は、学習の際に結果や行動を評価するために与える値です。強化学習では、環境の中で動作を選び、その後の状態や報酬を得ながら方策を学びます。Zhaoらのサーベイは、これを環境と段階的にやり取りする意思決定として説明しています(II-A節)。

箱移動の例では、トレーに箱が収まった状態と、近づいたものの収まっていない状態をどう区別するかが検討項目です。「箱とトレーが近い」だけを良い結果と数える設計案では、完了していない状態も高く評価してしまわないかを点検します。これは報酬案を考えるための架空の失敗例で、実行済みの学習結果ではありません。

試行をどこで行うかも別の判断です。同サーベイは、実機で経験を集める負担や予期しない動作の問題と、シミュレーションから実機へ移す際の差を論じています(I節、II-B節)。シミュレーションで試行できたことを、実機でそのまま動く根拠にはしません。仮想環境の役割はロボットシミュレーターの役割でも説明しています。

基盤モデルを使うときの位置づけ

ロボット基盤モデルは、多様なロボットや作業へ使うことを目指して学習されたモデルです。π₀のRSS論文集の概要は、学習済みの視覚言語モデルを基にし、複数種類のロボットのデータで学習する構成を説明しています。直接の指示への対応と、追加の学習による技能の獲得を、それぞれ評価対象にしています。

この例から整理できるのは、既存モデルを出発点に使うかどうかと、対象の作業をどう学習・確認するかは別の問いだということです。基盤モデルを採用しただけで、見本や評価が不要になるとは言えません。一方、すべての作業で必ず同じ追加学習が必要だと決めることもできません。対象のモデルが説明する利用条件と、試した課題の範囲を確かめます。

箱移動の計画では、モデルが受け取る情報、出せる動作、対象ロボットへの対応、適応用データ、確認する課題を記録する案が考えられます。モデル名だけで可否を決めず、実演から学ぶ方法やシミュレーションでの試行を組み合わせる必要があるかを検討します。ここではπ₀の論文概要の範囲を用い、最新モデルの性能や実装手順を比較していません。

方法を選ぶための確認手順

選定では、方式の名前を先に決めるより、手元にある情報と不足する準備を対応させます。次は本稿の箱移動を検討するための作業例です。

  1. 作業と結果を言葉で定めます。 どの箱をどこへ移し、何が成立すれば完了かを記録します。学習の途中の評価と、最終的な受入条件を混ぜません。
  2. 学習に使える材料を分けます。 実演の記録、結果を評価する仕組み、試行できる環境、利用できる学習済みモデルを別々に確認します。
  3. 不足と選択理由を残します。 見本がない、評価の意味が曖昧、対象の動作にモデルが対応するか未確認、といった不足を、方式名で覆い隠しません。
  4. 学習条件と確認条件を分けます。 箱の位置などを変えた場合の確認計画を立て、失敗したら見本・報酬・入力・環境のどこへ戻るかを記録します。

モデルの再利用と、シミュレーションから実機への移行は別の判断です。両方を組み合わせる構成もありますが、どちらかを使えば他方も必須とはなりません。方法を選んだ記録には、学ぶ材料と学習の出発点、試す環境、まだ確かめていない条件を残します。

データから学習方式を選ぶ例

次は箱を移す動作を学習させる架空の検討例です。手元にあるデータと、失敗をどう評価できるかから方式を絞ります。

手元の条件候補着手前の確認
人が操作した画像・状態・動作の記録がある模倣学習成功した試行の条件と、評価用に取り分けた条件を区別できるか
仮想環境で試行でき、完了を判定できる強化学習報酬が増えても、箱を落とすなど目的に反する動作を許していないか
既存モデルを使いたい基盤モデルの適用・追加学習入力、出力、ロボットの構成、利用条件が対象と合うか

方式名だけで優劣を決めず、同じ評価用の箱・配置・完了判定を使って比較する計画を立てます。基盤モデルが存在しても、対象機体の指令へ変換できることと、対象作業で性能が出ることは別です。適用できない入力を変換で補う場合も、その処理をモデルと一緒に版管理し、評価の対象へ含めます。

箱の端を押してしまう架空の失敗なら、まず接触前後の観測と指令を照合します。見本にないずれ方なら、そのずれから戻す実演を検討します。強化学習で押すだけでも高い評価になるなら、完了の判定と報酬を見直します。位置の単位が違うなら、学習をやり直す前に入力変換を直します。原因候補を一つずつ変え、同じ評価条件で比較します。

自社での取り組みについて相談する

ロボットやシミュレーターの検証・導入について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する