第 4 章 学習とデータ4.4
学習の評価と失敗の分析
ロボットの学習結果は、成功の定義、試験条件、試行数をそろえて評価します。架空の箱の移動作業を通し、成功率の読み方、失敗の記録、原因候補の切り分け、改善後の比較を説明します。
要点
- 学習の評価では、ロボットが作業を達成した条件と、試した条件を先に決めます。
- 成功率は成功数だけでなく、評価対象の試行数と途中終了の扱いを添えて読みます。
- 失敗は観察できた出来事と原因の仮説を分け、入力、動作、状態、判定の記録を対応付けて調べます。
- 改善後は同じ条件での比較と別の条件での評価を区別し、試験の範囲を超えた性能を断定しません。
定義
- 損失(loss)
- 学習で小さくするように定めた誤差などの値です。
- チェックポイント(checkpoint)
- 学習途中のモデルの状態を保存したものです。
ロボットの学習の評価は、学んだ行動の選び方が、決めた条件で作業を達成できるか確かめることです。この行動の選び方を方策(policy)と呼びます。例えば、画像とロボット自身の状態を入力として、次に腕をどちらへ動かすかを出力します。評価では、保存された方策を実行し、入力から動作、結果までを通して見ます。
以下では、机の上の箱をつかんでトレーへ移す、説明用の架空の作業を使います。箱を一度持ち上げられても、途中で落としたなら「移す」という作業は完了していません。また、得意な箱の位置だけを繰り返して得た成功率から、別の位置での成績を判断することもできません。何を成功とし、どんな場面を試したかを数値と一緒に残す必要があります。
作業の達成と学習中の数値
学習を進めるための数値と、作業が完了したかを示す数値は区別します。損失(loss)は、学習で小さくするように定めた誤差などの値です。例えば、模倣学習で手本の動作に近づける目的と、動作を連続させて箱を運び切る目的は、同じ測定で確かめられるものではありません。
ロボット学習用の道具であるrobomimicの文書でも、学習・検証データに対する記録と、方策を環境内で実行した結果を分けています。後者には成功率や、実行中に得た報酬の合計があります。報酬は、行動や状態を学習上の目的に沿って点数化する値です。点数と業務上の完了条件が同じとは限らないため、架空例では「箱が指定したトレー内に置かれたか」を別に記録します。Logging and Viewing Training Results
研究の指標も名前だけで比較できません。Diffusion Policyの評価では、多くの作業に成功率を使う一方、シミュレーションのPush-Tという作業には目標領域の被覆率を使っています。異なる指標をすべて「成功率」と読み替えず、何を測っているかを確認します。Diffusion Policy v5 §5.2
試験前に固定する成功の条件
一試行は、決めた初期状態から開始し、終了条件に達するまでの一連の実行です。学習の文脈ではエピソード(episode)とも呼びます。架空例なら、箱とアームを決めた状態から開始し、完了、失敗、制限時間への到達などで終了します。
成功の条件は、試験結果を見る前に文章にします。次の表は、この架空例の評価計画案で、資料が定めた共通基準ではありません。
| 決める項目 | 架空例で記録する内容 | 先に決める理由 |
|---|---|---|
| 達成した状態 | 箱が指定トレー内にあり、把持具から離れていること | 持ち上げるだけの成功と区別するため |
| 判定する時点 | 作業の終了時点に条件を満たしているか | 途中の一瞬だけ達成した場合を混ぜないため |
| 試験の範囲 | 箱の種類、位置、照明、機器と設定の版 | 何についての成績かを明らかにするため |
| 終了と介入 | 制限時間、作業失敗、人の補助が入った場合の記録方法 | 結果を見てから都合よく扱いを変えないため |
| 判定の方法 | どの画像や状態記録で完了を確認するか | 判定の誤りとロボットの誤りを分けるため |
判定する時点は結果に影響します。Diffusion Policyの実機Push-T実験では、途中の最大値ではなく、終了時の状態を使う評価条件が説明されています。これは特定の実験での選択です。箱の移動作業でも、目的に合う判定時点を決め、モデル間の比較中に変えないという考え方に使えます。Diffusion Policy v5 §6.1
成功率の分母と試験条件
成功率は、評価対象にした試行のうち成功した試行の割合です。ただし、その割合だけでは、少数の試行で得た結果なのか、特定の条件に偏った結果なのかを区別できません。成功数、評価対象の試行数、試した条件を一緒に報告します。
図 4.4.1 試行の扱いと集計は、各試行の扱いが成績の集計にどう反映されるかを示します。架空例では、予定した試行ごとに識別子を付け、成功、失敗、試験側の不備、未実施を残す記録表を作ります。成功率を「成功した試行数 ÷ 評価対象の試行数」とする場合、何を評価対象に含めたかも明示します。ロボットが箱を落とした試行を、最後まで動かなかったという理由で分母から外してはいけません。時間内に終わらなかった場合や、方策の振る舞いが原因で中断した場合も、その出来事を成績から消さず、計画した扱いで集計します。一方、開始前の記録装置の不具合などで試験が成立しなかった場合は、理由を添えて別に数えます。評価から除いた件数と未実施の件数を報告すれば、成功率の外に何があるかが分かります。自律で完了した成績を測るなら、人の補助によって完了した試行は自律の成功数に含めず、介入ありとして区別します。
条件ごとの結果も確認します。箱が手前にある試行を多く、奥にある試行を少なく実施すると、全体の成功率は手前の成績の影響を強く受けます。まず条件ごとに成功数と試行数を並べ、その後で全体を見ます。改善前後で条件の割合が変わった場合は、その変化を明記します。試行数や合格値に一律の正解はなく、必要な判断と結果のばらつきを踏まえて計画する対象です。
比較する方策と評価条件の固定
比較対象は「新しいモデル」といった呼び名だけでなく、保存した状態で特定します。チェックポイント(checkpoint)は、学習途中のモデルの状態を保存したものです。どの状態を選んだかで、報告する結果の意味が変わります。
Diffusion Policyの論文は、学習終盤の複数のチェックポイントそれぞれの評価成績を平均した結果と、最もよいチェックポイントを使った評価を区別しています。初期状態や学習時の乱数条件も評価の説明に含めています。この実験の回数を一般の必要回数とはせず、平均の対象や候補の選び方まで読む必要がある例として捉えます。Diffusion Policy v5 §5.2
架空例の比較では、次の内容を結果に添えます。
- 方策の保存ファイルを特定できる識別情報と、使用した学習データの版
- ロボット、シミュレーター、カメラ、判定方法などの設定の版
- 箱の種類と初期位置、試行の順序、乱数を使った場合の設定
- 成功数と試行数、途中終了と介入の件数、評価対象から外した理由
- 候補を選ぶために見た条件と、選んだ後で確かめる条件の区別
改善に使った試行は、その改善に対する未知の条件とは呼べません。候補選びに用いた条件での成績と、選んだ候補を別に確かめた成績を分けると、何を見て選び、何が追加で確認できたかが明確になります。
観察した失敗と原因候補の切り分け
失敗の分析では、まず何が起きたかを書き、次に原因の候補を置きます。「箱を落とした」は観察した出来事ですが、「学習データが足りない」はまだ仮説です。映像だけで原因を決めると、観測、行動の選択、命令の実行、接触、完了判定のどこに問題があるかを取り違えます。
次の分類は、架空例の調査メモの案です。原因が一つに決まる分類ではなく、記録から次の確認を選ぶために使います。
| 観察できた出来事 | 原因の候補 | 次に照合する記録 |
|---|---|---|
| 箱が画像に写っていない | カメラの配置、遮蔽、取得時刻のずれ | 方策が実際に受け取った画像と時刻 |
| 箱は写っているが別の位置へ動いた | 入力の解釈、座標の対応、行動の選択 | 入力、出力した動作、位置の変換設定 |
| 命令した動きと実際の動きが違う | 命令の受け渡し、遅れ、機器側の状態 | 送った命令と観測した動きの時刻 |
| つかんだ後に箱が落ちた | 把持位置、接触の条件、移動中の動作 | 接触前後の状態と動作の記録 |
| 置けたように見えるが失敗判定になった | 完了条件の不一致、判定用の観測の不足 | 判定した時点の画像、状態、判定規則 |
記録には試行の識別子を付け、入力、方策の出力、機器の状態、判定を時刻で対応付けます。値が古かった可能性があるなら、映像の表示時刻だけでなく取得時刻も調べます。証拠が不足している項目は「原因未確定」のまま残します。複数の原因候補があるときは、別々の候補として持ち、見分けるために必要な記録を決めます。
失敗の記録から改善を確かめる手順
改善の目的は、説明しやすい原因を付けることではなく、どの変更で何が変わったかを確かめることです。以下も架空例用の手順案です。
- 失敗した場面と条件を特定する。 試行の識別子から、方策と設定の版、入力、動作、結果を取り出します。
- 原因候補と確認方法を分けて書く。 例えば、入力に箱がないのか、入力にはあるが動作が違うのかを記録で切り分けます。
- 比較できる変更を選ぶ。 原因候補に関係する変更を絞ります。複数を同時に変えた場合は、どの変更が効いたか未確定であると残します。
- 元の条件で変化を見る。 失敗した条件に加え、それまで成功していた条件でも結果を比較します。改善に使った条件であることは記録に残します。
- 別の評価条件で範囲を確かめる。 候補の調整に使っていない条件で評価し、改善がどこまで確かめられたかを報告します。
再現には、まず保存した記録や管理されたシミュレーションを使います。実機での確認は、実施を許可された対象と試験計画の範囲で行います。失敗を再現するために危険な状態を作る手順は、この評価方法には含めません。
最後に残すのは、成功率だけでなく、試験条件、比較した版、失敗の内訳、未確定の原因、まだ試していない条件です。シミュレーションで改善しても、その計算に含まれない実機の性質まで確認したことにはなりません。この評価は作業達成の証拠を整理するものであり、現実の安全性や導入可否を単独で保証するものではありません。
全体平均に隠れる失敗の集計例
次は評価表の読み方を示す架空の結果です。正面向き20回中18回、逆向き20回中8回が完了したとすると、全体は26/40回、65%です。全体の数値だけでは、逆向きの条件へ改善を集中すべきことが見えません。
| 条件 | 完了数/開始した試行数 | 失敗の内訳 | 次に調べるもの |
|---|---|---|---|
| 正面向き | 18/20 | 把持できない2 | 把持時の画像と指令 |
| 逆向き | 8/20 | 見失い7、把持できない5 | 観測の欠落と学習データの偏り |
この例の分母には失敗後に途中停止した試行も含めます。再試行の成功を最初の失敗と入れ替えると、復旧負担が見えなくなります。
学習後のモデルを比べるときは、この条件一覧と判定方法を固定し、モデル版を変えて再評価します。同じ試行IDで入力、映像、時系列、失敗分類へたどれるようにすると、数値の改善と実際の挙動の変化を対応させられます。
この架空例では介入あり・試験不成立はともに0件です。見失い7件を途中停止だからと分母から除くと、逆向きは8/13≒62%(正しくは40%)、全体は26/33≒79%(正しくは65%)に見えてしまいます。改善後に正面16/20、逆向き14/20、全体30/40になった架空の結果なら、全体の改善と正面の悪化を併記して採否を判断します。
失敗記録も観測と仮説を分けます。架空のR-012なら「現象:把持前に停止」「観測:入力画像で箱に影」「仮説:認識への影響」「次の確認:画像IDと方策入力を照合し、照明だけ変えた条件と比較」と残します。影を見ただけで原因と断定しません。学習中の最大成功率や、その指標で選んだチェックポイントの成績には選択の過程が含まれるため、モデルを決めた後は別の確認用条件でも評価します。
自社での取り組みについて相談する
ロボットやシミュレーターの検証・導入について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する