第 4 章 学習とデータ4.3

ドメインランダム化と汎化

シミュレーションの見た目や物理条件を変えて学ぶドメインランダム化について、変える対象と範囲の決め方、汎化の確かめ方、実機で残る限界を説明します。

要点

  1. ドメインランダム化は、学習中にシミュレーションの照明、物体の配置、摩擦などを変え、特定の環境だけに依存しにくいモデルを作る方法です。
  2. 汎化とは、学習で使った個々の場面以外でも目的の仕事を達成できることです。
  3. 変える条件は現場で想定する差から選び、作業の正解を変えてしまう条件や、シミュレーターが表現できない現象を区別します。
  4. 効果は学習に使わない条件と実機で確かめ、ランダム化した範囲の広さをそのまま対応能力や安全性の保証にはしません。

定義

ドメインランダム化(domain randomization)
学習用の仮想環境の条件を意図的にばらつかせ、環境の違いに対応できるモデルを作る方法です。
汎化(generalization)
学習で使った個々の場面以外でも、目的の仕事を達成できることです。

ドメインランダム化(domain randomization)は、学習用の仮想環境の条件を意図的にばらつかせ、環境の違いに対応できるモデルを作る方法です。ここでいうドメインは、画像の見え方や物体の動き方など、モデルが仕事をする環境の条件を指します。汎化(generalization)は、学習で使った個々の場面以外でも、目的の仕事を達成できることです。

架空の箱の仕分け作業を考えます。カメラで箱の位置を見つけ、ロボットが指定のトレーへ運びます。学習用の場面がいつも同じ照明、背景、箱の置き方なら、それらが変わる現場で何が起きるかは分かりません。そこで仮想環境の条件を変えて学習し、別に用意した条件で位置の推定と運搬の成否を確かめます。この例は設計の考え方を説明するもので、実験結果や実機の操作手順ではありません。

変化の中で残したい手がかり

ランダム化の目的は、画像を複雑にしたり、試行回数を増やしたりすること自体ではありません。作業に必要な手がかりを、環境が変わっても使えるかを確かめるためです。箱の位置を知りたい例なら、背景の模様が変わっても箱を見つけられることが目標になります。

Tobinらの研究は、描画時の質感や照明、カメラ条件などを変えて物体位置の推定器を学習し、実画像と把持の課題で評価しました。対象の形や大きさを手がかりにし、色を固定しない設定です。これは画像から位置を求める研究であり、接触を伴うあらゆる作業の成功を示したものではありません(Tobinら、2017、III〜V節)。

この区別は、仕分けのルールを決めるときに役立ちます。形で箱を選ぶ仕事では、箱の色を変えても正解は同じかもしれません。一方、色で送り先を決める仕事では、色は正解を決める情報です。色だけを変えて元の送り先を正解のまま残すと、学ばせたい対応関係を壊します。「何を変えてもよいか」は、作業の目的と正解の定義から決めます。

ひし形で問うのは、色が入力の見た目か、正解を決める情報かという違いです。両側を並べると、同じ色の変更でも、作業の定義によって許される設定が変わることを読み取れます(図 4.3.1 色を変えてよいかの判断)。

色を変えてよいかの判断架空の仕分け作業で、色が送り先を決めるかどうかにより、色をばらつかせる候補にできる場合と、色が正解を決める情報になる場合に分かれる関係。いいえはい仕分けの正解の定義色で送り先を決める?色を変えても正解は同じ可能性色は正解を決める情報色を変える候補にできる色だけ変えて正解固定は不可
図 4.3.1 色を変えてよいかの判断

見た目と動きに対するランダム化

見え方への対応と、動き方への対応は別の確認です。箱を正しく見つけられても、持ち上げた後の挙動まで良くなるとは限りません。どの部品を学ばせ、どの失敗を減らしたいかに合わせて、変える条件を選びます。

変える対象仕分けの例で確かめたいことそれだけでは分からないこと
照明、背景、表面の見え方背景や陰影が変わっても箱を見つけられるか箱に触れた後の滑りや変形
カメラの位置、向き、画像の雑音観測条件が変わっても位置の推定が使えるか実際のセンサーに固有の欠測や未モデル化の現象
質量、摩擦などの物理条件箱の動き方が変わっても行動を選べるかシミュレーターの計算モデルにない接触や変形
観測の誤差、行動を更新する間隔情報や動作のタイミングに差があっても対応できるか想定していない通信や制御の不具合

表の視覚側の対象はTobinら、物理とタイミングの対象はPengらの研究を踏まえた整理です。観測は、画像や関節の位置など、ロボットが受け取る情報です。Pengらは、観測から次の行動を決める方策(policy)を、質量や摩擦などを変えた環境で学習し、物体を押す課題で実機への移行を調べました。行動の履歴を利用するモデルの構成も比較しており、「条件をランダムにすれば、どの方策でも同じように対応できる」という結果ではありません(Pengら、2018、IV.C〜D・V節)。

変えるタイミングにも意味があります。例えば、作業開始から終了までを一つの試行とすると、箱の質量を試行ごとに変える設定と、動いている途中で毎回変える設定は異なる問題です。Pengらの実験でも、試行中に固定する物理量と、時々刻々変える行動間隔・観測雑音を区別しています。範囲だけでなく、いつ変えるかも学習条件に残します。

現場の差から範囲を決める手順

範囲の設計では、分かっている差と、まだ測れていない差を分けます。現場について分からないことを、広い乱数の範囲だけで解決したことにはできません。次は仕分けを対象とした手順例で、論文が定めた標準設定ではありません。

  1. 維持したい仕事を定めます。 箱を見つける、正しいトレーへ移すなど、確認する結果を分けます。位置推定だけを学ぶのか、行動を選ぶ方策まで学ぶのかも明記します。
  2. 変わりうる条件を現場の記録から挙げます。 照明の違い、使う箱の種類、カメラの取付位置などを整理します。実測した値、仕様から分かる範囲、未確認の推測を混ぜず、範囲を選んだ理由を残します。
  3. 変える値の範囲と出し方を決めます。 同じ最小値と最大値でも、中央付近を多く出す場合と、端の条件を多く出す場合では経験する場面が違います。各条件の出現頻度と、試行ごと・観測ごとなどの変更時点を記録します。
  4. 生成した場面と正解を確認します。 箱が置けない配置や、見えない箱の位置を画像だけから当てさせる場面が混じっていないかを調べます。遮られた場面をあえて対象にするなら、どこまでを識別可能とし、分からないときにどう扱うかを別に決めます。
  5. 条件を絞った比較から組合せの比較へ進めます。 まず照明だけ、次に物理条件だけと比較し、何が結果を変えるかを追います。その後、現場で同時に起こりうる組合せを確かめます。条件をすべて変えた一つの結果だけでは、改善や失敗の原因を説明しにくいためです。

箱の表面材が変わる場合は、見た目だけの差か、摩擦も変わる差かを調査事項にします。二つを独立にばらつかせるか、組として扱うかは、この調査結果から決める設計判断です。未確認の関係を必ず連動すると断定せず、比較する仮説として残します。

汎化を確かめる評価の分け方

評価では、学習が終わった条件でうまく動くことと、現場の差へ対応できることを分けて示します。NIST AI RMFのMEASURE 2.1・2.3・2.5は、試験条件の記録、配備する環境に近い条件での評価、汎化の限界の記録を挙げています。これはAI全般の任意の枠組みであり、ロボットに共通の合格率を定めたものではありません。

仕分けの例では、評価条件を次のように分けます。学習に使った画像や試行そのものを評価へ再利用せず、どの条件群で比較したかを残すための区分です。

評価条件確かめる問い結果の読める範囲
学習と同じ範囲から新しく作った場面覚えた個々の配置以外でも動くか同じ条件の出し方の中での対応
学習に使わなかった配置や条件の組合せ条件の組合せが変わると何が崩れるか用意した組合せへの対応
想定範囲の端や、対象外として区別した条件対応できる範囲の境目はどこか調べた境目と、まだ調べていない範囲
実際の画像や、条件を限定した実機評価仮想環境で残った差が結果を変えないか試験した実機・構成・作業の範囲

乱数を変えて作った新しい場面でも、同じ出し方を使っていれば、その範囲や出し方の外への対応を確かめたことにはなりません。また、一つずつの条件が学習範囲に入っていても、その組合せで成功するとは限りません。全体の成功率だけでなく、照明や箱の種類など、採用判断に関わる条件ごとの結果を比較します。

実機へ進む場合は、所有者または管理者の許可を得た対象で、担当者が定めた試験計画と安全上の条件に従います。まず実画像の認識結果など実機を動かさずに確認できる部分を調べ、実際の動作は対象と条件を限定して評価します。画像の評価に合格したことを、運搬まで検証済みと扱わないためです。

効果が出ないときの戻り先

ランダム化で確認するのは、選んだ変化に対する対応力です。Tobinらの比較でも、変える項目によって効果が異なり、追加した画像雑音の影響は小さい結果でした。項目の数を増やすだけで、すべての差への対応が良くなるとは読めません(Tobinら、2017、IV.C節)。

仕分けで失敗が残るなら、「学習させた差が足りない」「必要な情報が観測にない」「作業や正解の定義が合っていない」「仮想環境で表現していない現象がある」という候補を分けます。例えば箱が画像に全く写らない構成なら、照明をさらに変えるより、観測の設計を見直す理由になります。失敗する場面を増やすことと、原因に対応する情報を増やすことは同じではありません。

シミュレーターに何を含めて評価するかは3.1でも扱っています。ドメインランダム化を採用するときの成果物は、学習済みモデルに加え、変えた条件とその根拠、評価できた範囲、残った失敗です。この三つを残すことで、現場が変わった際に、既存の検証で扱える変化か、追加の学習や評価が要る変化かを判断できます。

学習条件と評価条件を分ける表

ランダム化する幅は、広くすればよいわけではありません。次は箱の移動を想定した試験設計の例で、実測した範囲ではありません。

条件学習に使う範囲の決め方評価で分けるもの
照明現場で観測した明るさと影の条件を記録する学習に使った配置と別の照明配置
質量対象品の測定値と品種の差を記録する同じ品種内の変動と対象外の品種
摩擦接触する材質と状態を分ける未確認の組合せを既知の条件に混ぜない
位置供給装置の位置ずれを測る単独の位置ずれと他要因が重なる条件

比較は、ランダム化なしとありで、同じ評価用の条件一覧を使います。平均成功率が上がっても、通常の条件で失敗が増えたなら採用理由にはできません。乱数だけを変えて学習した範囲内を繰り返す試験と、学習に無かった条件への試験も区別します。現実には起こらない質量と摩擦の組合せばかり生成していないかを、元の条件表へ戻って確認します。

具体的な設計例として、質量を0.50 kg、仮の対象幅を0.45〜0.55 kgと置くなら、その範囲の一様分布から試行ごとに1値を取り、試行中は固定します。これは測定値でも推奨幅でもありません。観測雑音を加えるなら観測ごとに変えるなど、変える時点も記録します。評価専用の照明配置は学習に使いません。

評価で光沢箱だけ位置推定が崩れたら、描画で反射を表せているかを確認します。位置ずれと影が重なるときだけ失敗するなら、組合せを別の評価条件にします。この結果を学習へ戻した後は、改善に使った評価条件と、まだ使っていない確認用条件を分け直します。

自社での取り組みについて相談する

ロボットやシミュレーターの検証・導入について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する