第 4 章 学習とデータ4.2

学習データの集め方

ロボットの学習データを、遠隔操作での収集、公開データの再利用、合成データの生成から整理します。架空の仕分け作業を例に、揃える記録と、追加収集を判断する手順を説明します。

要点

  1. ロボットの学習データは、覚えさせたい作業と、学習に必要な入力・出力を決めてから集めます。
  2. 遠隔操作やシミュレーションで生成する方法と、公開済みのデータを入手する方法は組み合わせられます。
  3. 作業の説明、観測と動作の対応、収集条件、終了した理由を揃えて記録します。
  4. 必要量を一律の件数で決めず、記録の品質、対象条件の不足、学習後の評価結果を分けて追加収集を判断します。

定義

ロボットの学習データ
作業中に何を観測し、どんな動作をしたかなどを学習に使える形で残した記録です。
エピソード(episode)
作業の始まりから終わりまでの記録です。

ロボットの学習データは、作業中に何を観測し、どんな動作をしたかなどを学習に使える形で残した記録です。必要な中身は、物体を見分けるのか、観測から動作を選ばせるのかによって変わります。映像を大量に保存しても、必要な動作との対応がなければ、そのまま動作の見本にはできません。

架空の例として、色の違う小箱を指定の容器へ仕分ける作業を考えます。小箱の位置を見て、つかみ、容器へ置くまでを一つの試行として記録します。このような始まりから終わりまでの記録を、エピソード(episode)と呼びます。以下の表と収集手順は、この例のための独自の整理で、実験結果や製品の推奨設定ではありません。

データの作り方と入手先

遠隔操作、公開データ、合成データは、同じ軸の三択ではありません。遠隔操作は人が入力装置を通してロボットを動かす収集方法です。合成データは、シミュレーションなどで生成するデータです。公開データは入手先の区分なので、遠隔操作で収集した記録を公開している場合もあります。

次の表では、この違いを保ったまま、仕分けの計画に何を取り込むかを比べます。

選択肢仕分けの計画で用意するもの利用前の確認
遠隔操作で収集人が小箱を仕分けるときの観測と動作対象がカメラに映り、動作と時間を対応させて保存できるか
公開データを再利用既存の作業記録と、その説明作業、ロボット、カメラ、動作の意味が今回の学習に合うか
合成データを生成仮想の小箱の画像と正解ラベル、または仮想環境での動作記録生成物が必要な入力・出力を含み、想定した条件を表しているか

LeRobotの公式手引きは、遠隔操作とデータ記録を扱い、対象がカメラに映る状態で収集するよう説明しています。Open X-EmbodimentのREADMEは、公開したデータをエピソードの列として扱う形式と、個別データの情報への入口を示しています。入手方法が違っても、作業と記録の意味を調べる必要がある、という点で併せて参照できます。

合成データでは、生成物の中身を具体的に確かめます。Isaac SimのReplicator Overviewは、物体の意味を表すラベルを付け、領域分割や物体を囲む枠の注釈を生成する仕組みを説明しています。小箱が画像のどこにあるかを示すラベルと、アームをどう動かしたかの記録は別物です。画像とラベルを用意しただけで、動作の見本まで揃ったとは数えません。仮想環境の用途は3.1でも整理しています。

囲みの中は作り方の区分で、公開データは入手先として外に置いています。遠隔操作から公開データへの矢印は、遠隔操作の記録が公開される場合があることを表します。合成で作る画像と正解ラベルは、点線のとおり動作の見本の代わりにはなりません。入手経路が違っても、利用前に作業と記録の意味を確かめます(図 4.2.1 データの作り方と入手先の関係)。

データの作り方と入手先の関係遠隔操作と合成は作り方、公開データは入手先という別の軸にあり、どれも利用前に意味の確認が要り、画像とラベルが動作の見本を兼ねないことを示す図。作り方公開も生成利用前利用前兼ねない遠隔操作合成データ公開データ(入手先)画像と正解ラベル作業と記録の意味を確認動作の見本
図 4.2.1 データの作り方と入手先の関係

一つの試行に揃える記録

エピソードを後から使う人が、何をした記録か読み解けるようにします。LeRobotDataset v3.0の公式文書は、状態・動作・時刻を含む表形式のデータ、カメラ映像、作業やエピソードの情報を分けて保持する構成を示しています。形式の説明には、記録する項目の名前や形、1秒当たりの画像数を表すフレームレートも含まれます(Format design・Directory layout)。

次は、仕分けの例でその考え方を具体化した記録案です。すべてがLeRobot形式の必須欄という意味ではありません。

記録のまとまり小箱の例で残す内容欠けた場合に判断しにくいこと
作業と試行の識別エピソードの識別子、どの色をどの容器へ移すか映像が同じでも、何を達成しようとしたか
観測と動作カメラの視点、関節などの状態、指令、対応する時刻どの観測に対して、どの動作を選んだか
値の意味単位、位置の基準、動作が絶対位置か差分か、記録の間隔別の記録と同じ意味の値として扱えるか
条件と終わり方小箱の置き方、照明、完了・失敗・中断、その判定理由どの条件を経験し、どこまで作業を終えたか
出所と加工元データの版、収集環境、変換や除外の内容問題のある記録を元の版までたどれるか

たとえば、カメラ名が同じでも、一方が机の正面、他方が手先の視点なら、その違いを説明に残します。また、Open X-EmbodimentのREADMEは、RT-1-Xモデルのaction spaceの各変数が絶対値・差分・速度のいずれかを表すと説明しています。個々のデータの意味はdataset spreadsheetなどの情報で確認します。基準からの位置なのか、現在位置から動かす量なのかでも値の意味は変わります。列の数が揃っていても、意味まで一致するとは判断できません。

失敗や中断も記録上は見分けられるようにします。ただし、保存した記録をすべて望ましい動作の見本として学習へ入れるわけではありません。この例では、失敗の分析に残す記録と、学習方法に合わせて採用する記録を分け、採否の理由を残します。

次はデータの対応関係を説明する架空の記録で、LeRobotの正式なファイル仕様ではありません。1回の箱移動を episode-042 とし、対象物ID、撮影条件、機体と制御の版、成功判定を同じ試行IDに結び付けます。画像、関節状態、指令は、ファイル名の順番ではなく取得時刻で対応を確かめます。

記録記入例確認する誤り
試行条件箱A、左から供給、背景B、操作者02同じ条件の繰返しを多様なデータと数えていないか
最終判定未完了、箱を途中で落とした最後の画像だけで成功にしていないか
介入途中で人が位置を戻した自律で完了した試行と混ぜていないか
分割先評価用、収集日単位で分離同じ試行の隣接フレームが学習用に入っていないか

収集計画を組み立てる手順

まず小さな範囲で記録を読み返し、必要な情報が揃うかを確かめます。以下は小箱の仕分け用の計画例です。実際の収集は、許可を得た対象と環境で行います。

  1. 対象条件を表にします。 小箱の色、置く位置、容器の配置など、今回扱う条件を並べます。扱わない条件も記し、収集の目的を限定します。
  2. 既存データの使える範囲を調べます。 作業の説明、入力、動作の意味、元データの利用条件を読みます。公開されていることだけで、今回使えるとは判断しません。不足する条件を追加収集の候補にします。
  3. 少量の記録を読み返します。 映像、状態、動作、時刻、終了理由を照合します。つかむ場面で画像が途切れる、動作と映像がずれる、といった不備があれば、収集を増やす前に原因を調べます。
  4. 必要な条件を段階的に増やします。 たとえば小箱の位置を変えた記録を追加し、条件を識別できる形で残します。収集方法を変えた場合は、変更前の記録と区別します。
  5. 評価と次の収集を対応させます。 学習に使わない別の試行を評価用に確保し、どの条件で何を確認するかを決めます。評価で問題が見つかったら、記録の不備、条件の不足、学習方法や設定の問題を切り分けます。

LeRobotのTips for gathering dataは、対象を見失わず、一貫した動作を記録することや、作業が安定してから変化を加える考え方を示しています。この助言は同手引きの収集例に対するものです。そこで示される設定や件数を、別の作業に必要な量として一般化しません。

追加収集を判断する材料

「何件あれば足りるか」は、今回の作業条件と評価結果に結び付けて判断します。本稿の参照資料から、どの作業にも共通する必要件数は示せません。総フレーム数、つまり画像の枚数と、エピソード数、含まれる条件を別々に集計し、何が増えたかを確認する、というのがここでの計画案です。

小箱をいつも同じ位置に置いた記録を増やしても、別の位置での記録が追加されたことにはなりません。反対に、位置を変えた記録があっても、つかむ瞬間の画像が欠けていれば、まず収集品質を調べます。「量を増やす」「条件を広げる」「記録を直す」は、戻って行う作業が異なります。

評価用の試行で特定の位置だけ失敗した場合も、データ不足と即断しません。その位置の記録、観測と動作の対応、学習の設定を照合し、追加収集で何を確かめたいかを書きます。評価結果をもとに学習データを直したら、変更後を別の評価用試行で確認する計画を残します。

収集の区切りでは、採用したデータの版、確認できた作業条件、まだ不足する条件、評価結果を一緒に渡します。件数だけの報告では、適用できる範囲が伝わりません。学習や仮想環境で得た結果と、実機で確認した結果も分け、収集量から実機の性能や安全性を保証しないようにします。

自社での取り組みについて相談する

ロボットやシミュレーターの検証・導入について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する

参考文献

  1. Hugging Face. Imitation Learning on Real-World Robots — Hugging Face、main、2026年10月9日閲覧。Teleoperate the robot・Record a dataset・Tips for gathering data(参照日 2026-10-09)
  2. Hugging Face. LeRobotDataset v3.0 — Hugging Face、main、2026年10月9日閲覧。Format design・Directory layout・Loading examples(参照日 2026-10-09)
  3. Open X-Embodiment Collaboration. Open X-Embodiment Dataset — Google DeepMind公式リポジトリ、README、2026年10月9日閲覧。Dataset Access・RT-1-X Model・Citation(参照日 2026-10-09)
  4. NVIDIA. Replicator Overview — NVIDIA、latest、最終更新2026年9月18日。Semantics Schema Editor・Synthetic Data Recorder・Replicator YAML・Getting Started(参照日 2026-10-09)

更新履歴

  • 初版。小箱の仕分けと収集計画は独自の架空例。データ収集、学習実験、実機操作は行っていない。
  • 用語集に定義を追加
  • 実行環境の説明を整理。
  • 日本語表現を校正し、助詞・語順・主語と述語の対応を改善
  • 主題の関係を説明する図を追加
  • 対象に即した記入例、判断の分岐、失敗時の確認事項を追加。
  • 本文と更新履歴の説明を簡潔化

Markdown 版