第 2 章 対象の作業と導入計画2.4

PoC の設計

フィジカルAIのPoCを、確かめる仮説、対象条件、成功基準、期間、終了時の判断に分けて設計します。架空の箱の仕分けで、技術評価と導入判断の違いを説明します。

要点

  1. フィジカルAIのPoCでは、確かめたい仮説を一つの作業に絞り、対象条件と成功の判定方法を試行前に決めます。
  2. 成否に加えて、所要時間、人の介入、結果を判定できなかった試行を記録します。
  3. 準備・調整・最終評価の期間を分け、終了日に進行、再設計、保留を判断できる材料を残します。
  4. 限定条件で技術が成立したことと、現場全体への導入を決めることは別の判断です。

定義

概念実証(PoC、proof of concept)
対象と条件を絞って、考えた仕組みが成立するかを確かめる試行です。
ベースライン(baseline)
比較の基準です。

概念実証(PoC、proof of concept)とは、対象と条件を絞って、考えた仕組みが成立するかを確かめる試行です。フィジカルAIのPoCでは、センサーの情報を使って動作を決める仕組みを、具体的な仕事に結び付けて評価します。成果物は動く様子の動画だけでなく、「どの条件で、何を確認できたか」を説明する記録です。

例として、机に置いた箱をカメラで見つけ、ロボットアームで指定のトレーへ仕分ける架空の作業を考えます。箱の種類と置ける範囲を決め、完了を判定する方法を用意し、条件ごとに試行を記録します。終了時には、次の検証へ進める条件と、まだ判断できない条件を分けます。以下は試験計画の例で、実験結果や共通の合格基準ではありません。試験は所有者または管理者の許可を得た対象にだけ行います。

PoCで答える問いの限定

最初に、今回の試行で決めたいことを一文にします。「ロボットを導入できるか」では、認識、動作、前後の工程、費用が一つの問いに混ざります。箱の例なら「指定した種類と配置の箱を、カメラの情報から選び、所定のトレーへ移す一連の動作が成立するか」と置けます。

この問いでは、箱をつかむ手先の開閉だけを測っても十分ではありません。NISTの把持性能の資料は、ロボットの手の能力を評価する際に、アームや認識など他の構成要素の影響から分けて測る考え方を示しています。部品の評価と、仕分け全体の評価は対象が異なります(NIST『Grasping Performance Metrics and Test Methods』Description)。

今回どこを測るかを、次のように書き分けます。

評価する範囲箱の仕分けで答える問いその結果だけでは答えられないこと
認識だけ入力画像から対象の箱と位置を正しく求められるかつかんだ箱を落とさず運べるか
移動を含む一連の動作箱を選んで、指定トレーへ移し終えられるか箱の供給や取り残しの処理まで続けられるか
前後の工程を含む仕事供給、移動、結果確認、例外の引継ぎがつながるか未試験の品種や別の設置場所でも成立するか

このPoCでは中央の範囲を選び、供給と例外処理は人が担う、と決めたとします。その分担は試験を小さくするための条件です。人が毎回箱を置き直した事実を省いて、仕事全体を自動化できたとは報告しません。導入の各段階との関係は2.1で整理しています。

試行前に揃える設計の手順

問いが決まったら、条件、測定、評価用の準備を順に具体化します。後から都合のよい成功条件へ変わらないよう、最終評価を始める前に計画を確定します。以下は箱の例に対する独自の設計案で、特定の機関が定めた標準手順ではありません。

  1. 対象の始点と終点を決めます。 箱が試験領域に置かれ、画像の取得を始めた時点を始点にします。終点は「箱が指定トレーの所定領域に入り、手先から離れている状態」とします。途中で箱を持ち上げただけなら、移動完了には含めません。
  2. 対象条件と対象外を分けます。 箱の種類、初期位置、向き、照明、トレーの配置を記録します。重なった箱を扱わないなら、計画にも結果にも対象外と書きます。対象外の条件を取り除く作業が必要なら、その担当も明記します。
  3. 成否を確認する方法を決めます。 ロボットが「完了」と通知したことと、実際の箱の状態を分けて記録します。たとえば最終画像と位置の記録を担当者が確認する方式を選び、画像で見えない場合の扱いも決めます。判定手段自体が不十分な試行は、成功と推測しません。
  4. 比較する相手と条件を揃えます。 現在の作業方法や、変更前のモデルを比較の基準にします。比較の基準をベースライン(baseline)と呼びます。箱の供給や結果確認を含むかどうかを揃え、AI側だけ都合のよい時間の切り取り方をしません。
  5. 調整用と最終評価用の試行を分けます。 調整用では失敗を見ながら仕組みを直します。最後の比較に使う箱の配置は別に用意し、モデルと判定方法を固定してから評価します。最終評価の結果を見て直した場合は、その結果を調整前の最終成績と混ぜず、改めて評価する計画へ戻します。

条件を絞ることと、条件を記録しないことは別です。例えば向きが揃った箱だけを扱うPoCでも、「箱の向きを揃える」作業を誰が行うかは記録できます。これにより、次の段階で自動化の範囲を広げる際に、何を追加で確かめるべきかが見えます。

図 2.4.1 PoC の試行前の設計手順は、上の五つの手順の順序を示します。対象の始点と終点を決め、対象条件と対象外を分け、成否を確認する方法を決め、比較する相手と条件を揃え、最後に調整用と最終評価用の試行を分けます。

PoC の試行前の設計手順始点と終点、対象条件と対象外、成否の確認方法、比較の相手と条件、調整用と最終評価用の試行の順に設計します。始点と終点を決める対象条件と対象外を分ける成否の確認方法を決める比較の相手と条件を揃える調整用と最終評価用を分ける
図 2.4.1 PoC の試行前の設計手順

成功基準と測定項目の組合せ

成功基準は、一回の作業が完了したかを判定する条件と、PoC全体を評価する条件に分けます。前者は指定トレーへの移動などの状態です。後者は、対象条件ごとの成否、所要時間、人の支援を合わせて、次の検証へ進めるかを決めるための条件です。

NISTのAI RMF Playbookは、目的に合う測定方法の選択、許容する性能範囲、測らない項目の記録を挙げています。また、試験に使ったデータ、指標、道具の記録と、想定する利用環境に近い条件での評価を扱っています(MEASURE 1.1・2.1・2.3)。箱の例では、これを次のような記録欄に落とし込みます。

項目この例での記録方法判断での使い方
作業の成否計画した各試行に対し、完了、失敗、途中中断、判定不能を記録成功率の分子と分母を確認できるようにする
最終状態移動先、箱の位置・向き、手先から離れたか「完了」通知と作業結果の食い違いを探す
所要時間決めた始点から終点までの時間。完了しない試行は終了理由も記録成功した速い試行だけで処理能力を説明しない
人の介入箱の置き直し、再指示、回収など、発生した支援の内容技術が成立するために残る作業分担を把握する
条件と版箱の条件、照明、モデル、制御ソフトウェア、判定方法の版条件が違う結果を同じ成績として混ぜない

成功率は、集計対象とした試行のうち、成功条件を満たした試行の割合です。集計対象の決め方も計画の一部にします。除外する試行があれば、その理由と件数を残します。中断や判定不能を黙って分母から外すと、読み手は何に対する割合かを判断できません。

合格とする割合や許容時間に、どの現場にも使える値は置きません。箱を取り残した際の後工程の負担、処理すべき作業量、人が支援できる範囲を関係者と確認し、必要な値とその理由を計画に記入します。どの現場にも使える値は置きません。末尾の件数と合格条件は、根拠の書き方を示すための架空の仮定です。

試行の件数や条件の広さも、結果と一緒に示します。限られた配置で得た成功率から、未試験の配置まで同じように動くとは判断できません。条件ごとの記録が不足するなら、結論を「合格」へ寄せず、「この範囲は判断材料が不足」と残します。

期間と終了条件の設計

期間は、準備、調整、最終評価、結果の確認に分けて割り当てます。最終日まで調整を続けると、固定した版を比較する時間がなくなります。日程を決める際は、利用できる設備や担当者、試行の準備と記録にかかる時間も含めます。

区切り終了時に必要なもの揃わない場合の扱い
準備の終了対象条件、判定方法、記録手段、担当と試験の許可実行前に計画を見直す
調整の終了最終評価に使うモデルと設定の版、既知の失敗調整範囲を縮めるか、延長の目的を明確にする
最終評価の終了予定した条件ごとの試行記録、欠けた試行と理由取得できた範囲だけで判断し、不足を残す
結果確認の終了当初の問いへの答え、次の判断、未確認条件結論を出せない理由と追加で要る材料を示す

図 2.4.2 期間の区切りと終了時に必要なものは、期間を分ける順序を示します。準備の終了では対象条件、判定方法、記録手段、担当と試験の許可が揃い、調整の終了では最終評価に使う版と既知の失敗が、最終評価の終了では条件ごとの試行記録が、結果確認の終了では当初の問いへの答えが必要になります。

期間の区切りと終了時に必要なもの準備、調整、最終評価、結果確認の順に期間を区切り、各区切りの終了時に必要なものが揃ったかを確かめます。準備: 条件と許可が揃う調整: 版と既知の失敗最終評価: 条件ごとの記録結果確認: 問いへの答え
図 2.4.2 期間の区切りと終了時に必要なもの

これは標準の期間を示す表ではありません。必要な試行を終える見込みと利用できる時間から、実際の日付を埋めます。延長する場合は「何を確認すれば判断できるか」を書き、同じ不確かな試行を続けるだけになっていないかを見直します。

記録が取れなくなった場合や、予定した対象条件を維持できない場合には、評価を中断して設計へ戻す条件も定めます。ここで扱うのは評価計画の中断判断です。実機の運転可否や設備の安全上の停止条件は、設備を管理する担当者が別途整えます。

結果から次の判断へのつなぎ方

PoCの終わりには、当初の問いへ、条件付きで答えます。NISTのPlaybookも、開発時の条件を越えて結果を一般化できる範囲の限界を記録することを扱っています(MEASURE 2.5)。箱の例なら、成功したことに加えて、その成立に必要だった配置や人の支援を結論に含めます。

得られた結果PoCとしての判断残す次の課題
対象条件で基準を満たし、記録も揃ったその条件について次の検証へ進む対象外の条件と、前後工程との接続
特定の箱の向きで失敗が集中した条件または仕組みを再設計する認識と移動のどこで失敗するかの追加確認
介入ありで完了した(成功率には数えない)支援を含む構成として評価するその分担で作業目的を満たせるか
判定不能や未試行の条件が残った判断を保留する計測方法の修正と不足した条件の評価

シミュレーションだけで行ったPoCなら、結論も仮想環境の範囲に留めます。LeRobotの公式文書には、実機なしで既存データによる学習やシミュレーションでの評価を行う入口があります。しかし、そこで得た結果は、現場の箱の摩擦や機器の遅れを確認したことにはなりません。仮想環境で扱う評価の範囲は3.1で説明しています。

最終的な導入判断には、PoCで残った条件、実機での確認、運用する人の分担、費用の評価をつなぎます。「限定条件で成立した」というPoCの成果を明確にしておくほど、導入側は何が確認済みで、何に追加の判断が必要かを把握できます。

試験票と終了判断の記入例

次は箱をトレーへ移すPoCの架空の試験票です。合格値を一般的な推奨値として示すものではありません。

欄記入例
今回の問い向きの異なる箱Aを、指定領域内へ置けるか
対象外破損箱、複数箱の重なり、現場での連続運転
完了条件箱IDが一致し、箱全体が指定領域内にあり、人が触っていない
結果の単位開始から終了判定までを1試行とし、再試行は別に数える
結果区分自律完了、介入あり完了、未完了、判定不能。判定不能も20試行の分母に残し、自律完了に数えない。介入ありも分子に入れず別計数
合格の条件と根拠架空の評価では正面・逆向き各20試行を事前に固定。後工程が各条件2件まで回収できる仮定から、各条件18件以上の自律完了を要求
残す証跡条件ID、モデル版、開始・終了時刻、映像、判定者、介入理由

たとえば正面向きでは全件完了し、逆向きだけ未完了なら、全体平均で継続を決めず、今回の結論を「逆向きは未達」とします。正面向きに限定するなら問いを再設計し、固定した版で改めて最終評価します。未完了の再試行を集計から消して見かけの成功率を上げません。機能上の達成条件と安全上の試験許可は別であり、この表の完了が運転の安全を示すわけではありません。

記録の架空例は「T01/正面/版v1/自律完了/32秒/介入なし」「T02/逆向き/版v1/未完了・見失い/60秒で中断」「T03/逆向き/版v1/介入あり完了/45秒/置き直し1回」です。この3件だけなら自律完了は1/3、介入あり完了は1件です。これは記入例であり、前記40試行の合否結果ではありません。

自社での取り組みについて相談する

ロボットやシミュレーターの検証・導入について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する