第 5 章 実機への移行5.2

実機での段階的な試行と記録

実機での試行を、条件を絞った確認から作業全体の評価へ分けます。構成の版、観測結果、未確認事項を残し、範囲を広げる判断と見直す判断につなげます。

要点

  1. 実機での試行は、確かめる対象と条件を絞り、結果を記録できる範囲から計画します。
  2. 構成の版、入力した対象、観測した結果、人の介入を対応付け、変更前後を比較できる形で残します。
  3. 範囲を広げる判断は事前に定めた条件と記録に基づき、条件外の結果や観測できなかった部分は見直しに戻します。
  4. 作業の性能を確かめた結果と、設備を運転してよいかという安全上の判断は分けて扱います。

実機での試行は、シミュレーションで立てた見通しと、現場で観測した結果の違いを調べるために計画します。一度うまく動いたことだけでは、何が再現でき、何がまだ分からないかを引き継げません。試す範囲と記録の単位を揃えると、変更の効果を後から比較できます。

架空の箱移載工程を考えます。箱を識別し、保持し、指定場所へ渡す作業です。以下は、この工程の機能を評価する計画案であり、実機の操作手順や安全試験の方法ではありません。実機を使う試行は、設備の責任者が許可した対象と条件の範囲に限ります。

段階ごとに確かめる範囲

試行の段階は、観測したいことに合わせて分けます。NISTのAI RMF Playbookは、利用する環境に近い条件でAIを評価し、試験と実際の利用条件との差を記録する考え方を示しています。これはAI一般の評価の指針で、ロボットの運転条件や安全試験を定める資料ではありません。(NIST、MEASURE 2.3)

箱移載では、次のように評価範囲を広げる案が考えられます。段階の数や順序は独自の例で、共通の必須手順ではありません。

評価の範囲確かめたいこと次の判断へ残す記録
机上・シミュレーション予想する入力と結果が説明できるか想定した条件、実物では未確認の点
条件を絞った実機の機能選んだ箱と構成で、対象の機能を観測できるか対象物、構成の版、期待した結果と実測の差
作業全体のつながり識別から引渡しまでの結果を照合できるか途中の状態、人の介入、引渡しの確認結果
条件を変えた場合変更した条件での結果と、元の条件への影響変更点、比較対象、未確認の条件

機能単体と作業全体の評価は役割が違います。NISTの把持性能の研究は、腕や認識の影響から切り離して把持装置を測る考え方を示しています。箱を保持する部分の比較には役立ちますが、それだけで識別や引渡しを含む工程全体の結果を表すことにはなりません。(NIST、Grasping Performance Metrics and Test Methods、Description)

また、試行の規模を小さくしただけで安全が確かめられるわけではありません。NIST AMS 100-41 の3.4節は、協働ロボットを含む作業セルでも安全とリスク低減を検討する必要を説明しています。機能評価の段階と、実施に必要な安全上の確認は別に管理します。

一回の試行と構成を対応付ける記録

比較できる記録には、結果だけでなく「何を使い、どの条件で測ったか」が必要です。NISTは、評価用のデータ、指標、道具、手順などの記録を、評価の再現性に関わる要素として扱っています。(NIST、MEASURE 2.1)

箱移載の記録案では、依頼一件を追う作業IDと、評価を行った一回を区別する試行IDを設けます。同じ依頼を再評価しても、前回の結果を上書きせずに対応を残すためです。記録票には次の情報を揃えます。項目はこの架空工程の案で、規格が定める帳票ではありません。

  • 試行ID、対象の作業ID、実施日時、記録した担当
  • 箱の種類や供給状態、評価で固定した条件と変更した条件
  • 機器・ソフトウェア・認識モデル・設定の版を特定できる構成票
  • 期待した結果、実際に観測した結果、判定に用いた記録の所在
  • 人が行った補助や手直し、結果が分からない区間
  • 比較元の試行、変更理由、追加確認を担当する人

構成票とは、ある試行に使った機器や設定の組合せを特定する記録です。「調整後」という名前だけで済ませず、何が変わったかを追えるようにします。箱の条件と認識モデルを同時に変更した場合、結果の差を片方だけの効果とは断定できません。複数の変更がある事実を記録し、比較できる範囲を狭めて説明します。

成功と未確認を分ける判定

判定は、観測できた範囲に合わせます。架空の試行で「箱を指定場所に置く」と「ラベルを照合する」を完成条件にしたとします。動作の終了記録はあるのに、ラベルを読んだ記録が欠けていれば、完成条件の全体は未確認です。記録の欠落と作業の失敗も区別して残します。

この例で割合を集計するなら、対象にした依頼の件数を分母として示し、初回で完成した件数、補助後に完成した件数、完成しなかった件数、未確認の件数を併記する案があります。補助した依頼を集計から除外すると、次の担当者が必要な人手を読み取れません。所要時間にも、計測の開始点と終了点を添えます。

図 5.2.1 依頼の件数の内訳は、割合を集計する案の構成を示します。対象にした依頼の件数を分母として示し、その内訳として、初回で完成した件数、補助後に完成した件数、完成しなかった件数、未確認の件数を併記します。

依頼の件数の内訳対象にした依頼の件数を分母として、初回で完成した件数、補助後に完成した件数、完成しなかった件数、未確認の件数を併記します。対象にした依頼の件数初回完成補助後完成未確認未完了
図 5.2.1 依頼の件数の内訳

次の段階へ進む条件も、試行後の印象で変えず、評価計画に残します。たとえば「引渡しまでの記録が揃い、合否を判断できること」を、対象の種類を増やす前の確認項目にできます。必要な性能水準や試行件数は、用途と未確認のリスクに応じて別途決めるもので、どの工程にも共通する合格値は置きません。

条件外の対象が混ざった場合や、想定と違う現象が出た場合には、追加の試行を進める判断を見直します。これは評価計画上の保留であり、設備の停止・再開操作を定めるものではありません。危険につながる現象を確かめるために同じ動作を再現させることも、この記録案は求めていません。

見直すときは、比較元の構成、今回の変更、確認できなかった点を責任者へ渡します。「元に戻す」と記録する場合も、どの構成を指すかと、復帰後に何を再確認するかを明らかにします。復帰の操作や実施可否は、設備ごとの手順と判断に委ねます。試行の成果は成功率だけでなく、確認済みの条件と、次の判断に残る不確かさを説明できることにあります。

試行の開始と再開を分けた記録票

次は機能評価の記録例です。安全対策を定める手順や、実機を動かす許可そのものではありません。安全を担当する専門家が定めた条件を前提に、どの状態から何を試したかを追えるようにします。

欄記録内容
開始時の条件対象物、配置、機体・制御・モデルの版、試験の許可範囲
期待する完了対象物の位置・状態、後工程への受渡し
中断観測した事実、時点、操作した人、対象物の所在
原因の確認ログや映像から確認できたこと、まだ推測のこと
再開確認した担当、変更した条件、引き継ぐ作業ID

途中停止した後に箱を人が動かしたなら、停止前と同じ入力条件ではありません。再開を新たな試行として数えるか、介入ありの継続として記録するかを先に決めます。予定した件数を消化することを優先せず、条件が変わった時点で記録を切り、前の結果と無条件に合算しないことが比較の前提です。

集計単位は依頼とし、最初の試行結果と最終結果を保存します。再試行数は別欄です。架空の20依頼なら「初回完成12、補助後完成4、未完成2、未確認2」で合計20件と照合します。80%完成だけでは初回完成60%と人の補助20%が隠れます。この例では未完成2件が事前に定めた失敗区分内にあり、想定外の現象がないと仮定します。未確認2件の記録照合を同じ段階で続け、試行を追加するなら事前計画の追加評価として元の20件と分けて記録します。数値は合格の目安ではありません。事前合意した条件を全て満たせば次段階へ進み、条件外や想定外の現象なら計画を見直す、と評価計画に分岐を残します。

記入例は「試行T02/依頼R01/構成C1/箱A・配置固定、向きだけ変更/期待:自律完成/観測:見失い/判定:未完成/介入なし/比較元T01」です。実機の安全についての出典はNIST AMS 100-41 §3.4であり、ここでの件数基準から安全性は判断しません。

自社での取り組みについて相談する

ロボットやシミュレーターの検証・導入について、株式会社UNIQUEX にご相談いただけます。

記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。

UNIQUEX に相談する