第 1 章 評価の基礎1.5
ハーネスの役割と構成
モデル、ツール、環境とハーネスの役割を分け、実行の往復と文脈の引き継ぎを説明します。架空の資料整理を使い、評価時に残す構成条件を示します。
要点
- ハーネスは、モデルへの入力、ツールの実行、途中の状態、終了条件をつなぐ枠組みです。
- モデルそのものや、操作対象となる環境とは役割が違います。
- 文脈に渡す情報と、外部へ保存する記録を分け、再開時に未完了や未確認の情報が失われないよう設計します。
- 評価ではモデル名だけでなく、ハーネスやツールの構成も比較条件として残します。
定義
- ハーネス(harness)
- モデルへ何を渡し、選ばれたツールをどう実行し、その結果を次の判断へどう戻すかを支える枠組みです。
- 文脈(context)
- その回の判断のためにモデルへ渡す情報です。
ハーネス(harness)は、モデルへ何を渡し、選ばれたツールをどう実行し、その結果を次の判断へどう戻すか、といった処理を支える枠組みです。ここでは、エージェントを動かす側のハーネスを扱います。課題を配って採点結果を集める「評価用ハーネス」とは、役割を分けて考えます。
架空の資料整理を例にすると、依頼は「共有資料の題名を調べ、一覧の下書きを作る」です。モデルは資料を読む操作を選び、ツールが内容を返し、ハーネスがその結果を次の入力へ加えます。最後に下書きを保存した結果を確かめて終了します。この一連の仕事は、モデルの返答だけでは成立しません。
モデルと周囲の仕組みの役割
評価で何を変えたのかを説明するには、モデル、ツール、環境、ハーネスを分けて記録します。次の表は資料整理の例に合わせた整理で、製品共通の構成規格ではありません。
| 要素 | 担うこと | 資料整理の例 |
|---|---|---|
| モデル | 与えられた情報から返答や次の操作を選ぶ | 題名が分からない資料を読む操作を選ぶ |
| ツール | 決められた機能を実行して結果を返す | 資料の読取、下書きファイルの保存 |
| 環境 | 操作の対象と、その時点の状態を持つ | 試験用の資料、保存先、読取可能な範囲 |
| ハーネス | 入力の組立て、モデルとツールの往復、状態の保持、終了を扱う | 読取結果を次の判断へ渡し、保存完了時や実行上限に達したときに止める |
Inspectの公式文書では、エージェントは計画、記憶、ツール利用を組み合わせるものとして説明されています。例示された処理は、モデルとツールの呼出しを繰り返し、会話履歴と出力を更新します。これはハーネスの役割を具体的に見る一例です。すべての製品がInspectと同じ部品名や構造を持つ、という意味ではありません(Inspect「Using Agents」)。
ツールの名前をモデルへ知らせることと、実際の操作を許可することも別です。この例なら「資料を削除しない」という指示だけでなく、試験用の接続先で削除操作を許さない構成にします。許可された対象と操作の範囲は、試行を始める前に定めます。
図 1.5.1 ハーネスと周囲の要素の関係は、モデル、ツール、環境、ハーネスのつながりを示します。ハーネスがモデルへ入力を渡し、モデルが次の操作を選んでハーネスへ返します。ハーネスはその操作の実行をツールへ指示し、ツールは結果をハーネスへ返します。ツールが働きかける対象と、その時点の状態を持つのが環境です。
一回の判断を次へつなぐ構成
ハーネスの動きを追うときは、同じ依頼を繰り返し渡しているだけなのか、途中結果を受けて入力が変わるのかを確認します。資料整理の例では、次のように仕事をつなぎます。
- 開始時の入力を組み立てます。 依頼、許された保存先、利用できるツールの説明、現在の資料一覧を渡します。
- モデルが次の操作を選びます。 例えば、一覧に題名がない資料の読取を求めます。
- 操作を実行して結果を受け取ります。 読めた本文と、読めなかった場合のエラーを区別します。呼出しを選べたことだけでは、読取に成功したことにはなりません。
- 状態を更新します。 読取結果や未完了の項目を次の判断へ渡し、下書きの作成へ進めます。
- 終了理由を残します。 保存を確認して完了したのか、必要な資料がなく保留したのか、実行上限で止まったのかを分けます。
これは説明用の構成案です。Inspectのソルバーは評価課題の実行計画を担い、会話履歴とモデル出力を含む状態を更新します。単純な部品の連鎖にも、対話やエージェントを動かす独自処理にもできます。上の手順を、すべてのハーネスが備える固定の工程とみなす必要はありません(Inspect「Solvers」Overview、Task States)。
図 1.5.2 ハーネスが一回の判断をつなぐ流れは、資料整理の例の五つの手順を順に並べます。開始時の入力を組み立て、モデルが次の操作を選び、操作を実行して結果を受け取り、状態を更新し、終了理由を残します。これは説明用の構成案であり、すべてのハーネスが備える固定の工程ではありません。
モデルに渡す文脈と外に残す記録
文脈(context)は、その回の判断のためにモデルへ渡す情報です。永続的な記録として保存してある情報のすべてが、次の呼出しでもモデルに渡るとは限りません。資料整理なら、保存済みの下書き、直前の読取結果、未処理の資料がそれぞれどこにあるかを区別します。
例えば、履歴を短くする際に「資料の整理を進めた」とだけ残すと、未読の資料まで処理済みだと受け取る余地があります。この架空の設計では、完了した対象、未完了の対象、作成物の場所、確認できていない点を分けて残します。さらに、作成物が存在することと、その内容が正しいことを同じ状態にまとめません。
Anthropicの長期実行に関する記事は、限られた文脈をまたぐ作業で、次のセッションへ状態を引き継ぐ問題を扱っています。初回の環境準備と、その後の作業・進捗記録を分けた実装を紹介し、文脈の圧縮だけでは十分ではないと説明しています。これは同社のWebアプリ開発向けの実験例であり、すべての業務で同じファイル形式や役割分担を採れば改善するという保証ではありません(Anthropic「Effective harnesses for long-running agents」)。
文脈を設計するときは、どの情報を残したかだけでなく、どの情報を落としたかも評価対象になります。下書きの場所だけ引き継ぎ、未確認の注記を落としてしまえば、再開後の判断条件は変わります。例えば、次の節の架空例のように資料Bが権限不足で読めず、A・Cを読んだ時点で状態を保存して再開させます。保存済みの題名を利用でき、Bを処理済みとせず未確認のまま下書きへ注記することを確認します。再読取が必要な設計なら、その条件と実行回数も比較します。
読み取り失敗を次の判断へ渡す例
資料整理の架空例で、3件のうち資料Bだけが権限不足で読めなかったとします。ハーネスがモデルへ渡す情報は「AとCは題名取得済み、Bは権限不足、保存は未実行」です。「2件を読めた」という要約だけでは、Bを再検索するのか、未確認として一覧へ残すのかを判断できません。
| 残す場所 | 記録する内容 | この記録で確かめること |
|---|---|---|
| 次のモデル入力 | 未確認の資料Bと失敗理由、許された操作 | 読めない資料の内容を推測していないか |
| 操作履歴 | 資料ID、読み取り結果、保存要求と応答 | 完了報告より前に保存が成功したか |
| 外部の状態 | 保存した一覧の版と内容 | Bを未確認として下書きに注記したか |
保存の応答が失われた場合は、保存先を確認するまで「完了」と扱いません。履歴には観測できた入出力を残し、モデル内部の思考を記録できることは前提にしません。
エージェントの実行と評価の実行の区別
評価用の枠組みは、試験課題を選び、対象を動かし、記録や最終状態を採点します。その中で動くエージェントのハーネスは、課題を解くためにモデルとツールを動かします。一つのライブラリが両方を提供していても、何が採点する側で、何が採点される側なのかを明らかにします。
Inspectでは、一つの評価課題を表すTaskの定義に、課題データであるデータセット、実行を担うソルバー、採点器であるスコアラーを置く例があります。また、エージェントをソルバーとして渡すこともできます。この関係は、実行の制御と採点の制御を混同しないための具体例になります(Inspect「Solvers」「Using Agents」)。評価の要素全体は1.2で整理しています。
比較の記録には、モデル名だけでなく、ハーネスの版、渡す指示、ツールの仕様、初期環境、終了条件も残します。架空例なら「ハーネス: 資料整理 v0.3(読取結果は題名と冒頭200字だけを次の入力へ渡す)/ツール: 読取と drafts/ への保存だけを登録し、削除の操作は登録しない/初期環境: 試験用資料3件、うちBは読取権限なし/終了条件: 保存を確認して完了、資料不足で保留、ツール呼出し15回で打切り」のように値で書きます。同じモデルでも、以前は捨てていた読取結果を渡すように変更すれば、評価対象は変わったことになります。モデルだけの比較をしたい場合は周囲の条件をそろえ、ハーネス込みの改善を測る場合は変更点を明記します。エージェントとワークフローという制御方式の違いは1.1で扱っています。
自社での取り組みについて相談する
AI エージェントの評価方法や品質の確認について、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する