第 1 章 ループエンジニアリングの基礎1.1
ループエンジニアリングとは何か
AI エージェントに開発と運用の繰り返しの仕事を任せるとき、ループの動き方と止まり方、人の関わり方を設計する考え方を説明します。後半では、UNIQUEX が自社の開発と運用でどう実践しているかを紹介します。
要点
- AI エージェントは、ツールを使い、その結果を見て次の行動を決める繰り返しで動きます。
- ループエンジニアリングは、この繰り返しの外側を設計する考え方です。
- いつ動くか、何を読み書きするか、どこで止まるかを決めます。
- 人の関わり方も設計の対象です。
- 仕事に応じて、1 件ずつの承認から、外から見張る形へ移します。
定義
- ループエンジニアリング
- UNIQUEX では、AI エージェントに繰り返しの仕事を任せる際の起動条件、読み書きの範囲、停止条件、人の関わり方を設計する考え方を指します。
- human in the loop
- この記事では、AI が作った案を人が 1 件ずつ確認し、承認してから反映する関わり方を指します。
- human on the loop
- この記事では、AI が決めて実行する動きを人が外から監視し、必要に応じて止める関わり方を指します。
- human out of the loop
- この記事では、事前に決めた範囲と停止条件のもとで、人が常時監視せずに仕事を回す関わり方を指します。
- 冪等性
- 同じ依頼を繰り返し処理しても、結果が 1 回処理した場合と変わらない性質です。
- 背圧
- 後ろの工程が詰まったときに、前の工程の処理を抑えたり止めたりする制御です。
AI エージェントは繰り返しで動く
AI エージェントは、ツールを使い、その結果を見て次の行動を決めます。この繰り返しがループです。Anthropic は、エージェントを環境からの結果をもとにツールを繰り返し使う言語モデルと説明しています。同じ文書は、反復回数の上限のような停止条件を含める一般的な構成を紹介しています。途中で人の確認を待つ地点を設けることにも触れています(Anthropic、2024)。
開発と運用では、不具合の報告や監視の警告が昼夜を問わず届きます。その処理をエージェントに繰り返し任せるなら、人がその場で確認できない時間も想定します。その時間にも、ループは決めた範囲で動き、決めた条件で止まる必要があります。
この記事では、ループの外側を設計する技術をループエンジニアリングと呼びます。この名前は UNIQUEX での呼び方です。扱う問題は、AI エージェントに繰り返しの仕事を任せるどの組織にも共通します。
ループの外側で決めること
不具合報告の一次調査を任せる架空の設計例です。以下の上限値は説明用で、UNIQUEXの実際の設定ではありません。
| 決めるもの | 設計例 | 止める条件 |
|---|---|---|
| 起動 | 未処理の報告を受信 | 同じ報告IDを処理中、または処理済み |
| 読取範囲 | 報告本文と許可した検証環境のログ | 必要な情報がない、権限外の情報が必要 |
| 書込範囲 | 調査結果の記録と修正案 | 本番変更や権限追加が必要 |
| 上限 | 1件5分、外部呼出し10回 | 上限に達したら未確認事項を残して終了 |
| 人への引継ぎ | 判断が必要な理由と確認済みの事実 | 承認待ちの間は後続の操作を行わない |
同じ依頼を再処理しても結果を重複させない性質を冪等性と呼びます。受信のたびに新しいIDを振るのではなく、元の報告IDと処理段階を結び付けます。途中停止から戻るときは、書込先の結果を照合してから再開します。「調査中」という印だけでは同時起動や通信切断に対応できません。書込先では報告IDと処理段階の組を重複不可のキーにし、同じ結果の再送は既存の結果を返す設計にします。処理位置の記録は書込成功の確認後に進め、成功か不明ならキーで書込先を照合します。
確認待ちの件数などを見て新規処理を抑える制御が背圧です。実行状態、権限、処理量を管理し、ツールをつなぐハーネスがこれらを制約として守ります。処理ログには報告ID、判断主体、読んだ版、実行結果、未完了の段階を残します。
人の関わり方の 3 つの段階
この記事では、人がループのどこにいるかを次の 3 つの段階で整理します。
- human in the loop。AI が案を作り、人が 1 件ずつ確かめて承認してから反映します。始めたばかりの仕事や、影響が読めない仕事に向いています。
- human on the loop。AI が決めて実行し、人は外から見張ります。人は動きを見て、必要ならいつでも止めます。権限と予算の上限は人が決めます。
- human out of the loop。決めた範囲の仕事は、人が見張らなくても回ります。止まる条件に当たると自ら止まります。人は範囲と上限を決め直すときに戻ります。
1 件ずつの承認には限界があります。件数が増えると、承認が待ち行列になります。確認が形だけになり、承認が安全の根拠として働かなくなります。毎回の承認を減らす分、人は権限と上限の設計と、動きの確認を受け持ちます。
3 つの段階は、仕事ごとに使い分けます。すべての仕事を out of the loop へ移すわけではありません。
人が外側へ移る条件
人がループの外へ移る仕事には、少なくとも次の条件をそろえます。
- 権限が絞られている。AI に渡すのは、その仕事に要る権限だけです。権限を広げる判断は人に残します。
- 予算と上限が決まっている。1 回の上限と期間の予算に届いたら止まる仕組みを置きます。
- 止まる条件と止める手段がある。仕組みが自ら止まる条件と、人がいつでも止められる手段の両方を用意します。
- 記録が残る。AI が何を決めて何をしたかを、人の承認と区別して記録します。あとから人が確かめられます。
- 戻せる。変更は戻せる形で出し、戻し方を記録します。
そのうえで、仕事ごとの影響と検査の結果を見て、毎回の承認を省く範囲を決めます。取り返しのつかない操作のように、戻せない仕事は外へ移しません。条件がそろうまでは、その仕事は human in the loop のまま扱います。
UNIQUEX での実践
ここからは、UNIQUEX が自社の開発と運用で行っていることを紹介します。
仕事の依頼と進み具合、判断の記録は作業記録に集めます。作業記録を正式な記録として扱い、チャットの履歴やエージェントの記憶は記録とみなしません。
人が承認する場面は、方針として次の 5 つに絞っています。法的な責任を伴う判断、取り返しのつかない操作、AI の権限と統治の範囲を広げる変更、予算を超える支出と新しい継続費用、人に関わる判断です。それ以外は、予算の範囲で AI が決めて実行します。人は実行の状況を見て、必要ならいつでも止めます。権限と予算の上限も人が決めます。human in the loop から human on the loop へ移した形です。
承認を省いた操作や、AI が判断した結果は、人が承認した結果として記録しません。誰が決めたかを区別して残し、人があとから確かめられるようにしています。
エージェントは作業記録を読んで修正案を作り、自動の検査にかけ、結果を作業記録に残します。上の 5 つの場面に当たるときだけ、人の承認を待ちます。
中央のひし形は、人による許可が必要な条件に当たるかを判定する場所です。上から下へは処理の進行、最後の二つの枝は承認待ちと自動実行の分かれ方を表します(図 1.1.1 UNIQUEXでの作業記録から実行まで)。
導入するときに決めること
最初の評価では、正常終了だけでなく、重複した報告、情報不足、上限到達、書込後の通信切断を試験ケースにします。どのケースで何を変更し、どこで止まり、人へ何が渡ったかを確認します。毎回の承認を省く範囲は、この結果と操作の影響から決め、観測していない例外を「自動対応できる」に含めません。
経営者が決めるのは、人に残す判断の線と、AI に使わせてよい予算です。線と予算を決め、検査と動きの確認を続けながら、その内側の繰り返しを仕組みに任せていきます。
たとえば同じ報告を二度渡しても結果が1件にとどまり、情報不足と上限到達では書込範囲を越えず終了することを、承認省略の候補を決める材料にします。許可外の操作や結果の二重書込が一度でも起きたら、その操作を自動化の範囲から外し、原因の修正と再検査が済むまで個別確認へ戻します。これはこの例の判定案で、件数だけで安全を保証するものではありません。
自社での取り組みについて相談する
AI エージェントを使った開発・運用の仕組みについて、株式会社UNIQUEX にご相談いただけます。
記事のタイトルと URL をお問い合わせフォームへ引き継ぎます。実現したいこと・困っていることをお書きください。
UNIQUEX に相談する