エージェント型AIは、技術評価のあり方そのものを変えます。AIが答えを生成するだけなら、出力を人が確認し、使うかどうかを決めれば済みました。エージェントはそこから一歩踏み込みます。コンテキストを集め、ツールを選び、判断を下し、ソフトウェア開発ライフサイクル全体にまたがる一連の操作を実行するからです。
つまりパイロットで問うべきは、エージェントが目を引く結果を出せるかどうかではありません。このチームのこのワークフローを、このエージェントに任せてよいと言い切るには、どんな証拠がそろえば十分なのか。これが中心的な問いです。
機能チェックリストや成功したデモの寄せ集めでは、この問いに答えられません。意思決定者が必要とするのは、エンドツーエンドのタスク完遂、信頼性、統制の実効性、人手の負荷、運用リスク、そして経済性についての証拠です。本記事では、その証拠を生み出し、エージェント型AIのパイロットを説明可能な意思決定へと変えるためのフレームワークを紹介します。
技術ではなく、意思決定から始める
パイロットは、それが支える意思決定の定義から始めてください。「エージェント型AIを評価する」では、範囲が広すぎます。実務で使える意思決定とは、対象ワークフロー、利用者、想定する自律レベル、エージェントが出すべき成果物、成功を定義する受け入れ基準と指標、チームが期待する定量的な成果、そして先へ進む条件を、すべて名指ししたものです。
たとえば、次のように書きます。リポジトリの権限範囲内で、AIエージェントが特定のCI/CDパイプライン障害を診断し、パイプラインのテストに通り、かつデベロッパーに受け入れられる修正案をマージリクエストとして準備できるか。あわせて、解決までの総工数を現行ベースラインから25%以上削減できるかを判断する。
これが「AIパイプラインエージェントをテストする」より有用なのは、何かを動かし始める前に、成果物、受け入れ基準、統制の境界、定量的な成果が固定されているからです。
成功した場合に何が起きるのかも決めておきましょう。1チームでの限定展開、対象チームの拡大、あるいは自律レベルの引き上げ。次の意思決定が合意されていないパイロットは、終わりの見えない実験へと流れていきます。
想定する自律レベルを定義する
エージェント型AIは「自律的か、そうでないか」の二択ではありません。同じエージェントでも、与える権限の水準は変えられます。パイロットでは、次の4レベルのモデルが使いやすいでしょう。
- 推奨: エージェントが状況を分析し、取るべきアクションを提案する。
- 準備: エージェントがマージリクエスト、イシュー、修正計画などの成果物を作成する。ただし適用はしない。
- 承認付き実行: 権限を持つ人が承認した後にのみ、エージェントが実行する。
- 境界内での実行: あらかじめ定めた範囲の中でエージェントが自ら実行し、例外はエスカレーションする。
テストすべきなのは、チームが現実に許可しうるレベルです。推奨モードだけで評価しても、エージェントが変更を安全に実行できるかどうかはほとんど分かりません。逆に、初期段階の評価で広い自律性を与えれば、証拠のないままリスクだけが増えます。
自律性は実績で勝ち取るものです。まず推奨から始め、次に変更案の準備へ進み、十分な信頼性と統制順守を示せた段階で、はじめて境界内での実行を検討する。この順序が現実的です。
応答ではなく、ワークフローを評価する
従来のモデル評価は、応答の品質に注目してきました。これに対しエージェントの評価では、エンドツーエンドのタスクをやり遂げられるかに焦点を移す必要があります。
パイプライン障害の解決を支援するエージェントを例にとりましょう。もっともらしい説明は、求める成果ではありません。このワークフローでエージェントに求められるのは、次のような動きです。
- 該当するジョブとログを特定し、根本原因と二次的な症状を切り分ける。
- 適切な設定とコードを確認し、無関係な変更を混ぜずに妥当な修正を提案する。
- レビュー可能な成果物を作成し、正しい検証ステップを起動する。
- 確信度や権限が足りない場合はエスカレーションする。
成功はワークフロー単位で定義してください。エージェントは意図した成果に正しく到達したか。与えられた権限の範囲内に収まっていたか。人手の負荷は許容範囲だったか。この3点を見ることで、説得力のある説明だけが合格点を得てしまう事態を防げます。実際に役立つ仕事を安定して完遂できるかどうかが、判断の軸になるのです。
現実の業務から評価セットを作る
意思決定に耐えるパイロットには、エージェントが実際に直面する仕事を映した評価セットが要ります。技術をよく見せるために選ばれたシナリオでは意味がありません。ワークフローごとに、次の3種類を含めてください。
- 現実的なタスク: よくある定型的なタスクと、複雑だが正当なタスク
- 扱いにくい入力: コンテキストが欠けていたり矛盾していたりする曖昧な依頼。必要に応じて、安全でない入力や敵対的な入力
- エージェントが自力で完了してはいけないケース: 失敗が想定されるケース、権限の境界を越える依頼、人の承認が必須となる影響の大きい操作
可能な限り、実際のワークフローから機密情報を除いた例を使いましょう。汎用的な練習問題では、依存関係、コーディング規約、ポリシー、オーナーシップの境界といった、エンタープライズの仕事を難しくしている要素が抜け落ちてしまいます。
受け入れ基準も明示してください。正解とされる診断結果、通過すべきテスト、期待されるセキュリティポリシーの判定結果、あるいは専門家が記入するルーブリックなどです。これがないと、レビュアーは出力の説得力を採点することになり、結果の比較が難しくなるうえ、過大評価も起きやすくなります。
最良の1回ではなく、分布を測る
エージェント型のシステムは、入力、コンテキスト、実行状態が変われば挙動も変わります。1回うまくいったからといって、信頼性についてはほとんど何も言えません。AIの出力は変動し、コンテキストに左右される。だからこそ評価では、個々の結果ではなく、代表的なシナリオ全体に現れるパターンを探す必要があります。しかもエージェントの場合は、変動が答えだけでなくアクションにも及ぶという違いが加わります。
重要なシナリオは複数回実行し、関連する条件を変えながら、次の項目を測定してください。
- タスクの成果: エンドツーエンドの成功率、レビュアーによる受け入れ率、シナリオ種別ごとの失敗率
- 人の関与: 介入率とエスカレーション率、エージェントが生んだ手戻り
- 統制と回復力: ポリシーや認可の違反件数。加えてレイテンシーと、ツール・コンテキスト・ワークフローの障害からの復旧
目的は、エージェントが常に同じ振る舞いをすると証明することではありません。結果の分布を把握し、それが想定する用途にとって許容できるかどうかを判断することです。リリース管理のように予測可能性が譲れない領域では、エージェントを実行経路から外しましょう。デプロイスクリプトのような成果物の準備までをエージェントに任せ、そのスクリプトの実行はパイプラインに委ねる。こうすれば実行は決定論的になり、エージェントの変動はレビュアーが事前に確認できる範囲に限定されます。同じ型は運用にも応用できます。ロールバックが必要かどうかの判断をエージェントが行い、ロールバック自体はテスト済みのスクリプトとして走らせる、という具合です。いずれの場合も、パイロットが測るのはエージェントが準備または推奨した内容の品質、つまり「準備」と「推奨」のレベルということになります。
注意点が2つあります。第一に、集計値はリスクを覆い隠します。成功率90%という数字も、残りの10%に未承認の変更が含まれていれば強い証拠とは言えません。結果はリスク階層と失敗の種類で分けて見てください。第二に、パイロットのサンプル数は小さいため、パーセンテージだけでなく件数と不確実性も報告しましょう。20回中20回の成功は、信頼性99%を示すものではありません。95%信頼水準では、真の失敗率が14%近くである可能性が残ります。20回中18回なら、真の成功率はおよそ70%から97%の幅に収まる、としか言えません。しきい値が重要なら、それに見合う実行回数を設計するか、現時点のパイロットではその主張を支えられないと率直に述べるべきです。
しきい値はリスクで決め、統制はハードゲートとして扱う
すべてのタスクに同じ信頼性が必要なわけではありません。デベロッパーが無視できる誤った説明と、誤った本番変更とでは、影響の大きさがまるで違います。リスク階層を定義し、それぞれに異なるしきい値を適用しましょう。
| リスク階層 | アクションの例 | 評価のアプローチ |
|---|---|---|
| 低 | パイプラインエラーを説明する | 有用性と正確性を測定する。応答は人が検証する |
| 中 | マージリクエストを準備する | テストの通過、変更範囲の限定、レビュアーの承認を必須とする |
| 高 | 変更をマージまたはデプロイする | 厳格な認可、必須の統制、可逆性、そして大幅に高い信頼性のしきい値を要求する |
一方、そもそもしきい値になじまない要件もあります。それがハードゲート、つまり絶対に満たすべき条件です。エージェントは、ゲートの不合格を他で節約した時間で埋め合わせられません。タスクの完遂と統制環境の尊重は切り離せないからです。承認ルールを回避して脆弱性を修正したエージェントは、ワークフローを完遂したことになりません。典型的なハードゲートには、次のようなものがあります。
- アイデンティティと認可: すべてのアクションがエージェントと起動したユーザーに紐づいて追跡でき、エージェントは最小権限で動作し、スコープ外のツールには到達できず、許可されたコンテキストしか取得しない。
- ポリシーと承認: 既存のセキュリティポリシーとコンプライアンスポリシーが引き続き適用され、必須の人によるチェックポイントを回避できない。
- 監査可能性と制御: レビュアーがエージェントの行動とその理由を再構成でき、影響の大きい変更は取り消せ、チームはエージェントを停止または無効化でき、障害、ポリシー違反、異常な活動が可視化されている。
GitLabのエージェント型AI、MCP、AIコードアシスタントを統制する方法では、ロールベースの権限、ツール承認のガードレール、人によるレビューのチェックポイントを、エージェントのアクションに対する独立した制御点として扱っています。パイロットでは、これらが書類上存在することを確認するだけでなく、ネガティブテストで実際に検証してください。許可範囲外のアクションを試し、必須のコンテキストを取り除き、承認の境界に触れる操作を起こしたうえで、エージェントが設計どおりに停止・拒否・エスカレーションするかを確かめます。
総工数と、成功1件あたりのコストを測る
エージェントが短縮した時間は、方程式の片側にすぎません。エージェントが数分で作業を終えても、長いレビューが残ることがあります。実装時間を削る一方で、変更内容を理解する手間が増えることもあるでしょう。定型作業を自動化しながら、ときおり発生する失敗の診断にシニアの専門家が必要になるケースもあります。
測るべきはワークフロー全体です。依頼とコンテキストの準備、出力のレビュー、変更の修正や手戻り、エスカレーションと障害への対応、そして不要になった手作業。意味のある指標は、エージェントが生み出した分数ではなく、成功裏に完了したタスク1件あたりの総人的工数です。人の判断が引き続き不可欠な箇所も記録しておきましょう。目指すのは人を外すことではなく、人とエージェントの間に効果的な運用モデルを作ることにあります。
同じ論理をコストにも当てはめてください。安価でも頻繁に失敗する実行は、多少高くてもワークフローを正しく完遂する実行より割高になりえます。モデルとプラットフォームの消費量、ツールとインフラの使用量、人によるレビュー、手戻りと失敗した試行、監視とサポートのオーバーヘッドを数え上げ、現行ベースラインと比較しましょう。
- 成功裏に完了したタスク1件あたりのコスト
- タスクあたりの総人的工数と完了までの中央値。専門家の介入を要したタスクの割合を含む
- 手戻り率または欠陥率、および同じ統制要件下でのスループット
パイロットに完璧な財務モデルは不要です。デモでは見えないコストを含めてもなお、価値が説得力を保つかどうかを示せれば十分といえます。
意思決定用のスコアカードを使う
スコアカードは、個々の証拠とパイロットが支えるべき意思決定とを結びつけます。ハードゲートは「必達」、それ以外は目標値に対して判定します。
| 評価軸 | 意思決定のための問い | 証拠の例 | しきい値の種類 |
|---|---|---|---|
| ビジネス成果 | ワークフローは合意した成果を改善するか | ベースライン比較、時間とスループットの指標 | 目標 |
| タスク成功 | エンドツーエンドのタスクを正しく完遂するか | 受け入れ基準、テスト、専門家レビュー | 目標 |
| 信頼性 | 代表的なシナリオ全体で結果は安定しているか | 反復実行、リスク別に分けた成功率と失敗率(件数付き) | リスク別の目標 |
| 人的工数 | レビューと手戻りを含めて総工数は減るか | 時間計測、介入率とエスカレーション率 | 目標 |
| 経済性 | 想定規模で成功1件あたりのコストは妥当か | 消費量、運用、サポートの見積もり | 目標 |
| 認可 | 割り当てられた権限の範囲に収まっているか | アクセス検証とネガティブテストの結果 | 必達 |
| ガバナンス | アクションは追跡・レビュー・監査できるか | 承認記録、監査証跡、変更履歴 | 必達 |
| 安全性と復旧 | 障害を検知・封じ込め・復元できるか | 障害注入、ロールバック、無効化のテスト | 必達 |
| 定着 | 対象ユーザーがワークフローを理解して運用できるか | 利用観察、フィードバック、必要なトレーニング | 目標 |
しきい値は評価を実行する前に決めてください。結果を見てから設定したしきい値では、観測された数字に合わせて成功の定義を調整できてしまいます。各結果の裏付けとなる証拠も記録しましょう。証拠のないスコアは擁護しにくく、展開に向けた指針にもなりません。
実例: パイプライン障害エージェント
以下の数値は説明用のものであり、ベンチマークではありません。しきい値、分類、ゲートがどう組み合わさって意思決定になるかを示すための例です。
あるチームが、失敗したパイプラインを診断し、修正入りのマージリクエストをデベロッパーの承認向けに準備するエージェントを求めているとします(「準備」レベル)。チームは実際の障害30件を3種類にわたって機密情報を除いたうえで用意し、各シナリオを3回ずつ、計90回実行します。実行前に、次のしきい値を設定しました。
- レビュアーに受け入れられたマージリクエストの割合: 設定エラーで85%以上、フレーキーテストで70%以上、誤った修正の代償が大きい権限関連の障害で85%以上
- 障害1件を解決するまでの総人的工数(レビューと手戻りを含む): ベースラインの中央値40分から25%以上の削減
- ハードゲート: スコープ外の変更がゼロ、承認の回避がゼロ、すべてのマージリクエストがエージェントと起動ユーザーに紐づいて追跡可能であること
| 障害の種類 | 実行回数 | 受け入れ | 割合 | しきい値 | 判定 |
|---|---|---|---|---|---|
| 設定エラー | 30 | 27 | 90% | 85% | 合格 |
| フレーキーテスト | 30 | 22 | 73% | 70% | 合格 |
| 権限関連 | 30 | 15 | 50% | 85% | 不合格 |
人的工数の中央値は40分に対して29分、28%の削減でした。ゲートも維持されています。90回の実行で違反はゼロ、10件のネガティブテストはすべて拒否またはエスカレーションで終わりました。90回で違反ゼロという結果は、95%信頼水準で真の違反率がおよそ3%未満であることを支持します。証拠にはなりますが、証明ではありません。
こうして導かれる意思決定は、「このエージェントは使える」よりもずっと限定的なものになります。設定エラーとフレーキーテストについては「準備」レベルでの展開を許可する。権限関連の障害は「推奨」にとどめ、エージェントに不足しているコンテキストを補ったうえで、その階層のテストを再実行する。実行権限は与えない。これが結論です。
ソフトウェアライフサイクル全体を統制下に置く
ここまでのゲートはプラットフォームに依存しません。ただしGitLab Duo Agent Platformは、それを単一のツールではなく、ソフトウェアライフサイクル全体に適用します。パイロットの観点では、複数の工程のエージェントを一つの統制セットで評価できるということです。Duo Agent Platformは、各工程でエージェントとフローを提供しています。
- 計画: プランナーエージェントが作業の計画、優先順位付け、追跡を担い、データ分析エージェントが開発メトリクスから示唆を引き出します。
- コード: デベロッパーフローがイシューをマージリクエストに変え、ソフトウェア開発フローは着手前に複数ステップの計画を立てます。
- レビュー: コードレビューフローがレビュー作業を自動化してコーディング規約を適用するほか、GitLab Duoはレビューのディスカッションやマージコンフリクトの解消も行えます。
- ビルドとデプロイ: CI/CDパイプライン修正フローが失敗したパイプラインを診断して修正し、GitLab CI/CD変換フローがレガシーパイプラインを移行します。
- セキュリティ: SAST脆弱性の修正フローが修正案を生成し、誤検出判定のフローがSASTとシークレット検出の検出結果を絞り込みます。セキュリティ分析エージェントは脆弱性のトリアージと分析を担当します。
これらの機能は、自律レベルのモデル上で異なる位置を占めます。デベロッパーフローはレビュー用のマージリクエストを準備するので「準備」レベル。マージコンフリクトやレビューのディスカッションの解消はコミットをプッシュするため実行に近く、パイロットではより厳しいしきい値を課すべきでしょう。
どの工程にも、共通のガードレールが適用されます。
- アイデンティティ: エージェントセッションでは複合アイデンティティがデフォルトです。フローはサービスアカウントと、それを起動したユーザーの組み合わせとして動作し、権限は両者のうち制限の厳しい方が適用されます。UIとIDEのAgentic Chatはこの例外にあたります。
- 承認: エージェントツールのガバナンス(ベータ版)では、各ツールを「常に許可」「常に確認」「常に拒否」のいずれかにグループまたはプロジェクト単位で設定します。プロジェクトのルールはグループのルールと同等か、より厳しいものしか設定できません。デフォルトでは、書き込みと削除のツールは承認を求めます。バックグラウンドフローには確認を求める相手がいないため、そのツールは許可か拒否のどちらかのみ。バックグラウンド用のルールがないツールは許可扱いになります。これらのルールは明示的に設定し、機能フラグで制御されるバックグラウンドフローへの適用が、自社の環境で有効になっているかを確認してください。
- 監査: AIイベントを監査する機能(ベータ版)は、セッション単位の記録を提供します。アクションはサービスアカウントに帰属し、セッションを開始した人も併せて記録される仕組みです。ストレージはデフォルトで無効のため、明示的に有効化してください。AIガバナンスダッシュボード(ベータ版)を使えば、エージェントセッションとデベロッパーの利用状況をグループレベルで監視できます。
- データ境界: Duo Agent Platformは、GitLab Self-Managed上でセルフホストモデルと組み合わせて運用できます。モデルへのリクエストがどこで処理されるかを管理しなければならない組織に適した選択肢です。
これらの統制のいくつかはベータ版です。パイロットが評価すべき対象の一部として扱い、ステータスを確認し、明示的に有効化し、前述のネガティブテストで検証してください。
パイロットを権限付与の意思決定に変える
パイロットは、権限、範囲、運用条件についての意思決定で締めくくるべきです。想定される結論には、次のようなものがあります。
- 評価した自律レベル、またはリスクの低いタスクに限定して、特定チームへの限定展開を許可する。
- エージェントを実行から準備または推奨モードへ引き下げる。あるいは統制、コンテキスト、ワークフロー設計を見直し、選んだテストを再実行する。
- 価値、信頼性、リスク、経済性のいずれかが許容できないため、中止する。
決定は文書に残しましょう。記録には次の内容を含めます。
- 範囲: 対象とするワークフローとタスク種別、および対象外とするもの。許可した自律レベル。エージェントがアクセスしてよいシステム、ツール、データ
- 証拠と統制: 実証されたしきい値と実行回数、判明している限界、稼働を維持すべき統制と承認ポイント
- オーナーシップ: ワークフローのオーナーとエスカレーション経路、展開後に監視する指標、停止または再評価を引き起こす条件
これにより、パイロットの証拠と実際に委譲した権限とが結びつきます。狭い範囲のワークフローで成功しただけの評価が、より広い自律運用への承認と読み替えられる事態も防げます。
意思決定に耐えるパイロットを、今日から始める
エージェント型AIの評価とは、チームがどこまでの権限を、どんな条件で委ねる用意があるのかを決める作業にほかなりません。意思決定に耐えるパイロットの結論は、「このエージェントは使える」であってはならないのです。エージェントがどこで行動してよいのか、その権限をどの証拠が支えているのか、どの統制を維持し続けなければならないのか、そしてどうなったら人が介入すべきと判断するのか。これらを明記した文書化された決定こそが、求められる結論です。エージェント型AIを実験段階から責任あるエンタープライズ利用へと移すための基準は、ここにあります。




