エージェントの行動は残り、判断の根拠は消える

いまのエージェントフレームワークは、たいてい監査証跡を一緒に用意している。どの関数を、どの引数で、何時に、どの実行IDで呼んだかが残る。実際に役立つ記録だ。そして、後から誰もが本当に聞きたがる一点だけが抜けている。

人が誤った判断を下したとき、その根拠は取り戻せる。本人に聞けばいい。チケットを覚えているし、やり取りのスレッドを覚えているし、「問題ない」と言った相手も覚えている。根拠が、行動のあとも存在し続ける人間の中に残っているからだ。

エージェントが同じ判断を下したとき、その根拠はリクエスト時に組み立てられ、応答とともに捨てられたコンテキストウィンドウの中にあった。行動はデータベースに残る。その行動が立っていた土台は残らない。

コンテキストウィンドウこそが判断そのものだ

エージェントには、入力と出力のあいだに何もない。検索してきた文書、ツールの実行結果、その朝の時点のシステムプロンプト、それ以前のやり取り — その組み立て物自体が推論である。それを捨てるのは補足説明を失うことではない。判断を失って結果だけを持つことだ。

六週間後、実行ログには「サポートエージェントが注文41-8827に全額返金を実行した」と書かれている。書かれていないのは、検索段階が似た名前の別の顧客の古い注文を一緒に拾ってきたことと、エージェントが読んだポリシー文書が、誰かが二日ほどWikiに置いたままにしていた草案だったことだ。

その時点で浮かぶのは「実行をもう一度回してみよう」という考えだ。たいてい何も証明できない。検索インデックスは作り直され、Wikiの文書は修正され、モデルはマイナーバージョンが上がり、そもそもサンプリングは決定的ではなかった。再実行はひとつの答えを返す。あのときのその答えではないし、いま見ているのがどちらなのかも教えてくれない。

モデルのバージョンは実行者の一部だ

invoice-agent は名前であって実行者ではない。同じ名前が、モデルのアップグレードも、プロンプトの修正も、新しく足したツールも、検索器が見てよい文書範囲の変更も、まとめて横断したまま残る。そのたびに振る舞いは変わる。それも少なからず変わる。

だから「インシデントはその変更の前か後か」という問いに、名前は答えられない。行動の記録に残る実行者は、モデル識別子、プロンプトのリビジョンのハッシュ、その実行で提示されたツールスキーマのバージョンまで抱えている必要がある。多くの導入は、呼びやすい名前と実行IDだけを残している。人間のあらゆる行動を「従業員」と記録するのに近い。

いちばん役に立つ証拠は、保存できないデータだ

ここに、誰も避けて通れない緊張がひとつある。コンテキストこそが機微情報だ。顧客記録であり、人事ファイルであり、検索器が向くことを許された何かである。すべての実行のコンテキストを丸ごと保存するとは、最も機微なデータの写しを、ログ用に作られたシステムの中にもう一部置くということだ。アクセス制御はより緩く、保持期間はより長い。プライバシーレビューがそれを拒むのは正しいし、削除請求が来ればその写しにも手が届かなければならない。

抜け道は、保存せずにコミットすることだ。リクエスト時に、コンテキストへ入った各項目と組み立てられた全体の正規形をハッシュし、そのダイジェストを行動の記録と一緒に封印する。残るものはサイズが固定で、それ自体は何も明かさない。

これが買えるものは二つある。元の文書がまだ存在するなら、エージェントが実際に見た版はどれだったのか — いま残っている版ではなく — を証明できる。保持ポリシーに従って消えていたとしても、少なくともその集合が判断の時点で固定されたものであり、後から話に合わせて組み直したものではないと証明できる。争いになったときに値が付くのは二つ目のほうで、その値段はハッシュひとつだ。

自社のシステムに投げる五つの問い

先週エージェントが行った行動をひとつ選ぶ。お金か権限が絡むものならなおよい。そして答えてみる。

そのとき読んだ文書とツール結果の集合を、いまの版ではなく当時の版で再現できるか。
その記録の実行者に、モデル識別子とプロンプトのリビジョンが入っているか。それとも誰かが決めた名前だけか。
顧客が結果に異議を申し立てたとき、その判断が何に基づいていたかを示せるか。それとも「起きた」ことだけを示せるか。
エージェントのログを書くサービスは、そのログを直すこともできるか。できるなら、そのログは起きた過去ではなく生き残った過去を描写している。
保持期間が過ぎて元データが消えたあと、その行動と読んだものを結ぶ何かが残るか。

居心地の悪い言い方をすれば、こうなる。返金も、プロビジョニングも、アクセスの判断もエージェントに渡されつつあり、その前提は「エージェントの行動は後から検証できる」である。ところがその検証の実体は、行動があったと書かれた一行だ。いま直せば安く、その前提をめぐって初めて争う日に直せば高い。

Axowl は、人とエージェントの行動を記録されるその瞬間に封印する。実行者と入力を後から再構成するのではなく、判断の時点でコミットする。仕組みを見る。