評価・安全・ガードレール
自分で判断して動くからこそ、エージェントには独特のリスクがあります。結論から言うと、**安全なエージェントとは「失敗の仕方を想定し、止める仕組み・権限を絞る仕組み・観測して評価する仕組みを備えたもの」**です。Anthropic も、自律性を持たせるなら停止条件やガードレールが欠かせないとしています。
よくある失敗モード
- 無限ループ・暴走: 停止条件が甘いと、同じ行動を延々と繰り返したり、想定外に動き続けたりします（レッスン4の停止条件が重要）。
- 誤ったツール実行: 引数を取り違えてファイルを消す、誤った宛先に送信する、といった取り返しのつかない操作。
- プロンプトインジェクション: 外部から読み込んだWebページやデータの中に「これまでの指示を無視して〜せよ」といった悪意ある指示が紛れ込み、エージェントが乗っ取られる攻撃。検索やツール使用で外部情報を取り込むエージェントでは特に注意が要ります。
- ハルシネーションの連鎖: 誤った中間結果を前提に進み、誤りが積み重なること。ReAct 論文も、外部情報で裏取りすることがハルシネーション抑制に役立つとしています。
ガードレール（安全装置）の考え方
- 権限最小化: エージェントに渡すツールや権限は、必要最小限にする。削除や送金のような危険な操作は、可能なら与えない、または強い制限をかける。
- ヒューマン・イン・ザ・ループ: 影響の大きい操作の前に、人間の承認を挟む。「実行してよいですか？」と確認を取る設計です。
- 上限と停止条件: 最大ステップ数・最大時間・最大コストを決め、超えたら止める。
- 入力の検疫: 外部から取り込んだ内容を「指示」ではなく「データ」として扱い、インジェクションを防ぐ工夫をする。
評価（eval）とトレース観測
作って終わりにせず、評価（eval）——つまり代表的なタスクで正しく動くかを継続的に測ることが重要です。あわせて、エージェントが「いつ・何を考え・どのツールをどう呼び・何を観察したか」を記録するトレース観測を整えると、失敗の原因を追跡し改善できます。何が起きているか見えないエージェントは、安全に運用しにくいとされます。
まとめ
エージェントの失敗モード（ループ・誤実行・インジェクション・誤りの連鎖）を前提に、権限最小化・人間の承認・上限・入力検疫でガードし、評価とトレース観測で見える化する——これが安全運用の柱です。最後のレッスンでは、ここまでを踏まえて最小のエージェントを作る考え方をまとめます。