コストとレイテンシを最適化する ─ モデル選択・プロンプトキャッシュ・バッチ処理

結論から言うと、AIエージェントの運用コストは「モデル選択」「プロンプトキャッシュ」「バッチ処理」の3施策で大きく改善できる。最安モデルと最上位モデルの間には10倍以上の価格差があり、プロンプトキャッシュを活用すれば繰り返し処理のコストが最大90%割引になるとされる。まず3つの施策を理解し、タスクに合わせて組み合わせることが実用的なアプローチだ。

なぜコストとレイテンシが重要なのか

LLM呼び出しを「1回だけ」使うチャットと違い、エージェントはループの中でモデルを何度も呼ぶ。計画・ツール選択・結果の評価…と1タスクで10〜30回呼ぶことも珍しくない。1回あたりの単価が2〜3倍変わるだけで、総コストや処理時間の差は大きくなる。設計段階からコストを意識する習慣が重要とされる。

モデル選択でコストを変える

AnthropicのAPIでは（2026年6月時点の公式ドキュメントによる）、入力1Mトークンあたりの価格はおよそ次のとおりだ：

モデル	入力 ($/MTok)	特徴
Haiku 4.5	$1	最速・最安、シンプルなタスク向け
Sonnet 4.6	$3	速度と能力のバランス
Opus 4.8	$5	複雑な推論・長期エージェント向け
Fable 5	$10	最高能力（最高コスト）

「タスクに見合った最小モデルを使う」が鉄則とされる。計画立案やルーティングのような単純判断にはHaiku、複雑な推論が必要なステップだけOpusやSonnet、という使い分けが効果的だ。

プロンプトキャッシュで繰り返し呼び出しを割引

エージェントは「長いシステムプロンプト＋ツール定義」をほぼ毎ターン送信する。プロンプトキャッシュを使うと、一度送ったプレフィックスをサーバー側に保持でき、キャッシュヒット時のトークンコストは通常の10%（= 90%割引）になるとドキュメントに記載されている。

使い方はシンプルで、リクエストのトップレベルに cache_control フィールドを追加するだけでよい：

{
  "cache_control": { "type": "ephemeral" },
  "system": "あなたは〜",
  "messages": [...]
}

デフォルトのキャッシュ有効期間（TTL）は5分で、アクセスのたびに自動更新される。1時間キャッシュしたい場合は "ttl": "1h" を指定できるが、書き込みコストが通常の2倍になるとされる。最低キャッシュサイズはモデルにより異なり、多くのモデルで1,024トークン以上が必要とされる点に注意が必要だ。

バッチ処理で非同期実行する

評価・分類・大量変換など「すぐに結果が要らないタスク」には、Message Batches APIが使える。処理は非同期で、通常のAPI呼び出しより最大50%安くなるとされる（ただし結果が返るまでの時間はリアルタイムより長い）。

まとめ

施策	コスト削減の目安
低コストモデルへの切り替え	最大1/5以下
プロンプトキャッシュ（キャッシュヒット部分）	最大90%削減
バッチ処理（非同期）	最大50%削減

最初にモデルを選び直し、次にキャッシュを入れ、バッチ化できる部分を分離するという順序が効果的とされる。精度を落とさずコストを下げることは、実用エージェントを持続的に運用するための基礎スキルだ。