リフレクション ─ エージェントが自己修正する仕組み

結論から言うと、リフレクションとは「出力→評価→フィードバック生成→再試行」を繰り返すことで、モデルのパラメータを更新せずに精度を上げるエージェントの自己修正ループです。コーディングや文章生成など、明確な合否基準があるタスクで特に効果があるとされます。

リフレクションとは何か

人間は書いたコードを実行してエラーを見て書き直したり、文章を読み返して直したりします。リフレクションは、これと同じことをLLMエージェントに自動でさせる仕組みです。

ループの流れは次のとおりです。

重みの更新が不要なため、APIで利用するだけでも実装できます。

2023年に発表された論文「Reflexion: Language Agents with Verbal Reinforcement Learning」（Shinnら）は、このアプローチを体系化しました。

従来の強化学習は「報酬スコアでパラメータを更新する」のに対し、Reflexionは「過去の失敗を自然言語でエピソードメモリに保存し、次の試行のコンテキストに追記する」だけです。3つの役割を組み合わせます。

論文によると、HumanEvalというコーディングベンチマークでGPT-4の80%に対してReflexionが91%の精度を達成したとされています（複数回の試行を許容した場合）。

Anthropicのガイドでは、同じ考え方を「evaluator-optimizerワークフロー」と呼んでいます。一方のLLM呼び出しが出力を生成し、もう一方がフィードバックをループで提供します。

生成 ──→ 評価 ──→（改善が必要？）──→ フィードバック付きで再生成
                    ↓
                （十分？）──→ 完了

「明確な評価基準があるとき」にこのパターンが有効とされています。曖昧な基準のままでは、ループが収束せず無駄なコストだけかかります。

①評価基準を具体的にする: 「改善してください」より「条件Xを満たしていないので修正してください」のように、フィードバックが具体的なほど再試行の質が上がります。

②最大試行回数を設ける: 無限ループ防止のため max_retries = 3 など上限を必ず設定します。停止条件の重要性はレッスン09（評価・安全・ガードレール）でも触れた通りです。

③トークンが増えることを意識する: フィードバックを毎回コンテキストに積むと全体のトークン数が膨らみます。要約したり最新N件だけ保持するなど、レッスン06（メモリ）で学んだ工夫が役立ちます。

なお、「良い文章かどうか」といった定性的な基準では評価者自体が不安定なため、リフレクションの効果が薄くなる傾向があるとされます。コードの実行結果やJSON検証など客観的な合否が取れるタスクが最も相性が良いと考えられています。