Tree of Thoughts ─ 木構造で思考を探索する推論手法
結論から言うと、**Tree of Thoughts（ToT）**は「1本道の推論（Chain-of-Thought）」を「木構造の並列探索」に拡張することで、複雑な問題での精度を大幅に高める推論フレームワークです。2023年にYao et al.がNeurIPSで発表した研究では、数字パズル「ゲーム・オブ・24」においてChain-of-Thoughtの成功率4%に対してToTが74%を達成したと報告されています。
Chain-of-Thoughtとの違い
Chain-of-Thought（CoT）は推論を1ステップずつ順に書き出す手法です（レッスン13参照）。効果的ですが「途中で間違えたら引き返せない」という弱点があります。
ToTはこの弱点を克服します。各推論ステップで複数の候補（思考）を生成し、それぞれを評価してから次へ進みます。行き詰まった枝はバックトラック（引き返し）して別の枝を探索します。
開始
├── 思考A → 評価: 有望 → 思考A1, A2...
├── 思考B → 評価: 不可 → バックトラック
└── 思考C → 評価: 有望 → 思考C1...
この構造が「木（ツリー）」に似ているためTree of Thoughtsという名前がつきました。
3つの核心要素
ToTは次の3つの仕組みで成り立っています。
- 思考の生成：各ステップでLLMに複数の候補を出させる（例: 「次の手として考えられる3つのアプローチを列挙して」）
- 思考の評価：生成された候補を「有望か・不可か・わからないか」でLLM自身に採点させる
- 探索アルゴリズム：幅優先探索（BFS）や深さ優先探索（DFS）で木全体を効率よく巡る
評価も生成も同じLLMが行えるため、外部の特別なシステムなしに実装できる点が特徴とされています。
効果的な場面と注意点
ToTが向くタスクの特徴は次のとおりです。
- 試行錯誤が有効: 正解への経路が複数あり、やり直しに意味がある問題
- 中間評価が可能: 「この方向は正しいか」を途中で判断できる
- 計画や多ステップ推論: 数学パズル、プログラム設計、文章構成など
ただし、1回の推論でCoTより数倍〜数十倍多くのLLM呼び出しが必要になるため、コストとレイテンシが大幅に増えます。単純な質問応答や一発で答えられるタスクには適しません。使いどころを選ぶことが実務では重要です。
まとめ
Tree of Thoughtsは推論を「1本道」から「木構造の探索」に変えることで、複雑な問題での精度を高める手法です。CoTと異なりバックトラックができるため、数学や論理パズルなど多段階の試行錯誤が必要なタスクで力を発揮するとされます。一方でLLMの呼び出し回数が増えるためコストへの注意が必要です。ReAct（レッスン4）やChain-of-Thought（レッスン13）と合わせて、タスクの難易度に応じて使い分けることが実践的なアプローチといえます。