エージェントのベンチマークと性能評価 ─ SWE-bench・GAIAで能力を測る

結論から言うと、エージェントの「賢さ」を客観的に測るにはベンチマークが欠かせない。SWE-benchとGAIAは2024年以降に広く参照される代表的な指標で、エージェント開発者が性能の限界と改善方向を把握する重要な参照点とされている。

ベンチマークとは何か

ベンチマークとは、決まった問題セットに対してスコアを計算し、モデルやシステムを客観的に比較するためのテスト集だ。「このエージェントは優秀か」という直感的な評価を数値に落とし込むことで、改善の進捗や他システムとの比較が可能になる。

SWE-bench：実際のバグを直せるか

SWE-benchはGitHubの実際のイシュー2,294件を使い「LLMがコードを編集して本物のバグを修正できるか」を評価する。単純な穴埋めではなく、複数ファイルにまたがる変更・長いコンテキストの理解・複雑な推論が同時に必要とされる。

論文が公開された当時、最高スコアはClaude 2の約1.96%だった。その後エージェントフレームワークや上位モデルの組み合わせでスコアは大幅に伸びており、SWE-benchのスコア推移はエージェント技術の進歩を象徴する指標のひとつとされている。

GAIA：汎用アシスタントとしての総合力

GAIAは「Web検索・マルチモーダル・ツール使用・複合推論」が同時に必要な実世界の質問466問で構成される。人間の正答率約92%に対してGPT-4（プラグイン付き）は約15%という大きな差があった。特定の専門知識よりも「現実的な指示に従える汎用性」を測っており、エージェントの弱点が浮き彫りになる。

ベンチマークをどう活かすか

自分のシステムをいきなりSWE-benchやGAIAで評価する必要はない。重要なのは目的に合ったベンチマークを選ぶことだ。コーディングエージェントならSWE-bench系、汎用アシスタントならGAIA系など、実際のユースケースに近い指標を参考にする。また、公開ベンチマークのスコアが高くても自社タスクで通用するとは限らないため、独自の評価セット（ゴールデンテスト集）を並行して整備するのが実践的だとされる。

まとめ

• ベンチマークはエージェントの性能を客観的に数値化するテスト集
• SWE-benchは実際のGitHubイシュー修正でソフトウェアエンジニアリング能力を測る（初期最高スコアは約2%）
• GAIAは汎用アシスタントの総合力を問い、人間との差が大きく現れる
• 目的に合ったベンチマークを参照しつつ、自社タスクに合わせた独自評価セットも用意するのが定石とされる