#性能評価

エージェントのベンチマークと性能評価 ─ SWE-bench・GAIAで能力を測る

エージェントの性能を客観的に測るにはベンチマークが欠かせない。SWE-bench（実際のGitHubイシュー修正）とGAIA（汎用AIアシスタントの総合力）は代表的な指標で、人間との差や改善余地を数値で把握できる。