#エバリュエーション

LLM-as-a-Judge ─ LLMを評価者に使う手法

LLM-as-a-Judgeとは、LLMの出力を別のLLMが採点・評価する手法。人手評価のコストを抑えながら自由記述の品質を測れるが、位置バイアス・冗長さバイアス・自己優遇バイアスの3つの偏りに注意が必要とされる。