LLM出力を評価する：勘の前に評価を

信頼できるAIを出荷するチームと、不安を出荷するチームを最も分ける習慣は評価です。それが無ければ、プロンプト変更はすべて当て推量、モデルのリリースはすべてコイン投げ。あれば、良くなったかを速く安く判定できるので、速く動けます。

ゴールデンセットから始める

実入力を30〜100件集め、それぞれに受け入れられる出力を添えます。想像ではなく実ログから引く——まだ見ていない失敗ケースこそ重要です。この「ゴールデンセット」が以降すべての背骨になります。

採点方法をタスクに合わせる

• 完全一致／構造化 — 分類や抽出は期待値と比較する。安く、曖昧さがない。
• ルールベースの検査 — 有効なJSON、必須フィールドの有無、禁止内容なし、長さ内。速いガードレール。
• モデル採点（LLM-as-judge） — 自由記述はモデルにルーブリックで採点させる。強力だが、それ自体の検証が要る。
• 人手レビュー — 安い採点器を較正するための基準値。

ジャッジを信じつつ、検証する

LLM-as-judgeは人の判断をスケールしますが、ジャッジには偏りがありえます——長い答えへ、自分の文体へ、最初の選択肢へ。サンプルでジャッジを人手ラベルと突き合わせ、明確なルーブリックを使い、答えが漏れるプロンプトでモデルを採点しないこと。

検証していない評価は、まだテストしていないもう一つのモデルにすぎません。

ループに組み込む

月一で手動で回す評価は演出です。ゴールデンセットをCIに入れ、プロンプトやモデルの変更がマージ前にスコアを出すようにします。品質・コスト・レイテンシを一緒に追う——品質を2%上げてコストを3倍にする変更は自動的な勝ちではなく判断であり、それはROIの議論に属します。

このハーネスは、出荷（はじめてのLLM機能を出荷する）、確実な検索（本当に動くRAG）、モデル選定（AIスタックの選び方）の前提です。