2026.03.19
ツール選定
LLM出力を評価する:勘の前に評価を
ゴールデンセットを作り、タスクに採点方法を合わせ、LLM-as-judgeを検証し、評価をCIに組み込んで変更ごとにスコアを出す。
読了2分
AIを本番に投入するための論考のアーカイブ。実装・自動化・ツール選定・定着。
ゴールデンセットを作り、タスクに採点方法を合わせ、LLM-as-judgeを検証し、評価をCIに組み込んで変更ごとにスコアを出す。
使われない高機能はゼロを返す。痛みが最も大きい場所から始め、エビデンスで信頼を得て、最初のユーザーを選び、継続率で測る。