評価駆動開発とは？Evalの結果でAIシステムを直していく方法
プロンプト・モデル・RAGの変更を自動評価で測る
Eval-Driven DevelopmentはAIシステム開発にTDD（Test-Driven Development）の哲学を適用した方法論です。プロンプトを修正したり、モデルを変えたり、RAGパイプラインを改善する際、「勘」ではなく定量的評価指標で判断します。評価データセット（質問-正解ペア）を準備し、自動化されたEvalパイプラインで精度、関連性、有害性等を測定します。LLM-as-a-Judge（GPT-4が応答品質を評価）も広く使われています。Braintrust、Langsmith、Humanloop等のツールがこのワークフローをサポートします。
キーコンセプト
1
評価データセット構築: 入力（質問）＋期待出力（正解/基準）のペア
2
評価基準定義: 精度、関連性、有害性、形式遵守等のスコアリング基準
3
現在のシステムで評価実行 → ベースライン性能を測定
4
プロンプト/モデル/RAG等変更後に同一評価を再実行
5
性能比較: 変更が改善か退行かデータで判断
6
反復: 評価 → 改善 → 再評価サイクル
メリット
- ✓ 客観的データに基づく意思決定
- ✓ 退行（regression）の防止
- ✓ チーム間の一貫した品質基準
- ✓ CI/CDパイプラインに統合可能
デメリット
- ✗ 良い評価データセットの構築が困難
- ✗ LLM-as-Judgeの偏りの可能性
- ✗ 評価コスト（大量のLLM呼び出し）
- ✗ 定量化しにくい品質要素が存在
ユースケース
プロンプトエンジニアリングA/Bテスト
RAGパイプライン最適化
モデルバージョンアップグレード検証
AI Agent品質管理
プロダクションモニタリング