AIのROIを計測する——手触りではなく数値で

「AI導入の効果、どう測ればいいですか」——プロジェクトが本番に近づくと、必ず出てくる問いだ。しかし、多くのケースで、この問いはプロジェクトの終盤で出てくる。それでは遅い。

この記事では、AI導入のROIを測る枠組みを、実運用の経験から整理する。

KPIツリーを、最初に描く

プロジェクトの初期段階で、以下を明示的に書き出すことを勧めたい。

• ビジネス指標：売上、コスト、顧客満足度、離脱率など、経営が見る数字。
• 業務指標：処理件数、処理時間、エラー率、対応品質など、部門長が見る数字。
• AI機能の直接指標：モデルの利用回数、応答時間、正解率、ユーザー満足度など、開発チームが見る数字。

この3層は、上から下へ辿れる形で結合する必要がある。「AI機能の利用が10%増えた」ことが、「業務指標のどの数字を、どう動かすはず」で、「その結果、経営指標のどこに効くはず」を、事前に仮説として書く。この仮説が後で検証可能になる。

Before/Afterは、思ったより難しい

「導入前と導入後で、処理時間が30%減った」というレポートを、私たちは頻繁に目にする。しかし、この比較には交絡要因が多く含まれる。

同時期に別のシステム変更が入っている可能性。担当者の熟練度が上がっている（慣熟効果）。業務量そのものが変わっている（季節性、顧客層の変化）。管理対象の絞り込みで一時的に効率が上がっている。編集部が観測してきた失敗の多くは、これらを分離せずに効果を主張した結果、経営会議で説明できなくなるパターンだった。

相対比較を、設計に組み込む

より信頼性の高い測定は、同一時期の相対比較で得られる。A/Bテスト（利用者を無作為に2群に分ける）。段階導入（部門ごとに時期をずらす）。カナリアリリース（小規模から段階的に拡大）。これらの構造を最初から組み込めれば、「同じ時期・似た条件」での比較になる。

倫理的・実務的な制約でA/Bが組めないケースは多い。その場合は、部門・地域・時間帯ごとの段階導入を検討する。完璧な統計的比較は難しくても、複数の断面で見て一貫した傾向があるなら、主張はある程度支えられる。

定性的なフィードバックを、軽視しない

数字は分かりやすいが、「担当者が使いたくない」という感情は、いずれ数字に現れる。編集部が観測してきた運用は、定量指標と並行して以下を拾っていた。

四半期ごとの利用者アンケート（無記名・オープンエンド）。運用チームからの日常フィードバック（Slackチャネル、週次ミーティング）。使わなくなった利用者への個別ヒアリング。HITLの設計と同じで、質的な情報は、量的な問題が顕在化する前の早期警戒として働く。

失敗と学びも、レポートに書く

ROIレポートは、しばしば「成功事例」として仕上げられる。しかし、成功だけを書くレポートは、次の意思決定に効かない。「試したがうまくいかなかったこと」「予想外の副作用」「今後の課題」を含めるほうが、3ヶ月後・6ヶ月後の判断に役立つ。

「AIで工数が30%減りました」より、「AIで問い合わせの一次対応の工数は30%減った。ただし複雑ケースの二次対応時間は20%増えた。理由は、一次対応で解決できないケースが二次に流れる比率が上がったため。これは想定外だった」のほうが、次の一手を決めやすい。

もっとも、すべてが数字で測れるわけではない

ただし、AI導入の効果には、短期の数字に現れないものもある。組織の学習曲線、担当者のスキル獲得、新しい業務の可能性の発見。これらを無視して直接ROIだけを追うと、「効率化された既存業務」しか残らない組織になる。

編集部が観測してきた運用チームの多くは、四半期に一度、定量ROIとは別に「AI導入から得られた新しい可能性」を書き出す時間を取っていた。次の一手を考える材料として、ここが最も効くとされていた。

参考にした一次資料

• McKinsey Global Institute. “The state of AI in 2023: Generative AI’s breakout year.” McKinsey Report, 2023.
• Brynjolfsson, E., Li, D., Raymond, L. “Generative AI at Work.” NBER Working Paper 31161, 2023.

関連する話題として、導入プレイブックと変更管理もあわせてお読みください。