LLMO レポートで、社内に何を出すか

この記事の要点

LLMO レポートとは、何を報告するものですか？

目的は、どこで負けているのか、次に何を確かめ、何をするのかを社内で決めることにあります。当方のレポートは、次の順で組み立てています。

同じデータでも、数え方しだいで数字が変わるからです。当方の計測で確かめました。

数字だけを並べると、どれが正しいのか誰にも判断できません。そこで、数字には必ず次の 6 つを添えます。

1 つのレポートの中で母数が混ざると、読む人は気づかないまま違うものを比べます。混ぜてはいけない組み合わせは次のとおりです。

レポート全体で母数を 1 つに決め、すべての指標をそれで出すのが原則です。社名を含まない質問を主な母数にしたなら、競合比較もエンジン別も、同じ母数で出します。

引用元の分析は、根拠の URL が十分に取れたときだけ行います。当方は、URL が取れた回が全体の 2 割に満たない場合、引用元の章は作らず、作れないことを明記しています。上の計測では 270 回中 3 回しか URL が取れなかったため、引用元の分析は行っていません。

注記は、読む人が数字を過大に受け取らないための安全装置です。当方のレポートでは、次の注記を入れています。

注記	入れるとき
本レポートは記載の計測条件（反復回数・エンジン・実施日時）下での観測結果です。生成 AI の回答は継続的に変動するため、将来の結果を保証するものではありません	常に
施策の前後の変化は事実として記載しており、施策が原因であることを示すものではありません	前回との比較を載せるとき
引用元の分析は、根拠の URL が十分に取れなかったため行っていません	検索をしない AI が中心のとき
回答の判定に使った AI が、計測対象の AI にも含まれています	判定用の AI と計測する AI が重なるとき
本レポートの数値を広告に転記しないでください	常に（「AI 検索で 1 位」などの表示を防ぐ）

主張	根拠の強さ	根拠
「出現」の定義を変えると、同じデータでも出現率が変わる	◎ 実証	当方の実測（65.6% と 64.1%）
質問の型を混ぜると、値が実態と関係なく動く	◎ 実証	当方の実測（5.6% と 100%）
施策の前後で動いた数字は、施策の効果を示す	✕ 否定されつつある	揺らぎやモデル交代と区別できない（LLMO の効果検証：モデル交代と施策の効果を分ける）

根拠の強さは、◎ 実証（当方の実測、または複数の独立した調査が同じ結論）／○ 有力／△ 仮説／✕ 否定されつつある、の 4 段階で示しています。