LLMO の効果検証：モデル交代と施策の効果を分ける

この記事の要点

LLMO の効果検証では、何を切り分けるのですか？

施策の前と後で出現率を比べたとき、数字を動かしうる要因は施策だけではありません。

当方の計測で、同じ日の同じ質問群を 3 回に分けて集計しました。

施策も、モデルも、質問も変えていない 27 分の間に、全体で 9 ポイント、エンジンによっては 24 ポイントの幅で動きました。この幅に収まる変化は、施策の効果とは言えません。しかも揺らぎ方はエンジンごとに違い、ほとんど動かないエンジンもあれば、大きく動くエンジンもありました。

モデル交代は、利用者の側からは気づきにくい変化です。見分けるには、計測のたびに次を記録しておく必要があります。

比べる 2 つの計測でモデル名が違う場合は、その差を施策の効果として報告しないのが原則です。同じモデル同士の期間で比べ直すか、モデルが変わったことを注記して「比較の参考」にとどめます。

当方はまだ、モデル交代をまたいだ前後比較を、公開できる形では持っていません。上の手順は、実測ではなく計測設計上の注意として書いています。

因果を断定できない前提で、判断の材料を残すことに徹します。

やること	内容
施策の前に、同じ条件で 1 回測っておく	前の数字がないと、変化があったかどうか自体が分からない
揺らぎの幅を知っておく	同じ条件で複数回測り、どこまでが自然な変動かを掴む
施策と数字を時系列で並べて残す	何をいつ行い、数字がいつどう動いたかを並べるだけにする
施策の対象外の質問も一緒に測る	施策と関係のない質問も同じように動いていれば、AI 側の変化を疑える
変化は事実として書く	「施策後の計測で、出現率は X% から Y% に変化した」

主張	根拠の強さ	根拠
何も変えなくても、出現率は同じ日のうちに数ポイント以上動く	◎ 実証	当方の実測（9.3 ポイント、エンジン別では最大 24.0 ポイント）
施策の前後で数字が動けば、施策が効いたと言える	✕ 否定されつつある	揺らぎ・モデル交代・情報源の変化と区別できない
施策の対象外の質問を比較に使うと、AI 側の変化を切り分けやすい	△ 仮説	考え方としては有効だが、当方はまだ検証していない
施策の効果が表れるまでは 1〜3 か月	△ 仮説	よく言われる目安だが、根拠は経験則

根拠の強さは、◎ 実証（当方の実測、または複数の独立した調査が同じ結論）／○ 有力／△ 仮説／✕ 否定されつつある、の 4 段階で示しています。