この記事の要点
- 競合 3 つを登録して測ると、回答の 94% に登録外のサービスが挙がっていました
- 登録していなかったサービスの 1 つは、1 位率で対象サービスを上回っていました
- 競合リストは最初に決めるものではなく、回答から毎回つくり直すものです
LLMO の競合分析とは、何を比べることですか?
いちばんの違いは、誰が競合を決めるかです。
| 従来の競合分析 | LLMO の競合分析 | |
|---|---|---|
| 競合を決めるのは | 自社(商談や売上で当たる相手) | AI(回答の中で並べて挙げる相手) |
| 見る場所 | 市場シェア・検索順位・広告 | AI の回答本文 |
| 見落としやすいもの | — | 自社が競合だと思っていない相手 |
自社が競合だと思っている相手と、AI が並べて挙げる相手は、一致するとは限りません。見込み客が AI に「おすすめは?」と聞いたとき、比べられているのは後者です。
登録した競合だけを見ていたら、何を見落としていましたか?
オンライン英会話の分野で、競合を 3 つ登録したうえで、社名を含まない質問 25 問を 3 つの AI に 3 回ずつ投げました。
回答に挙がった名前を登録の有無にかかわらず全部拾い、出現率(SOV)の高い順に並べると、次のようになりました。1 位率は、回答のうち最も優先して推薦された回の割合です。
| 登録 | 出現率(SOV) | 1 位率 | |
|---|---|---|---|
| 競合 1 | 登録あり | 88.4% | 41.8% |
| 対象サービス | 自社 | 64.4% | 11.6% |
| 競合 2 | 登録あり | 63.6% | 24.4% |
| 未登録 X | 登録なし | 55.1% | 14.2% |
| 競合 3 | 登録あり | 29.8% | 11.6% |
登録していなかった未登録 X は、出現率で登録済みの競合 3 を大きく上回り、1 位率では対象サービスをも上回っていました。登録した 3 つだけを見ていれば、自社が 1 位率で何番目にいるのかを取り違えていたことになります。
範囲を広げると、見落としの大きさが分かります。
| 見たもの | 結果 |
|---|---|
| 登録外のサービスが 1 つ以上挙がった回 | 225 回中 212 回(94%) |
| 最も優先して推薦されたのが登録外のサービスだった回(同点を含む) | 225 回中 79 回(35%) |
回答の 3 回に 1 回以上は、登録リストの外にいる相手がトップに立っていました。
名前が挙がったかどうか、どれが最も優先されたかは、回答本文を採点用の AI(Gemini 2.5 Flash)が読んで判定しています。
回答に出てきた名前は、そのまま競合リストに使えますか?
そのままでは使えません。名寄せが要ります。30 問・270 回の回答全体から、計測ツールが自動で抜き出した名前は 138 ありました。中身を 1 つずつ確認すると、次のことが起きていました。
| 起きていたこと | 例(一般化したもの) | 影響 |
|---|---|---|
| 同じサービスが、英字とカタカナで別々に数えられる | 「ABC English」と「エービーシーイングリッシュ」 | 出現回数が割れて、実際より弱く見える |
| 自社名が英字表記で書かれ、別のサービスとして数えられる | — | 自社の出現率が低く出る |
| サービスではない名前が混ざる | 書籍、辞書、放送番組、「オンライン英会話」のような一般名詞 | 競合が実際より多く見える |
同じサービスの表記ゆれをまとめると、138 の名前は約 120 に減りました(当方の目視による名寄せ)。さらに、書籍・辞書・放送番組・一般名詞が少なくとも 13 含まれていました。それらを除いても、100 を超える名前が残りました。登録した 3 つは、そのうちのごく一部です。
自社名の分裂も起きていました。非指名質問の 225 回のうち 2 回、AI は対象サービスを英字表記で書いており、自動集計では別のサービスとして数えられていました。まとめ直すと、対象サービスの出現率は 64.4% から 65.3% になります。
AI の回答に出てくる名前は、表記がそろっていません。自動で抜き出した一覧をそのまま競合リストにすると、数も強さも取り違えます。
| 主張 | 根拠の強さ | 根拠 |
|---|---|---|
| 登録していない競合が、1 位率で自社を上回ることがある | ◎ 実証 | 本記事の実測(1 分野・1 日) |
| AI が並べて挙げる相手は、登録した競合リストと一致しない | ◎ 実証 | 回答の 94% に登録外のサービスが挙がった |
| 回答から自動で抜き出した名前は、名寄せしないと集計が割れる | ◎ 実証 | 本記事の実測(自社名を含む表記ゆれを確認) |
根拠の強さは、◎ 実証(当方の実測、または複数の独立した調査が同じ結論)/○ 有力/△ 仮説/✕ 否定されつつある、の 4 段階で示しています。
見落とさないためには、どう測ればいいですか?
競合リストを「最初に決めるもの」から「回答から毎回つくり直すもの」に変えます。
| 手順 | やること |
|---|---|
| 1 | 非指名質問で広く測る。社名を入れると、挙がる相手が質問に引っぱられる |
| 2 | 回答本文から、挙がった名前をすべて拾う |
| 3 | 表記ゆれをまとめ、サービスではないものを除く。自社名の表記ゆれも忘れずにまとめる |
| 4 | 出現率(SOV)と 1 位率で並べ直す |
| 5 | 上位に入った登録外のサービスを、次回から比較対象に加える |
| 6 | 毎月、同じ手順で新しく現れた名前を確認する |
手順 6 が要るのは、AI の回答が毎回変わるからです。同じ質問でも、挙がる顔ぶれは回ごとに入れ替わります(AI の回答は毎回違う?同じ質問を 3 回投げた実測)。一度つくった競合リストは、翌月にはずれている可能性があります。
競合をどう並べて比べるかは、集計の仕方でも結論が変わります。出現率だけで比べる、エンジンをまたいで平均する、といった落とし穴は LLMO 効果測定の 5 つの落とし穴:出現率だけでは失敗する にまとめました。BtoB の購買担当者が AI で候補を絞っているという調査は BtoB の購買担当者は AI で比べている で紹介しています。