LLMO のプロンプト設計：計測する質問の作り方

この記事の要点

• 同じ分野の質問 25 問で測ると、対象サービスの出現率は質問によって 0% から 100% まで開きました
• 質問は「非指名・自社指名・比較指名・競合指名」の 4 つの型に分け、主指標は非指名だけで出します
• 見込み客が実際に打ち込む言葉で書き、一度決めたら文面を変えません

LLMO の計測で使う「質問」とは何ですか？

計測の結果は、どんな質問を投げたかで大きく変わります。プロンプトは「自分が聞きたいこと」ではなく「顧客が実際に AI に打ち込む言葉」で書くのが原則です。

質問には、どんな型がありますか？

社名を含むかどうかで 4 つに分かれます。当方の計測で、型ごとに対象サービスの出現率（SOV）を出すと次のとおりでした。

型	例	本数	対象サービスの出現率（SOV）	使いみち
非指名	「おすすめの◯◯は？」	25	64.4%	主指標。本来の見え方
自社指名	「（自社）の評判は？」	1	100%	誤情報・否定的な記述の確認
比較指名	「（自社）と（競合）はどちらがいい？」	2	100%	比べられたときの書かれ方の確認
競合指名	「（競合）の評判は？」	2	5.6%	競合の評価の確認

自社名を含む質問で自社が挙がるのは当然で、競合名を含む質問で挙がらないのも当然です。出現率の主指標は、非指名質問だけで出します。指名質問は別の目的（情報の正確さ・評判の確認）のために、別に集計します。

非指名質問は、さらに聞き方で分けておくと設計しやすくなります。

非指名の型	聞き方の例	何が分かるか
カテゴリ推奨	「◯◯でおすすめは？」「◯◯を比較して教えて」	最も基本の見え方
条件つき推奨	「中小企業向けの◯◯は？」「サポートが手厚い◯◯は？」	特定の条件で残れるか。勝てる領域の発見
課題起点	「毎月の◯◯に時間がかかって困っている。どうすれば？」	商品名を知らない人の聞き方で出るか

質問の書き方で、結果はどれくらい変わりますか？

非指名の 25 問それぞれで、対象サービスが 9 回（3 エンジン × 3 回）のうち何回挙がったかを見ると、大きく開きました。

9 回中の出現回数	質問の数
9 回（100%）	2 問
7〜8 回	10 問
4〜6 回	7 問
1〜3 回	4 問
0 回（0%）	2 問

当方の分類で、質問を内容ごとにまとめると次のようになりました。

質問の内容（当方の分類）	質問数	対象サービスの出現率（SOV）
総合的な推薦（「おすすめは？」など）	2	88.9%
条件つき（料金・時間帯・講師・法人向けなど）	10	74.4%
目的別（試験対策・面接・留学準備など）	4	61.1%
対象者別（初心者・社会人・シニア・子どもなど）	6	53.7%
比較・注意点（他の学習方法との比較など）	3	40.7%

「おすすめは？」だけで測れば 9 割近く出ている対象サービスが、対象者や目的を絞った聞き方では半分前後まで下がります。どの質問を選んだかで、「強い」とも「弱い」とも言えてしまうということです。

もう 1 つ、見落としやすい点がありました。出現率 0% だった質問の 1 つには、登録していない他社のアプリ名が 2 つ含まれていました。社名を含まない質問のつもりでも、他社の名前が入っていれば事実上の指名質問になります。

どうやって質問を作ればいいですか？

次の順で作ります。

1. 営業担当に「お客様はどう聞いてきますか」と聞き、話し言葉のまま書き出す
2. 非指名 8 本（カテゴリ推奨・条件つき・課題起点を混ぜる）＋指名 2 本（自社の説明・評判）にそろえる
3. 各質問に「指名／非指名」の印を付けて記録する。あとから分けて集計するため
4. 一度決めたら、翌月以降も文面を変えない

避けたい作り方は次のとおりです。

避けたいこと	理由
自社が有利になる条件を詰め込む	良い数字が出ても意味がない。現在地を知るための計測である
全部を指名質問にする	指名で聞けば、どの会社も出てくる。差が出ない
専門用語・社内用語を使う	見込み客はその言葉で聞かない
1 つの質問に条件を詰め込みすぎる	AI が条件に引きずられ、素の推薦の傾向が見えなくなる
他社の名前を例として書き込む	事実上の指名質問になり、非指名の集計がゆがむ

主張	根拠の強さ	根拠
質問の選び方で、出現率は大きく変わる	◎ 実証	当方の実測（質問ごとに 0%〜100%）
指名質問を混ぜると、出現率の集計がゆがむ	◎ 実証	当方の実測（型ごとに 5.6%〜100%）

根拠の強さは、◎ 実証（当方の実測、または複数の独立した調査が同じ結論）／○ 有力／△ 仮説／✕ 否定されつつある、の 4 段階で示しています。