Answerこの記事の要点
- 同じ質問を 3 回投げると、対象社のサイトが引用された 2 回だけ 1 位で挙がり、引用がなかった 1 回は圏外でした
- この 3 回の観測では、引用が推薦の原因だとまでは言えません（逆の因果や共通の原因も否定できません）
- それでも、引用されなかった回に挙がった例が 1 つもなかったことは、何から確かめるかを決める手がかりになります
AI の回答の「引用元」とは何ですか？
引用元は、その回に AI が読んだ材料の一覧です。一方で、回答本文の中で「おすすめは◯◯です」と挙げられることを、ここでは登場（推薦）と呼びます。
| 引用 | 登場（推薦） | |
|---|---|---|
| どこに現れるか | 回答の根拠として示されるリンク | 回答本文の中の、勧められる候補 |
| 何を意味するか | AI がその回に読んだ材料 | AI がその回に勧めた相手 |
| 自社について分かること | 自社の情報が材料に入ったか | 自社が候補として選ばれたか |
名前が挙がった回と、挙がらなかった回で何が違いましたか？
士業（相続分野）の事務所を探す、社名を含まない質問を 1 問用意し、同じ文面のまま 3 回投げました。回答に登場したかどうかと、引用元の中身を 1 回ずつ突き合わせています。
| 回 | 対象社サイトの引用 | 対象社の扱い | 引用元の様子 |
|---|---|---|---|
| 1 回目 | 0 件 | 圏外 | 10 件。第三者の比較記事 8 件、競合の自社サイト 2 件 |
| 2 回目 | あり | 1 位 | 事務所の選び方（申告の実績を確かめる、専門性の度合いを見る）を説明する根拠として、対象社のサイトが使われた |
| 3 回目 | あり（複数か所） | 1 位 | 年間の申告件数・在籍人数・拠点数といった具体的な数字を添えて、対象社が紹介された |
対象社のサイトが引用された 2 回は 1 位で登場し、引用がなかった 1 回は圏外でした。
違ったのは対象社の扱いだけではありません。1 回目に推薦された 4 事務所には、それぞれ比較記事が根拠として添えられていました。2 回目・3 回目では、1 回目には見られなかったドメインが引用元に加わり、推薦される顔ぶれも入れ替わっています。推薦のリストと引用元の顔ぶれは、3 回とも一緒に動いていました。
3 回目の回答で使われた数字は、対象社のサイトに載っているものでした。ページに書かれた具体的な数字が、そのまま紹介文の材料になった形です。
引用されたから、名前が挙がったのですか？
そう読みたくなりますが、この 3 回だけでは断定できません。同じ観測は、少なくとも 3 通りに説明できます。
| 解釈 | 中身 | この観測で否定できるか |
|---|---|---|
| A. 引用が推薦を生んだ | 対象社のページを読んだから、対象社を挙げた | 否定できない |
| B. 推薦が引用を呼んだ | 先に対象社を挙げると決め、その裏づけとして対象社のページを示した | 否定できない |
| C. 共通の原因があった | その回の検索結果の違いが、引用と推薦の両方を動かした | 否定できない |
A なら「参照される場所に載ること」が直接効き、B や C なら話はもう少し複雑です。どれが実態に近いかを区別するには、同じ質問を多数回投げ、引用された回とされなかった回の出現率を比べる必要があります。当方はまだ、その規模の計測を行っていません。
それでも、この観測には意味があります。「自社サイトが引用されなかった回に、自社が挙がった例は 1 つもなかった」からです。参照される材料に入ることが、挙がるための前提になっている可能性がある——少なくとも、そこから確かめる理由にはなります。
| 主張 | 根拠の強さ | 根拠 |
|---|---|---|
| 引用元に対象社が載っていた回だけ、対象社が回答に挙がった | ◎ 実証 | 本記事の実測（3 回） |
| 引用されたことが、推薦の原因になった | △ 仮説 | 上の A〜C を区別できていない |
| ページに載った具体的な数字は、回答の紹介文にそのまま使われうる | △ 仮説 | 3 回目の観測 1 件のみ |
| 引用されさえすれば、推薦される | ✕ 否定されつつある | 引用されても推薦されない状態を、別の質問で観測（AI に引用はされるのに、推薦されない） |
根拠の強さは、◎ 実証（当方の実測、または複数の独立した調査が同じ結論）／○ 有力／△ 仮説／✕ 否定されつつある、の 4 段階で示しています。
この連動を、自社で確かめるにはどう測ればいいですか？
回答に自社が挙がったかどうかだけでなく、その回の引用元をすべて書き出して、自社の情報が入っていたかを 1 回ずつ記録します。
| 回ごとに記録すること | 理由 |
|---|---|
| 自社の名前が挙がったか・何番目か | 登場の記録 |
| 引用元のドメインすべて | 材料の記録。回ごとの入れ替わりが見える |
| 自社サイトが引用元に入っているか | 自社の情報が材料に入ったか |
| 自社が紹介されている第三者のページが入っているか | 自社サイト以外から材料に入る経路もある |
記録がたまったら、引用の有無で分けて出現率（SOV）を出します。今回の 3 回を当てはめると次のとおりです。
| 回数 | 自社が挙がった回 | 出現率（SOV） | |
|---|---|---|---|
| 自社サイトが引用された回 | 2 | 2 | 100% |
| 引用されなかった回 | 1 | 0 | 0% |
回数が少ないうちは、この差は偶然でも起こりえます。質問の本数と回数を増やしても同じ差が続くかどうかが、確かめるべき点です。
なお、引用元を示すのは Web 検索をしてから答える AI だけです。検索をしない AI では、この突き合わせ自体ができません（検索しない AI からは、引用元を取得できない）。