検索しない AI からは、引用元を取得できない

この記事の要点

AI の「根拠 URL」とは何ですか？

「使われ方」と書いたのは、同じ名前の AI サービスでも、Web 検索を使う画面・設定かどうかで型が変わるからです。AI には大きく 2 つの型があります。

	学習知識型	検索連動型
答えの作り方	学習済みの知識から	質問を受けてから検索し、その結果から
根拠 URL	返さない	返す
引用元の分析	できない	できる
例	Web 検索を使わない設定で呼び出した AI など	Perplexity、Google の AI 概要・AI モードなど

オンライン英会話の分野で、30 問を 3 つの AI に 3 回ずつ投げました。3 つとも、Web 検索を伴わない設定で呼び出しています。

AI	回答数	URL が返った回	返った URL の数
Gemini 2.5 Flash	90	3	13
Claude Sonnet 4.6	90	0	0
GPT-4o mini	90	0	0
合計	270	3（1.1%）	13

返ってきた 13 件の中身を 1 件ずつ確認すると、すべて回答本文の中に「公式サイト」として書き込まれたリンクでした。推薦したサービスのトップページや法人向けページへのリンクで、回答を作るために参照したページを示したものではありません。

270 回の回答のうち、根拠として参照したページを示したものは 0 件でした。

比較のために書くと、同じ時期に Web 検索をしてから答える AI で行った計測では、1 回の回答ごとに複数の引用元が示されていました（AI の引用元、10 件中 8 件は第三者の比較記事だった）。

回答を作るときに、参照したページが存在しないからです。学習知識型の AI は、学習済みの知識から文章を組み立てます。その場でどこかのページを読んでいないので、「ここを読みました」と示すものがありません。

回答の中に URL が書かれることはあります。ただしそれは、文章の一部として AI が書いたものです。

という 2 点に注意が必要です。今回の 13 件はいずれも実在しそうな公式サイトの形をしていましたが、それでも「根拠」ではありません。

主張	根拠の強さ	根拠
Web 検索を伴わない AI は、根拠 URL をほぼ返さない	◎ 実証	本記事の実測（270 回中、根拠としての URL は 0 件）
回答文中に書かれた URL は、参照の証拠にならない	◎ 実証	返った 13 件は、すべて本文中の公式サイトへのリンク
個社が学習データを操作して、学習知識型の回答を変えられる	✕ 否定されつつある	個社が学習データを操作する手段はない
学習知識型の回答は、公開されている情報全体での書かれ方の影響を受ける	△ 仮説	どの情報がどれだけ効くかは確認されていない

根拠の強さは、◎ 実証（当方の実測、または複数の独立した調査が同じ結論）／○ 有力／△ 仮説／✕ 否定されつつある、の 4 段階で示しています。

Web 検索をしてから答える AI を、必ず計測に入れます。学習知識型だけを測ると、「どのサイトに載れば回答が変わりうるか」を知る手がかりが永久に得られません。

学習知識型の計測に意味がないわけではありません。出現率や、どんな言葉で紹介されているかは十分に分かります。足りないのは「なぜそうなっているか」を外部の情報源までたどる部分だけです。

計測の設計で押さえることは 3 つです。

エンジン名とモデル名に加えて、Web 検索の有無を記録する。同じサービスでも設定で型が変わる
引用元を分析するなら、URL が取れた回の割合を先に確認する。当方は、URL が取れた回が全体の 2 割に満たない場合、引用元の分析はせず、できないことを報告書に明記しています。今回の 270 回の計測でも、引用元の分析は行っていません
2 つの型の結果を平均しない。仕組みが違うものを混ぜると、どちらの実態も読めなくなる