「偽データを公開するとAIに引用される」海外で指摘
姉妹サイトの新着
あるマーケティング系ブログが、架空の統計データをサイトに載せただけでChatGPTなど複数のLLMに引用されるようになった、という実験結果を公開した。これがHacker Newsで取り上げられ、エンジニアたちの間で議論に火がついた。論点になったのは、LLMが検索結果の信頼性をどう判断しているかという一点。Wikipediaにも「citogenesis」と呼ばれる似た現象が昔からあったという指摘も出て、AI特有の新しい問題なのか、昔からある問題がコストゼロで加速しただけなのか、という見方が分かれた。
偽の統計データを公開すれば、LLMに引用される
出典: peec.ai / 元記事はこちら
これは前から知られてる問題。ChatGPTがウェブ検索を使うと、上位10件の結果自体がAI生成の記事だったりする。つまり自分の生成物を学習データにしてる状態。ドッグフーディングどころか自分のクソを食ってるようなもん。
>>2
2つ言いたい。1つ目、「LLMはネットの情報をそのまま吸い上げて吐き出すだけ」というのは2022年頃のイメージで、もう何年も前の話。2つ目、AI生成テキストを判別することに一番強いインセンティブを持ってるのは他でもない生成AI企業自身。分類器の学習くらい余裕でできる。
2つ言いたい。1つ目、「LLMはネットの情報をそのまま吸い上げて吐き出すだけ」というのは2022年頃のイメージで、もう何年も前の話。2つ目、AI生成テキストを判別することに一番強いインセンティブを持ってるのは他でもない生成AI企業自身。分類器の学習くらい余裕でできる。
この問題、もう末期的で、自分のサイトを自分でレビューするためだけのサイトを作ることもできる。LLMがそのサイトのレビューを引っ張ってくるとき、その自作の偽レビューがそのままカウントされる。
これはヤバい。どうやって直せばいいんだ?完全なデタラメを公開するのを止める仕組みが何もないし、LLMは「評判が最悪」ってレベルでなければどんなサイトでも正当な第三者ソースとして使ってしまう。まあそもそもLLMはすでにRedditやFacebookをソースにしてるから、今さらどうでもいいのかもしれないけど…
>>5
ずっと気になってたんだけど、ClaudeやOpenAIが「先四半期のインフレ率は?」みたいな質問にいちいちGoogle検索をかけるのって変じゃない?BLS(米労働統計局)のデータセットを直接叩くツールを持たせればいいのに。統計の類は一次ソースに問い合わせる方向に進んでほしい。
ずっと気になってたんだけど、ClaudeやOpenAIが「先四半期のインフレ率は?」みたいな質問にいちいちGoogle検索をかけるのって変じゃない?BLS(米労働統計局)のデータセットを直接叩くツールを持たせればいいのに。統計の類は一次ソースに問い合わせる方向に進んでほしい。
これはLLM以前から、もっとゆっくりしたペースで存在していた現象。Wikipediaではそれを「citogenesis(引用による発生)」と呼ぶ。
良い仕事だと思う。こういうことは一般の人にもっと伝わるべき。
LLMは、Google以前の人間が直面していたのと同じ問題にぶつかってる。「このサイトの情報は本当に質が高いのか?」ってやつ。じゃあLLM用のGoogleが必要だ!でもLLMは広告を見ない。じゃあLLM向けの広告が必要だ!もう助けてくれ。
勘違いでなければChatGPTはBingの検索結果を使ってるはず。あのサイトと統計データがBingでどれくらい上位に出るのか気になる。
これ本当にヤバい。それでもみんな上司向けのレポートをChatGPTに作らせ続けてる。偽データが雪だるま式に増えていく。
AIはそのデータが偽物かどうかを知らないし、気にもしない。
>>11
Googleは長年「質の良いコンテンツと悪いコンテンツを見分ける」ことに最適化してきたから、結局いちばんこの手口に強いプロダクトになるのかもと思う。
Googleは長年「質の良いコンテンツと悪いコンテンツを見分ける」ことに最適化してきたから、結局いちばんこの手口に強いプロダクトになるのかもと思う。
>>11
その通り。しかも結果は自信満々な専門家口調で出てくるくせに、実際には認識論的な裏付けの層がすっぽり抜けてる。
その通り。しかも結果は自信満々な専門家口調で出てくるくせに、実際には認識論的な裏付けの層がすっぽり抜けてる。
>>11
Wikipediaに文句言ってた人たちを思い出す。AIだってデータが偽物かどうか判断できるようになれる。ソースを相互チェックしたり評価したりするよう組み込めばいいだけ。データを受け入れる前にそれをやらせることもできる。
Wikipediaに文句言ってた人たちを思い出す。AIだってデータが偽物かどうか判断できるようになれる。ソースを相互チェックしたり評価したりするよう組み込めばいいだけ。データを受け入れる前にそれをやらせることもできる。
「本当にそんなことする人がいると思う?ネットに出て嘘をつくなんて?」
>>4
人間が使うインターネットでも、これって全部当てはまる話じゃない?
人間が使うインターネットでも、これって全部当てはまる話じゃない?
>>15
個人的には、コードで起きてることと似てると思う。雑なコードや偽ニュースを流す人は昔からいた。ただ、それをやるコストが一気に崖から落ちるように下がっただけ。
個人的には、コードで起きてることと似てると思う。雑なコードや偽ニュースを流す人は昔からいた。ただ、それをやるコストが一気に崖から落ちるように下がっただけ。
>>15
そうだとしても、AIエージェントは検索結果の信頼性を判断するための手がかりを見えなくしてしまう。偽情報を拾ってきて、それをもっともらしい報告書に包んで、信頼できるものとして提示してくる。悪意ある側がこの仕組みを悪用する手段はいくらでもある。
そうだとしても、AIエージェントは検索結果の信頼性を判断するための手がかりを見えなくしてしまう。偽情報を拾ってきて、それをもっともらしい報告書に包んで、信頼できるものとして提示してくる。悪意ある側がこの仕組みを悪用する手段はいくらでもある。
>>11
実際、人間だって大して気にしてないことが多い。詐欺や恣意的な報道はいくらでもある…ただAIを使うと、偽データを気にする人たちにさえそれを「洗浄」して分からなくさせてしまえる。
実際、人間だって大して気にしてないことが多い。詐欺や恣意的な報道はいくらでもある…ただAIを使うと、偽データを気にする人たちにさえそれを「洗浄」して分からなくさせてしまえる。
>>13
とはいえ、これが可能だと証明し記録するために一度公にやってみる必要はあった。この実験がここまで広まるとは想定してなかったけど。
とはいえ、これが可能だと証明し記録するために一度公にやってみる必要はあった。この実験がここまで広まるとは想定してなかったけど。
>>13
ネットに書き込むのは誠実な人だけでよかったよ、じゃなきゃ大問題になってたところだ(皮肉)
ネットに書き込むのは誠実な人だけでよかったよ、じゃなきゃ大問題になってたところだ(皮肉)
>>14
言いたいことが伝わってないかも。実際にChatGPTに「○○のトップ10は?」と聞いて、どんなソースを引用してくるか見てみて。しばしば、いかにもAIが書いたとわかるようなゴミみたいな内容だから。
言いたいことが伝わってないかも。実際にChatGPTに「○○のトップ10は?」と聞いて、どんなソースを引用してくるか見てみて。しばしば、いかにもAIが書いたとわかるようなゴミみたいな内容だから。
>>16
「人間として、これは最高だ」→ s/人間/悪徳マーケター/ 人間全体にとっては悪いこと、インチキ業者や詐欺師にとっては良いこと。人類全体で見ればマイナス。
「人間として、これは最高だ」→ s/人間/悪徳マーケター/ 人間全体にとっては悪いこと、インチキ業者や詐欺師にとっては良いこと。人類全体で見ればマイナス。
>>30
「人間として、これは最高だ」「→人間/マーケター/」どこから来た悪いデータだろうと別に気にしない。悲しい話だけど、必要ならやるしかない。人類が時代遅れになるのを防ぐためにウェブを焼き尽くす必要があるなら、俺はそれに賛成する。
「人間として、これは最高だ」「→人間/マーケター/」どこから来た悪いデータだろうと別に気にしない。悲しい話だけど、必要ならやるしかない。人類が時代遅れになるのを防ぐためにウェブを焼き尽くす必要があるなら、俺はそれに賛成する。
>>18
広告とSEOにたっぷりお金をかけていれば、Googleでも普通に上位表示されていたかもしれないけどね…
広告とSEOにたっぷりお金をかけていれば、Googleでも普通に上位表示されていたかもしれないけどね…
>>31
あの記事では、Googleが明確にこのサイトをリストから外したことが示されてる。とはいえ、OpenAIもいずれGoogleに匹敵する独自の検索基盤を持つようになって、全体として賢くなっていくはず。Googleがこのサイトをゴミと認識した仕組みは、OpenAIも同じように実装するだろう。
あの記事では、Googleが明確にこのサイトをリストから外したことが示されてる。とはいえ、OpenAIもいずれGoogleに匹敵する独自の検索基盤を持つようになって、全体として賢くなっていくはず。Googleがこのサイトをゴミと認識した仕組みは、OpenAIも同じように実装するだろう。
他サイトの新着
>>20
これは同じ話じゃない。Wikipediaの方がはるかに正確で一貫性がある。文句を言ってる人の多くは、自分の政治的立場とページの内容が噛み合わないから騒いでるだけ。
これは同じ話じゃない。Wikipediaの方がはるかに正確で一貫性がある。文句を言ってる人の多くは、自分の政治的立場とページの内容が噛み合わないから騒いでるだけ。
>>22
何を基準にファクトチェックするの?それもまた、AIの挙動を操って引用させようとする、ネット上の別の『事実』じゃないの?
何を基準にファクトチェックするの?それもまた、AIの挙動を操って引用させようとする、ネット上の別の『事実』じゃないの?
>>33
人間はどうやってファクトチェックしてるんだ?
人間はどうやってファクトチェックしてるんだ?
>>22
その場合、AIは「これは引用されている=真実のソースだ」と見なして、その偽データをそのまま承認してしまう。
その場合、AIは「これは引用されている=真実のソースだ」と見なして、その偽データをそのまま承認してしまう。
>>34
データそのものや、それがどう得られたかについて、AIに判断させることは十分できる。どんな種類のデータを受け入れるかを指定すればいいだけ(あるいはハードコードしてしまえばいい)。
データそのものや、それがどう得られたかについて、AIに判断させることは十分できる。どんな種類のデータを受け入れるかを指定すればいいだけ(あるいはハードコードしてしまえばいい)。
>>22
信頼できる形でそれをやるのは、無理だね。
信頼できる形でそれをやるのは、無理だね。
この話題の背景と論点
この話の発端は、AI時代のSEO対策を扱うブログが「でたらめな統計を公開するとLLMに引用されるかを試した」という実例報告で、マーケティング業界では一種の手口として知られつつある。スレで割れたのは、これを「AI特有の新しい脆弱性」と見るか、「Wikipediaのcitogenesisのように昔からある現象がコストの低下で加速しただけ」と見るかという点。ChatGPTが検索にBingを使っている点や、Googleが長年の検索品質フィルタで多少の耐性を持つ可能性がある点も指摘された一方、「AIにファクトチェックをさせればいい」という楽観論には、何を基準に事実と判定するのかという反論も出ており、決定的な解決策は示されていない。
※本記事は海外掲示板 Hacker News のスレッド「Publish fake stats, get cited in LLMs」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。