AIに「自転車に乗るペリカン」を描かせると全部同じ構図になる謎
姉妹サイトの新着
「SVGで自転車に乗ったペリカンを描かせる」は、新しいAIモデルが発表されるたびに有志が試す、ちょっとした定番テストになっている。海外掲示板Hacker Newsのスレッドでは、様々なAIモデルに同じ指示を出すと、太陽と緑の背景、マフラーを巻いたペリカンが左から右へ進む構図まで、驚くほど似通った絵になるという指摘が話題になった。これが単なる写真データの偏りなのか、ベンチマーク向けに特化調整(いわゆるベンチマックス)された結果なのか、それとも実用上はむしろ望ましい挙動なのかで、スレの意見は分かれている。
裸の皇帝ペリカン
出典: arcfu.com / 元記事はこちら
面白いのは、意図的に多様性を出させたセットでも、大半のペリカンは左から右に自転車を漕いでる構図になること。データにも、そして我々の脳にも、本当の多様性を得るには消し去らないといけない偏りがどっさりあるってことだよ。
>>5
そもそも毎回完全にランダムなペリカンの絵になってほしい人なんている?頼んだ通りのものが出てこなかったら、みんなの期待を裏切ることになるだろ。
そもそも毎回完全にランダムなペリカンの絵になってほしい人なんている?頼んだ通りのものが出てこなかったら、みんなの期待を裏切ることになるだろ。
>>5
その偏りの大半はAI以前からあるものだよ。自転車の写真の多くは、ギアが見える角度——つまり乗り手の右側——から撮られている。
その偏りの大半はAI以前からあるものだよ。自転車の写真の多くは、ギアが見える角度——つまり乗り手の右側——から撮られている。
>>5
LLM版の幻覚剤みたいなものを誰か作ればいいんじゃないか?たぶんそれってサンプリングアルゴリズムのtemperatureを上げることに相当するんだろうけど。
LLM版の幻覚剤みたいなものを誰か作ればいいんじゃないか?たぶんそれってサンプリングアルゴリズムのtemperatureを上げることに相当するんだろうけど。
「これはLLMの多様性崩壊問題で、誰も話題にしていない」——ペリカンスレが立つたびにずっと言ってきたことだよ。どのモデルも同じ構図を再現する。太陽、道路、緑、マフラー、右へ進む向き。スタイルまで同じ。あのプロンプトから自然に連想されるものじゃないのに。
良いプロンプトなら、平均的な結果から分布をずらせる。例えばこれ:[リンク]。これは欠陥じゃなく仕様だよ。
もっと重要なのは、なぜフォトリアルさが前提にならないのかってこと:[リンク]。SVGのペリカンがポリゴン風になるべきだと、なぜ暗黙的に決まるんだ?最近Claudeに自分の車(バン)用のロゴを頼んだときにも同じことが起きた。ポリゴン風のSVGが出てきたので、もっとフォトリアルにしてと頼むとずっと良くなった。それでもSVGのままだったけど。
>>8
SVGは主にアイコンやポリゴン画像に使われる。そういうものが得意だからだ。ラスターよりベクター形式を使う意味は、ポリゴン数が少ない対象ならファイルサイズをずっと小さくできることにある。だから「アイコンっぽさ」は、SVGという形式を指定した時点で暗黙的に含まれていると思う。
SVGは主にアイコンやポリゴン画像に使われる。そういうものが得意だからだ。ラスターよりベクター形式を使う意味は、ポリゴン数が少ない対象ならファイルサイズをずっと小さくできることにある。だから「アイコンっぽさ」は、SVGという形式を指定した時点で暗黙的に含まれていると思う。
>>8
少なくとも自分がSVGと聞いて思うのは、ファイルサイズを抑えて拡大縮小できるようにした、簡素でスタイライズされたもの。フォトリアルを求めてないはずで、それが欲しければ普通に「画像」を頼むでしょ、というのが最初に浮かぶ考え。
少なくとも自分がSVGと聞いて思うのは、ファイルサイズを抑えて拡大縮小できるようにした、簡素でスタイライズされたもの。フォトリアルを求めてないはずで、それが欲しければ普通に「画像」を頼むでしょ、というのが最初に浮かぶ考え。
この挙動は、まだ残っているイノベーションの芽まで摘んでしまうと思う。ペリカンでこれが起きるなら、他の全てでも同じことが起きるはずだ。
これを読んだ小学4年生くらいの先生で、生徒に同じプロンプトで絵を描かせて結果を教えてくれる人はいないかな。人間と機械がどう違うのか(そもそも違うのか)、見てみたらすごく面白いと思う。
>>11
まあ、自転車そのものを描くのさえ難しいかもしれない。この話題について有名な投稿がある(もう発表から20年近く経つけど):[リンク]
まあ、自転車そのものを描くのさえ難しいかもしれない。この話題について有名な投稿がある(もう発表から20年近く経つけど):[リンク]
>>11
それは実際かなり面白そうだ。でも、もしその結果をネットに上げたら、将来のモデルの学習データにされてしまうだろうと考えると、ちょっと切ない。
それは実際かなり面白そうだ。でも、もしその結果をネットに上げたら、将来のモデルの学習データにされてしまうだろうと考えると、ちょっと切ない。
関連して、自分は色々なモデルの創造的な出力を評価する取り組みをここでやっている:[リンク]。
>>14
このテストは、一度に色々な側面を評価できる面白い事例になっている:[リンク]。
このテストは、一度に色々な側面を評価できる面白い事例になっている:[リンク]。
AIが手を出す「仕事」を広げていくほど明らかになるのは、センスがある人とない人の差だけだと思う。洗練のやり方を知っている人は「ノー」と言える人で、トークンが使い放題みたいに安い時代でも、より少ないものでより多くをやる。どんな素晴らしい製品も、結局そういう仕事から生まれてきた。
指摘してくれてありがとう。LLMを純粋にLLMの出力だけで事前学習できない理由は、LLMの出力の多様性が低いからだと思う。これが示しているのは次の2つ:1) 仮にQwen 4.5とFable 5.5があったとしても、機能的な違いはほぼ無くなっていくだろう 2) LLMはAGIではない
>>17
LLMは実際には常にLLMの出力で学習されているけどね…
LLMは実際には常にLLMの出力で学習されているけどね…
>>43
自分の意図が伝わるように編集したよ。言いたかったのは、LLMを「純粋に」LLMの出力だけで事前学習することはできない、ということ。
自分の意図が伝わるように編集したよ。言いたかったのは、LLMを「純粋に」LLMの出力だけで事前学習することはできない、ということ。
もしかすると、デザイナーたちは最終的に我々プログラマーに「とりあえず絵を描けるようになれよ」と言うようになるのかもね。
何人かのデザイナーに、同じプロンプトだけ渡して(追加の指示は無しで)ペリカンを描いてもらい、しかも「ペリカンがAIベンチマークになっている」ことを一切知らない状態でやらせたら、どんな結果になるのか見てみたい。
ペリカンのテストは『ベンチマーク向けに特化調整(ベンチマックス)されていない』と言われているけど、この状況でそれが本当にあり得るのか?
>>22
CholletもGoogleもAlexander Wangも、実際そうだと認めている。1) Cholletは強化学習と事前学習の比率が9:1だと述べた 2) Googleは『Argon』がSVGで学習されたと言った 3) Wangは『Muse Wonder』が3Dモデルで学習されていないと言った
CholletもGoogleもAlexander Wangも、実際そうだと認めている。1) Cholletは強化学習と事前学習の比率が9:1だと述べた 2) Googleは『Argon』がSVGで学習されたと言った 3) Wangは『Muse Wonder』が3Dモデルで学習されていないと言った
>>22
その可能性に言及しただけで自分は結構マイナス評価をもらった[0]。でも言わせてもらうと、仮にそうでなくても、新しいモデルの学習セットにはペリカンの画像がどっさり入っているはず。「じゃあフラミンゴでも上手くいくのはなぜ?」と言う人たちは、LLMの仕組みを理解していない。
その可能性に言及しただけで自分は結構マイナス評価をもらった[0]。でも言わせてもらうと、仮にそうでなくても、新しいモデルの学習セットにはペリカンの画像がどっさり入っているはず。「じゃあフラミンゴでも上手くいくのはなぜ?」と言う人たちは、LLMの仕組みを理解していない。
>>22
このベンチマークの一番笑えるところは、今ではもう過去の結果そのものを学習データに使っていて、だから同じ間違いを何度も繰り返しているところだ。
このベンチマークの一番笑えるところは、今ではもう過去の結果そのものを学習データに使っていて、だから同じ間違いを何度も繰り返しているところだ。
まだ論文は読んでいないけど、ここでのキーワードは『SVG』だと思う。SVGは普通アイコンに使われる2D形式で、その時点で最終的な見た目がある程度決まってしまう。
じゃあ、もっと創造的なペリカンはどうやって作られたんだろう?デフォルトのプロンプトを変えたんだと思うけど。実際のプロジェクトでも同じことをすればいいだけでは?デザインが凡庸に見えたら、変更を頼めばいいだけじゃない?
>>25
それだと『自律エージェントが全部やってくれる未来』が崩れるな
それだと『自律エージェントが全部やってくれる未来』が崩れるな
>>25
でも人間のクリエイターに同じプロンプトを頼むと、ちゃんと多様な結果になるんだよ。
でも人間のクリエイターに同じプロンプトを頼むと、ちゃんと多様な結果になるんだよ。
>>25
論点を完全に外していると思う。
論点を完全に外していると思う。
他サイトの新着
いや、セカンドシステム効果が働いて、最初のシステムのトラウマを引き継いだ、まともに動かない厄介な代物が出来上がるだけだろう。
>>29
ゲーム業界を一言で言うとそれだね。
ゲーム業界を一言で言うとそれだね。
>>12
LLMが長時間動くコンテキストを持つようになったら、何が起きるのか見てみたいところだ。数ギガ分の履歴があったら、デザインの判断はどう変わるんだろう?
LLMが長時間動くコンテキストを持つようになったら、何が起きるのか見てみたいところだ。数ギガ分の履歴があったら、デザインの判断はどう変わるんだろう?
>>24
大半の人は、これがほぼ決定論的なツールであること自体は気にしていない。問題は、これが『人間を置き換える』という話全体に待ったをかけてしまう点だ。
大半の人は、これがほぼ決定論的なツールであること自体は気にしていない。問題は、これが『人間を置き換える』という話全体に待ったをかけてしまう点だ。
>>30
『自転車に乗るペリカンのSVGを生成して』という指示が、『マフラーを巻いたペリカンが左から右へ進む、側面から見た、カートゥーン風の絵を頼んでいる』ことを暗黙的に意味する、なんてどうして決めつけられるんだ?
『自転車に乗るペリカンのSVGを生成して』という指示が、『マフラーを巻いたペリカンが左から右へ進む、側面から見た、カートゥーン風の絵を頼んでいる』ことを暗黙的に意味する、なんてどうして決めつけられるんだ?
>>36
それは悲しいし笑えるね、ありがとう。自分が期待しすぎているのか、それとも人々が(報酬で繰り返し訓練されたかのように?)本気の努力をする意欲を持てていないだけなのか。まるでLLMが訓練されているみたいに。
それは悲しいし笑えるね、ありがとう。自分が期待しすぎているのか、それとも人々が(報酬で繰り返し訓練されたかのように?)本気の努力をする意欲を持てていないだけなのか。まるでLLMが訓練されているみたいに。
>>42
研究機関は今後も、LLM用の新しい素材を作るために人にお金を払い続けるだろう。例えば数学の分野でやったように、薄給の博士課程やポストドクに大金を払って。
研究機関は今後も、LLM用の新しい素材を作るために人にお金を払い続けるだろう。例えば数学の分野でやったように、薄給の博士課程やポストドクに大金を払って。
>>42
それは『尿フィルター』現象としてもう起きてる(笑)
それは『尿フィルター』現象としてもう起きてる(笑)
>>50
人間の好みに基づいた『評価者』を学習させて、時間をかけて更新していくことはできる(例えば『いいね』の数に基づいて)。
人間の好みに基づいた『評価者』を学習させて、時間をかけて更新していくことはできる(例えば『いいね』の数に基づいて)。
>>61
それでも人間がループの中に必要になる。それに、出力の多様性が低いままだと、その効果は時間とともに積み重なって、人間より劣る解に収束していく。だから定期的に『いいね』のようなフィードバックを入れる必要がある。
それでも人間がループの中に必要になる。それに、出力の多様性が低いままだと、その効果は時間とともに積み重なって、人間より劣る解に収束していく。だから定期的に『いいね』のようなフィードバックを入れる必要がある。
この話題の背景と論点
このSVGペリカンテストは、開発者Simon Willisonが新しいAIモデルが出るたびに非公式に試してきたもので、学術的に標準化されたベンチマークではない。「自転車に乗るペリカンを描け」という一見単純な指示で、構図・遠近感・SVG(ベクター形式)の扱いなど複数の能力を同時に見られる点が広まった理由だ。スレで割れたのは、どのモデルも太陽・緑・マフラー・左から右への構図に揃うことを「多様性崩壊」という欠陥と見るか、指示に忠実な「望ましい挙動」と見るかという点。さらに、このテスト自体が有名になりすぎて各社の学習データに取り込まれ、新しいモデルほど「正解」を覚えて再現しているだけという「ベンチマーク汚染」への疑いも出ている。読者が誤解しやすいのは、これが厳密な科学的検証ではなく、コミュニティ主導の即席テストである点だ。
※本記事は海外掲示板 Hacker News のスレッド「The Emperor Pelican Has No Clothes」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。