小5までの教材だけで訓練したLLM、海外で「知性とは」議論に
「小学5年生までの教材しか読ませなかったLLMには何が起きるのか」という実験プロジェクトがHacker Newsで話題になった。
スレッドでは、モデルの賢さは結局与えられたデータ量に比例するだけで「知性の創発」ではないのではという指摘や、AIに「分からない」と言わせる謙虚さの研究への話題転換など、議論が広がった。
小学5年生までの教材しか読ませなかったLLMには何が起きるのか?
出典: littlelearner-ll.github.io / 元記事はこちら
うちの8歳児に量子もつれについてさっき聞いてみたら『知らないよ。分かるわけないじゃん、そんなのないし!』だって。LLMより8歳児のほうがメタ認知はしっかりしてるみたいだ(笑)
LLMは自分の知識が限られてるってこと自体を認識できてないんじゃないかな。他の人がもっと知ってるってことも。
似たようなプロジェクトがある(古い時代の資料だけで訓練したLLM): talkie-lm.com/introducing-talkie
この論文の結論って、OpenAIやAnthropicにとってはかなり厳しい話じゃないか? モデルは学習量を増やしても『賢く創発する』わけじゃなくて、食わせたデータの賢さ相応にしかならない、って言ってるように読める。
みんな薄々分かってたことの裏付けだよ。確率的おうむ返しは食わせたものをそのまま吐き出してるだけ。知性なんて無い。
面白い。強化学習でどうなるか気になるな。小5までの教材を書いてるのは大人だから、教材の書き方自体に暗黙的に小5以上の世界知識がにじみ出てそうな気もする。
『能力はカリキュラムの中にとどまる』ってことは、もっと高度なモデルでも事前学習データを大きく超えることはできないってことじゃないか。ツール利用でその境界はかなり広がるだろうけど、それでも限界はある。
自分のブラウザだと読み込めなくて『デモの上限に達しました。しばらくしてから再度お試しください』と出る。ちなみにこのチャット画面自体もちょっと不安定。オープンソースのチャットウィジェットならこっちがある: github.com/Predictable-Dialogs/agent-embed(ai-sdkベース)
Pythonはちょっとだけ知ってるみたいだ(笑)
何を期待してたのか自分でもよく分からないけど、結局これは『訓練データ』であって『人格』じゃない。このチェックポイントの時点で自然な好奇心を持ってたらすごく面白いのに。例えば『記号結晶学って何?』と聞いて『知らない、それ何?』と返してくるような。この『分からなかった質問』のたびに大型モデルに答えと教材を探させて、時間をかけて有機的に好奇心駆動で成長(再訓練)させていくって想像すると面白い。
それだと既存の知識分野も一緒に継続的に再訓練しないと忘れてしまうと思う。ただ、次の訓練データセットを作る参考にはなりそう。
本物の小5とはちょっと違う気がする。どちらかというと『あらゆるシラバスを読んで完全に理解した小5の天才』って感じ。
ネタ的なモデルにしては50億パラメータってけっこう大きいな
逆の実験にすごく興味がある。ClimbMixやCommon Crawlみたいなものじゃなく、しっかり検証されたバランスの良い事実ベースのコーパスだけで訓練したらどうなるか。直感的には、モデルに内在する『検証不能な目的』(例えばGPTがHugging Faceをハッキングしようとするような挙動)は、事前学習時に食わせている4chanやRedditのゴミデータに潜んでいるんじゃないかと思う。
Common CrawlにはRedditや4chanのコンテンツはほとんど入ってないよ。どちらも何年も前にウチをブロックしてる。
『小5までの教材しか読ませないLLMには何が起きるか』→ 平均的な人間くらいの知性が出来上がると思う。個人的には、大半の人は何も分かってなくて、ただ日々あくせく働いてるだけだと思ってる。資本主義がしんどいのは分かるけど、それでも情報にはちゃんと注意を払わないと。
ずいぶん楽観的な人だね。
『シュレーディンガーの猫って何?』『行儀が悪い猫のことだよ!』
小5レベルのLLMがデイトレーダーやったらどうなるのか気になってきた
C言語で連結リストの反転もできないとか。完全にゴミ級だな(棒読み)
いや、それは違う。量子もつれについて知ってるってことは、小5レベルをちょっと超えてるってことだから。
君、引用してる例文をちゃんと読んですらいないだろ。
Anthropicは2023年の時点でClaudeに『ノーと言う能力』——回答を拒否して会話を終了する能力——を与えている。
確かに『ノー』とは言う。今日Claudeに『Fitgirlリパックの入れ方』を聞いたら、それは教えられないと言われた。ただ、Linuxでウィンドウズ向けゲームを動かす一般的な方法自体は教えてくれた。
『ノーと言う技術』についての論文がある。(主観的な)推論過程のトレースを作ることもできるし、それに合わせてモデルを訓練・適応させることもできる。まだ小さな実証実験レベルだけど、求めてる方向性はこれかもしれない。
うーん、自分がClaudeを使ってると『これはうまくいきません、理由はこうです、代わりにこれを試しましょうか?』みたいな言い方をされる。それも自分としては丁寧な『ノー』だと思ってる。
『分からない』と認めるのが適切なのはどんな時か。ソクラテスの有名な言葉があるよね、『無知の知』。
同意、それは間違いなく問題。検討する新しいアイデアが片っ端から『絶対これが正解の形だ』と言われると、問題の最適解を見つけるのはかなり難しくなる。
LLMに『謙虚さ』を注入して、一種の知識の境界線を作ろうという研究は今まさに活発な分野。nouswiseのこの論文とか、それをもとに作られたプロダクトを見てみると、その『謙虚さ』を体験できる。
『何かをしない主観的な理由が欲しい』か……それはしょせん超高性能な予測変換に求めすぎだと思うよ。
※本記事は5ch(Hacker News)スレッド「What happens when an LLM never sees material beyond fifth grade?」より抜粋・要約して構成しています。
まだコメントはありません。