「LLMのパラメータ数は犬のシナプス並み」海外で議論に
姉妹サイトの新着
海外の掲示板4chanの技術板で、現在のLLMが持つパラメータ数(5~10兆)が犬のシナプス数(2.5~5兆)に近づいているという指摘から議論が始まった。「パラメータとシナプスを同じ尺度で比べるのは筋違いだ」とする反論と、「桁がズレていても十分近づいていて不気味だ」という反応が分かれ、話は人工ニューロンと生物ニューロンの効率比較、さらには今後モデルをさらに大きくするコストの問題にまで広がった。
現在のLLMは大体5~10兆パラメータ
犬のシナプスは大体2.5~5兆
チンパンジーは28兆
犬のシナプスは大体2.5~5兆
チンパンジーは28兆
うわ、気持ち悪くてキモい、ガチで
犬の方が帯域(処理能力)あるじゃん
>>1
物理的なニューロンとパラメータは、仕組みや複雑さの点でそもそも同じじゃない
物理的なニューロンとパラメータは、仕組みや複雑さの点でそもそも同じじゃない
>>4
ニューロンじゃなくてシナプスって言ったんだ、別物だぞ
>>6
よく分からないけど、2桁や3桁ズレてたとしても、正直かなり近づいてきてて不気味だと思う
ニューロンじゃなくてシナプスって言ったんだ、別物だぞ
>>6
よく分からないけど、2桁や3桁ズレてたとしても、正直かなり近づいてきてて不気味だと思う
>>4
不敬だぞ！AIの話に論理と知識を持ち込むとは！AIに限界なんて無い、永遠に進化し続けるんだよ！
不敬だぞ！AIの話に論理と知識を持ち込むとは！AIに限界なんて無い、永遠に進化し続けるんだよ！
>>1
犬の方がLLMよりエラーも少なくて性能が良いし、ずっと学習を続けてる
ニューロン＝パラメータっていう前提がそもそも自己矛盾してる
犬の方がLLMよりエラーも少なくて性能が良いし、ずっと学習を続けてる
ニューロン＝パラメータっていう前提がそもそも自己矛盾してる
>>5
『犬が猫のうんちを食べる→それはエラーじゃない』
エラーなのは俺の動物病院の医療費なんだが…？ 犬自体は元気だよ
『犬が猫のうんちを食べる→それはエラーじゃない』
エラーなのは俺の動物病院の医療費なんだが…？ 犬自体は元気だよ
>>1
パラメータと人間のシナプスって、それぞれ何ビット相当なんだ？
パラメータと人間のシナプスって、それぞれ何ビット相当なんだ？
>>1
数十年後、お前らのワンちゃんたちが近親交配のせいで遺伝的欠陥だらけになって、不妊で生まれてきて絶滅するのが待ちきれないよ
数十年後、お前らのワンちゃんたちが近親交配のせいで遺伝的欠陥だらけになって、不妊で生まれてきて絶滅するのが待ちきれないよ
>>7
へへ、オオカミ犬が立ちはだかる
悪く思うなよ、坊や
へへ、オオカミ犬が立ちはだかる
悪く思うなよ、坊や
>>9
ワンちゃんってイカれてるよな、何の理由もなく突然キレて家やアパートをめちゃくちゃにする
ワンちゃんってイカれてるよな、何の理由もなく突然キレて家やアパートをめちゃくちゃにする
>>9
オオカミ犬は遺伝的に良くない(ディスジェニック)
オオカミ犬は遺伝的に良くない(ディスジェニック)
例えばこの人(https://forum.effectivealtruism.org/…)は、生物の1ニューロンを99%の精度でシミュレートするには人工ニューロンが約1000個必要だと言ってる。でも巨大なネットワーク全体で考えると話はズレてくるはずで、たぶん必要な人工ニューロンはもっと少ない方向にズレると思う
>>8
その通りだけど、シナプスとニューロンは密接に関係してるし、両方ともすごく動的で複雑だ。お前の不安は正当だけど、パラメータとシナプスを同じものとは言わないよ
その通りだけど、シナプスとニューロンは密接に関係してるし、両方ともすごく動的で複雑だ。お前の不安は正当だけど、パラメータとシナプスを同じものとは言わないよ
他サイトの新着
>>1
AIは犬に仕えるんだから、犬は常にAIより上位にいる…つまり超知能よりも上ってことだ
AIは犬に仕えるんだから、犬は常にAIより上位にいる…つまり超知能よりも上ってことだ
シリコンに描き込まれる線の幅がどれだけ異常に細いか考えれば、シリコンを数十平方cmくらい使えば脳の持つ素子数に近づくのもそこまで特別なことじゃない
ちょっと冷めてきたな。10兆パラメータのモデルでさえ実験や学習に使うにはほぼ無理なコストがかかるし、その上に長い思考チェーンでの推論コストも乗る。学習時のパラメータサイズはFP4よりもう小さくしようがない。簡単に効果が出る改善はもう全部実装済みだ。2年後に80兆パラメータのモデルが出ると思うか？
>>26
人工的に生成したデータを突っ込んでわざと肥大化させることはできるけど、そもそもパラメータ数を最大化したいとは思ってないはずだ
彼らはアーキテクチャをもっと効率的なアルゴリズムで改善して、各パラメータの有効性を最大化したいんだと思う
人工的に生成したデータを突っ込んでわざと肥大化させることはできるけど、そもそもパラメータ数を最大化したいとは思ってないはずだ
彼らはアーキテクチャをもっと効率的なアルゴリズムで改善して、各パラメータの有効性を最大化したいんだと思う
>>26
今の時点でこれ以上スケールさせるのは経済的に理屈が通らない。あのクラスのモデルが世界最大のままなのは、これがバブルかどうかにもよるけど、数年間かあるいは永久にそうなるかもしれない
今の時点でこれ以上スケールさせるのは経済的に理屈が通らない。あのクラスのモデルが世界最大のままなのは、これがバブルかどうかにもよるけど、数年間かあるいは永久にそうなるかもしれない
>>1
人間の脳はデジタル信号じゃなくてアナログ信号を使ってるから、はるかに省エネルギーだ。人間の脳細胞は現在のAIよりずっと多くの接続を作れるし、学習を止めることも無いし、常に接続を作ったり刈り込んだりし続けられる — そういう動的な適応力は今のAIには再現できない
人間の脳はデジタル信号じゃなくてアナログ信号を使ってるから、はるかに省エネルギーだ。人間の脳細胞は現在のAIよりずっと多くの接続を作れるし、学習を止めることも無いし、常に接続を作ったり刈り込んだりし続けられる — そういう動的な適応力は今のAIには再現できない
この話題の背景と論点
このスレッドが前提にしている「LLMは5~10兆パラメータ、犬は2.5~5兆シナプス」という数字は、いずれも公式に確定した値ではない。主要企業は商用LLMの正確なパラメータ数を公表しておらず、動物の脳のシナプス数も測定方法によって推定値が大きく変わる。スレで割れたのは、パラメータ(固定された重み)とシナプス(常に変化し続ける生体の接続)を同じ基準で比べられるかという点で、懐疑派は「数字が近いこと自体に意味はない」と退け、危機感を持つ側は「桁がズレていても十分不気味だ」と応じた。後半では話題が移り、モデルをこれ以上大きくする学習・推論コストの高さから、パラメータ数そのものを増やすより効率化に向かっているという指摘も出ており、単純な規模比較だけでは今のAI開発の実態を捉えきれない点は押さえておきたい。
※本記事は海外掲示板 4chan /g/ (Technology) のスレッド「>current LLMs have about 5 to 10 trillion parameters」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。