「知能のコストが100分の1に」海外エンジニアの議論が白熱
AIの推論コストが100分の1に下がったら何が起きるかを論じた記事に、Hacker Newsで技術者たちが反応していた。専用チップや蒸留による更なるコスト削減の余地、フロンティアモデルが今後も改良され続けるかどうか、中国製ロボットの進化と米国での規制の可能性などをめぐって意見が交わされ、合間には「電子修道士」や「フューチュラマ」「ロボコップ」を引き合いに出す軽口も飛び交った。
議論は真面目な技術予測と皮肉交じりのジョークが入り混じり、コメント欄そのものが読み物として盛り上がっていた。
知能のコストが100分の1になったら何が起こるか
出典: catalystneuro.com / 元記事はこちら
> 何もかも読むのが当たり前になる。1ドキュメントあたり1セントなら、モデルはある分野の全論文、アーカイブの全記録、全メール、サポートキューの全メッセージを日常的に読める、という部分好きだな。今の時代の『全部読む』は『コンピューターが代わりに読んでくれる』って意味になったのが。そのうちコンピューターがサイクリングに行って、妻と過ごす時間も肩代わりしてくれるようになるんじゃないか。
>>4
コンピューターはもうとっくに君の奥さんと一緒に過ごしてるんじゃない?
コンピューターはもうとっくに君の奥さんと一緒に過ごしてるんじゃない?
>>4
ダグラス・アダムスが『ダーク・ジェントリーの全体的な探偵事務所』でまさにそれを描いてたよ。VCRがテレビを代わりに見てくれて、電子修道士(Electric Monk)が物事を代わりに信じてくれる、自分でやる手間を省くために。
ダグラス・アダムスが『ダーク・ジェントリーの全体的な探偵事務所』でまさにそれを描いてたよ。VCRがテレビを代わりに見てくれて、電子修道士(Electric Monk)が物事を代わりに信じてくれる、自分でやる手間を省くために。
>>4
フューチュラマの方が先にやってた!
フューチュラマの方が先にやってた!
100倍って控えめな見積もりに思える。モデルの改良が一切なくても、それくらいの削減は起きるはず。TSMC、Nvidia、OpenAI/Anthropic(疑惑込み)の推論マージンを見れば、3社とも100倍削減できる余地がある。今はこの3社とも異常に高い水準にいる。競争がいずれ全部に及ぶよ。
『これはただのエンジニアリングの問題』で片付けられる、専用チップから蒸留技術の改良まで、まだ50〜500倍のコスト削減の伸びしろがある。2031年までに、Fable 5(かそれ以上)クラスの知能を持つモデルが、スマホの上で発熱もなく動くようになっても全然おかしくない、もっと早いかもしれない。
>>10
RAMすら足りてないのに、冷却なしの小さな筐体でバッテリー駆動するとんでもなく強力なチップが動くことに賭けてるのか? それはリソースの無駄遣いもいいところだ。今でさえポケットやリュックの中でTFLOPSが遊んでるのに、今度はPFLOPSがアイドル状態になる、プロンプトの間の時間がそれだけ長いから。サーバー側でバッチ処理する方がずっと効率的だ。
RAMすら足りてないのに、冷却なしの小さな筐体でバッテリー駆動するとんでもなく強力なチップが動くことに賭けてるのか? それはリソースの無駄遣いもいいところだ。今でさえポケットやリュックの中でTFLOPSが遊んでるのに、今度はPFLOPSがアイドル状態になる、プロンプトの間の時間がそれだけ長いから。サーバー側でバッチ処理する方がずっと効率的だ。
>>10
昨日、Fable の出力でファインチューニングした10億パラメータのモデルを見た。笑ってしまったけど、実際スコアは軒並み上がってた。(実際に話してみると、まあ予想通りのまとまりのなさ、10点満点で3点くらい)『実用に耐えるモデル』の下限はどんどん下がってるけどね。(今はだいたい270億パラメータくらい?)
昨日、Fable の出力でファインチューニングした10億パラメータのモデルを見た。笑ってしまったけど、実際スコアは軒並み上がってた。(実際に話してみると、まあ予想通りのまとまりのなさ、10点満点で3点くらい)『実用に耐えるモデル』の下限はどんどん下がってるけどね。(今はだいたい270億パラメータくらい?)
> 何もかも読むのが当たり前になる。1ドキュメントあたり1セントなら、モデルはある分野の全論文、アーカイブの全記録、全メール、サポートキューの全メッセージを日常的に読める、という部分。もうほぼ現実になってるよ
分かってる人だ
バカがはびこるようになる!
>>17
何が不満なんだ? 知能そのものじゃないとしても、LLMが1つのエラーメッセージからバグを見つけて、直して、PRまで作って解決してる。LLMがAGIに到達しなくても訓練だけでここまでできるなら、人間に一つの問題を教え込むより、LLM一体に教え込む方がもう安上がりな段階に来てる。
何が不満なんだ? 知能そのものじゃないとしても、LLMが1つのエラーメッセージからバグを見つけて、直して、PRまで作って解決してる。LLMがAGIに到達しなくても訓練だけでここまでできるなら、人間に一つの問題を教え込むより、LLM一体に教え込む方がもう安上がりな段階に来てる。
>>17
AGI ≈ ラルフ × 無限の粘り強さ現実世界と一緒だな!
AGI ≈ ラルフ × 無限の粘り強さ現実世界と一緒だな!
>>17
はびこるようになる、だって? この数十年どこで暮らしてたんだ? いや数百年、数千年単位で見ても同じだろ。皮肉るならとことん皮肉ろうや。
はびこるようになる、だって? この数十年どこで暮らしてたんだ? いや数百年、数千年単位で見ても同じだろ。皮肉るならとことん皮肉ろうや。
>>2
> トークンについても同じことが起きると思う。トークンのコストが下がれば、モデルはただもっと多くのトークンを消費するようになるそれはAI企業の利益にとって底辺への競争に聞こえるな。LEDが高利益率の商品だとは思えない。
> トークンについても同じことが起きると思う。トークンのコストが下がれば、モデルはただもっと多くのトークンを消費するようになるそれはAI企業の利益にとって底辺への競争に聞こえるな。LEDが高利益率の商品だとは思えない。
>>2
トークンは間違いなくそうなる、エージェント同士が当たり前に会話するようになるのをまだ待ってる段階だから。エージェントのチームとか、24時間動き続けるエージェントとか。でも知能をこんな風にスケールさせたことは今までなかった。産業革命は当時の人々にとってかなり大きな問題というか、破壊的だった。今度は僕らに何が起きるんだろう?
トークンは間違いなくそうなる、エージェント同士が当たり前に会話するようになるのをまだ待ってる段階だから。エージェントのチームとか、24時間動き続けるエージェントとか。でも知能をこんな風にスケールさせたことは今までなかった。産業革命は当時の人々にとってかなり大きな問題というか、破壊的だった。今度は僕らに何が起きるんだろう?
>>2
結局グレイグーはただのサーマルグリスだったってわけか
結局グレイグーはただのサーマルグリスだったってわけか
>>5
> 対話的に使うには遅すぎるユースケースが多いこれこそ、今あるLLMをどれだけ当たり前だと思ってしまっているかを物語ってる。以前の状態(新人エンジニアにタスクを渡して仕上がりを待つ)と比べたら、全然遅いなんて思えないよ。
> 対話的に使うには遅すぎるユースケースが多いこれこそ、今あるLLMをどれだけ当たり前だと思ってしまっているかを物語ってる。以前の状態(新人エンジニアにタスクを渡して仕上がりを待つ)と比べたら、全然遅いなんて思えないよ。
>>6
シャオミのロボットはもう二桁秒でこれをやってる。人間と比べればまだ遅いけど、中国のロボットは中国のEVやスマホや太陽光パネルと同じくらい成功するだろうね。
シャオミのロボットはもう二桁秒でこれをやってる。人間と比べればまだ遅いけど、中国のロボットは中国のEVやスマホや太陽光パネルと同じくらい成功するだろうね。
>>30
つまり、アメリカでは禁止されるってことか。
つまり、アメリカでは禁止されるってことか。
>>6
『制御されていない環境』でロボットがすごい速さで動いてる動画はいくらでもある、追ってないだけだろ。
『制御されていない環境』でロボットがすごい速さで動いてる動画はいくらでもある、追ってないだけだろ。
>>31
ああ、『ロボコップ』ってタイトルの動画で見た気がする
ああ、『ロボコップ』ってタイトルの動画で見た気がする
>>6
ロボットがCerebrasの上で動くようになるのを待ってろ、ズボンに火がつくぞ。
ロボットがCerebrasの上で動くようになるのを待ってろ、ズボンに火がつくぞ。
>>32
その火が財布から逃げ出せたらの話だけどな!
その火が財布から逃げ出せたらの話だけどな!
>>6
LLMは物理ベースの問題や環境を処理する能力は上がった? 生成AIゲームの文脈でその話題が出てたのを覚えてるけど、最近はあまり聞かない。
LLMは物理ベースの問題や環境を処理する能力は上がった? 生成AIゲームの文脈でその話題が出てたのを覚えてるけど、最近はあまり聞かない。
>>33
トランスフォーマー全般は幅広い括りだけど、LLMと言ったら具体的に言語モデルのトランスフォーマーのことを指してる。ロボットが使ってるのはビジョントランスフォーマーだよ
トランスフォーマー全般は幅広い括りだけど、LLMと言ったら具体的に言語モデルのトランスフォーマーのことを指してる。ロボットが使ってるのはビジョントランスフォーマーだよ
>>11
それに、なぜフロンティアモデルがこのまま良くならないと言えるんだ? オープンモデルは良くなってるけど、フロンティアモデルも良くなってる。フロンティアモデル同士がずっと先頭を争い続けるかもしれない
それに、なぜフロンティアモデルがこのまま良くならないと言えるんだ? オープンモデルは良くなってるけど、フロンティアモデルも良くなってる。フロンティアモデル同士がずっと先頭を争い続けるかもしれない
>>36
知能でも訓練でも、どちらも収穫逓減が主な理由
知能でも訓練でも、どちらも収穫逓減が主な理由
>>36
新しくてクリーンな学習データと計算資源が尽きかけてる。LLMで絞り出せる改善量にはおそらく限界がある。最近の改善はオーケストレーションと『推論』ループ(コンテキストをモデルに繰り返し戻して食わせる)によるものが大きい。
新しくてクリーンな学習データと計算資源が尽きかけてる。LLMで絞り出せる改善量にはおそらく限界がある。最近の改善はオーケストレーションと『推論』ループ(コンテキストをモデルに繰り返し戻して食わせる)によるものが大きい。
>>16
モデルがどれだけ速く良くなってるか、この記事を見て改めて驚いた。反論の余地をほとんど残さずにそれを示した記事は初めて見た。よくできてる。
モデルがどれだけ速く良くなってるか、この記事を見て改めて驚いた。反論の余地をほとんど残さずにそれを示した記事は初めて見た。よくできてる。
>>16
この記事にかけた労力に感謝する。グラフの目盛りを線形にした方が、もっと説得力が増すんじゃないかな? それとも進歩がすごすぎてグラフが読めなくなっちゃうかな?https://xkcd.com/1162
この記事にかけた労力に感謝する。グラフの目盛りを線形にした方が、もっと説得力が増すんじゃないかな? それとも進歩がすごすぎてグラフが読めなくなっちゃうかな?https://xkcd.com/1162
>>19
そうだね、コンピューターは20年前と全く同じ速度のままだもんね
そうだね、コンピューターは20年前と全く同じ速度のままだもんね
>>44
実際、多くのコンピューターは20年前よりずっと遅く感じるよ: https://danluu.com/input-lag/
実際、多くのコンピューターは20年前よりずっと遅く感じるよ: https://danluu.com/input-lag/
>>19
ギリギリの生活をしてない人は、みんな延々とファストフードを貪り食ってるとでも?
ギリギリの生活をしてない人は、みんな延々とファストフードを貪り食ってるとでも?
>>24
ジェヴォンズのパラドックスもあるね、システムが効率的になるほど、より多く使われるようになって、結局は資源の消費が減るどころか増えてしまう。
ジェヴォンズのパラドックスもあるね、システムが効率的になるほど、より多く使われるようになって、結局は資源の消費が減るどころか増えてしまう。
>>25
君のお母さんとの非対称マルチプロセッシング
君のお母さんとの非対称マルチプロセッシング
>>25
全くその通り!
全くその通り!
>>34
そのうちRAMは十分足りるようになるはずだよ、絶対に。もっと作る動機は大きいし、どのファブも予約でいっぱいだ。10年か20年かかるかもしれない。5年未満じゃ製造が追いつくには短すぎる。スマホの話には特にコメントしないけど、『技術がXをやるには絶対に十分良くならない』って決めつけるのは危ういと思う。ものすごく無駄になるかもしれないけど、実現するかもしれない。
そのうちRAMは十分足りるようになるはずだよ、絶対に。もっと作る動機は大きいし、どのファブも予約でいっぱいだ。10年か20年かかるかもしれない。5年未満じゃ製造が追いつくには短すぎる。スマホの話には特にコメントしないけど、『技術がXをやるには絶対に十分良くならない』って決めつけるのは危ういと思う。ものすごく無駄になるかもしれないけど、実現するかもしれない。
※本記事は5ch(Hacker News)スレッド「What Happens When the Cost of Intelligence Drops 100x」より抜粋・要約して構成しています。
まだコメントはありません。