トーバルズ「AIは新コンパイラ」発言にLemmyで賛否
姉妹サイトの新着
Linus Torvalds氏の「AIは新しいコンパイラであり、新しいプログラマーではない」という発言が、Lemmyのc/technologyで取り上げられていた。
LLMの出力は非決定的だからコンパイラとは呼べないという反論から、「作業量が増えること」と「生産性が上がること」は別だという自動車工場の比喩、MicrosoftとOpenAIの利害関係を突く皮肉まで、話は多方面に広がった。
トーバルズ「AIは新しいコンパイラであり、新しいプログラマーではない」
出典: pbxscience.com / 元記事はこちら
LLMには temperature というパラメータがあって、0まで下げれば決定的になるよ。ただ多分、余計に使い物にならなくなる
まさにそれ。コード出力が決定的なLLMができたら「AIは人間の言葉のコンパイラだ」と言ってもいいけど、それまではAIは絶対にコンパイラじゃない
厳密に言うと、LLM(というかほとんどの機械学習モデル)は同じ入力・同じシードなら決定的だよ。言いたいことは分かるけど
生産性=やる量を増やすこと / 効率=正しいことをやること。この話で論文まるごと一本書いたから何でも聞いて
「生産」の指標次第だよ。全部リコールして直さなきゃいけない車を量産したところで、最初から高品質な車を作るより儲かるわけがない。おまけに信用も失ってブランドが安物扱いされ、売上が落ちて…と悪循環が回り出す
その論文どこで読める?
この「道具」のせいでWindowsがどうなったか見た後だと、このコミュニティがどうなるか懐疑的になるのも当然だと思う。前にも同じことが起きたのに、なんでまた許容できるんだ?
まともなコンパイラなら今どき、同じビルド環境なら再現可能なビルドを作れるはずじゃない?セキュリティ検証のために再現可能ビルドを推進する流れもあるし
普通はデフォルトではできないけど、必要な設定を全部そろえて、場合によっては乱数っぽい値を要求する部分に自前のRNGシードを渡す作業をすれば可能だよ
それをやると、文脈上もっとも平均的な出力しか出さなくなる。コンパイラという文脈でそれが役に立つかは分からないな…
C/C++に詳しくないから間違ってたら教えてほしいんだけど、それって「レースコンディション」って呼ばれるやつじゃない?並列処理は非決定性を生むことはあるけど、LLMが非決定的な出力を生成するのとは意味が違うと思う。コンパイラは統計的な機械じゃないし
シングルスレッドでも、入力が想定外の順序で来るだけでレースコンディションは起こり得るよ。あるいはシングルコアCPUで、先に終わるはずのタスクが異常に時間がかかったせいで、CPUが別スレッドに時間を回し、本来最後に終わるはずのそっちが先に終わる、なんてこともある
ああいうロボットのほとんどは、人間の安全とかの理由でわざと速度を落としてある。だから工場をかなり高速化することはできると思う、10倍は無理でもね
溶接を何箇所か省いて、潤滑剤も正確に計らずざっくり±20%で済ませて、シーラントも丁寧に塗らない。塗装の乾燥時間も削る。位置合わせも適当でいい。そりゃ車はガタつくし錆びるし、ちょっとした事故で壊れるしエンジンも長持ちしないけど、とにかく速く量産はできる
ははは、「公開されてる」にはなってるけど、それだと自分の身元も明かすことになるんだよな…ちょっと考えさせて。あとスウェーデン語で書いてあるから、まあ問題ないかも(?)
temperatureパラメータを0.00に設定すればLLMは決定的になるよ
他サイトの新着
今四半期中に起きなければ関係ないんだよ
ああ、それは大惨事待ったなしって感じだな…
Microsoftはこれを道具として扱ってない、それが問題なんだよ。…まあ驚くことじゃない。Microsoftだからというのもあるし、OpenAIの株を3分の1くらい持ってるから、AIブームを煽り続けることに利害関係があるわけで
でもそれだと出力がゴミになるよ。同じ疑似乱数シードを使えば再現可能な出力になる
実行時には決定的になり得るけど、暗号学的ハッシュに例えられる面もあって、あらかじめ組み込まれた疑似乱数性が予測不能な挙動をすることがある
テック業界全体がもう終わってる。残念だよ
この話題の背景と論点
AIが新しいコンパイラだ」という整理は、人間が設計や判断を担い、AIは実装作業を機械的に肩代わりするだけの道具だという位置づけを示す比喩で、11番のレスが指摘する通り、これは「AIを無条件に称賛する」宣言ではなく「道具として扱わないと危険だ」という警鐘に近い。Lemmyはredditの代替として知られる分散型SNSで、技術者色が強く、企業主導のAIブームへの警戒感が強いコミュニティでもある。
スレでの対立は主に二点。ひとつはLLM出力の非決定性で、temperatureを0にすれば従来のコンパイラのように決定的と言えるかという技術論。もうひとつは「生産量の増加」と「生産性向上」を同一視できるかという論点で、自動車工場の比喩から品質低下やブランド毀損のリスクへと話が広がった。
読者が見落としがちなのは、GPU上の浮動小数点演算は並列実行順序に依存しやすく、temperature=0に設定しても厳密な再現性までは保証されにくいという技術的背景で、これはスレの中でも明確には整理されていない。
※本記事は5ch(Lemmy c/technology)スレッド「Torvalds: AI Is the New Compiler, Not the New Programmer」より抜粋・要約して構成しています。
まだコメントはありません。