「17歳ならLLMをゼロから学ぶ」投稿にHNで賛否
Y Combinatorの創業者ポール・グレアム氏(61)が、Xに「もし自分が17歳なら、LLMをゼロから作る方法を学ぶ」と投稿したことがHacker Newsで話題になった。
スレッドでは「金持ちの余裕がある発言だ」「今の資産があってこその話」といった反発と、実際に無料で学べる自作教材サイトの紹介やAndrej Karpathyの講座を勧める声が入り混じり、17歳という年齢設定の是非をめぐって議論が続いた。
もし自分が17歳なら、LLMをゼロから作る方法を学ぶだろう
出典: xcancel.com / 元記事はこちら
61歳で金持ちの人間がこんな寝言を書くべきじゃない。ポール・グレアムほどの人間じゃなくても言えることだが、これを読んでいる17歳の君へ。とにかく大学に入って、後悔しない青春を送れ。ゲームでもスポーツでも、人と付き合って、恋をして、いろいろ経験しておけ。
>>10
つまり『借金してでも金を使え』が助言ってことか?で、その借金をチャラにしてくれる政治家に投票しろと?
つまり『借金してでも金を使え』が助言ってことか?で、その借金をチャラにしてくれる政治家に投票しろと?
コメント欄を見ると、LLMについて何も分かってない人がこんなに多いのかとがっかりする…OPが言いたいこととは皮肉にも真逆だけど。
この投稿を厚かましく利用して、自分の個人プロジェクトを紹介させてもらう。languagemodelbuilder.com では、数時間から数日でLLMをゼロから作る方法を学べる。完全無料で、アカウント登録もデータ収集も一切なし。
>>12
これはここ2ヶ月でHNで見た中で一番クールなリンクだ。あなたは最高だよ!作ってくれてありがとう。
これはここ2ヶ月でHNで見た中で一番クールなリンクだ。あなたは最高だよ!作ってくれてありがとう。
言うは易く行うは難し。B300(GPU)なんてどこで手に入れるんだ?事前学習みたいな巨大なハードウェアが要らない、ハーネスや評価、統計分析あたりから始めた方がいい。
自分ならMLOpsに進む(実際そうしている)。単なるインフラ・システム管理だけじゃなく、推論の最適化、キャッシング、量子化、メモリピニング、GPUのvfioパススルーなんかもやりたい。
自分なら真剣に手に職をつける方を学ぶ。(追記:あと、まっとうな商売のやり方も学ぶ)
>>18
経験を積んだ今振り返ると、18歳の自分のエネルギーは『うわ、かっこいい!』とすごい技術に興奮するけど、何十年も年を取った今の自分は『いや、それ職人技を学べば普通に関われたじゃん』って思う。CTスキャナーの制御装置を熟練の電子機器修理工が手術するみたいに直しているのを見た時が一番印象に残ってる。
経験を積んだ今振り返ると、18歳の自分のエネルギーは『うわ、かっこいい!』とすごい技術に興奮するけど、何十年も年を取った今の自分は『いや、それ職人技を学べば普通に関われたじゃん』って思う。CTスキャナーの制御装置を熟練の電子機器修理工が手術するみたいに直しているのを見た時が一番印象に残ってる。
>>18
金持ちの親を持つ17歳かどうかで話は変わってくる。
金持ちの親を持つ17歳かどうかで話は変わってくる。
これが役に立つかもhttps://github.com/raiyanyahya/how-to-train-your-gpt
まるで今までLLMが何なのか学べなかったみたいな言い草だな。年齢は関係ない。コア技術自体はかなり基本的なものだけど、個々の部品がなぜあれほどうまく機能するのか、初歩的な理解を得るのは意外と難しい。
GPT2が出た頃、自分は17歳じゃなかったから、LLMの作り方を学ぶのはやめておこうと思った。個人でやるには金がかかりすぎるからだ。そしたらあっという間にここまで来た。
自分は1995年、17歳の時にHTMLを学んで、それが結構楽しいキャリアにつながった。LLMほど高度な技術ではないけど、『業界がどこに向かっているか見極めて、自分の学びをそこに合わせる』というのは間違いなく良いアドバイスだ。
余談だけど、興味はあるけど完全な初心者な人向けに、LLMをゼロから作るための良い教材を誰か教えてもらえないか?よろしく。
>>24
1. Sebastian RaschkaのBuild an LLM from Scratch(sebastianraschka.com/llms-from-scratch/) 2. Andrej KarpathyのLLM from 0 to Hero、それとnanoGPT
1. Sebastian RaschkaのBuild an LLM from Scratch(sebastianraschka.com/llms-from-scratch/) 2. Andrej KarpathyのLLM from 0 to Hero、それとnanoGPT
>>24
このいまいましいサイトのトップページを1日に何回かチェックすれば、その手の投稿が1日に10本くらい流れてくるよ。
このいまいましいサイトのトップページを1日に何回かチェックすれば、その手の投稿が1日に10本くらい流れてくるよ。
技術としてのLLMは自分にはものすごく退屈だ。何ができるかという話じゃなく、どう動いているかという意味で。
これが役に立つかもしれない: https://laurentiugabriel.github.io/token-town/
気になるんだけど、もし自分が40歳だったらどうする?
2年前はみんな独自にモデルを訓練してた。フロンティアモデル自体が独自学習モデルより強力になった今、あの人たちはどうなったんだ?
17歳がLLMをゼロから作る方法を学ぶのに一番いい教材は何だろう?自分にも意見はあるけど、HNの意見を聞きたい。一つだけ言っておくと、知識がほとんどない状態、つまり17歳が持っているであろう状態からスタートするなら、LLMに説明させるのは最悪のやり方だ。
>>32
Andrej Karpathyが LLMをゼロから作る素晴らしいYouTubeシリーズを出してる。高校数学を一通り学んだばかりの人にぴったり。まずそこから始めて、Pythonで実際に手を動かすといい。
Andrej Karpathyが LLMをゼロから作る素晴らしいYouTubeシリーズを出してる。高校数学を一通り学んだばかりの人にぴったり。まずそこから始めて、Pythonで実際に手を動かすといい。
自分はテクノロジーが好きで回路とはんだ付けを学び始めたけど、時間の無駄だった。結局はWebアプリのプログラミングを学んだことで生計を立てられるようになった。
昨日の流行り物に時間を無駄にするつもりはない。次のユニコーン企業を生み出す技術はまた別の何かだろう。
生存者バイアスがどれだけ一般論として使い回されているか、狂ってるよ。いや、狂ってはいないな、昔からずっとそうだった。狂ってるのは、それでもまだみんなそれを信じ込んでいることだ。
『もし自分が17歳なら』というより、『今の資産を持ったまま17歳に戻れたら』の間違いだろう。
>>37
時代が違う。自分が17歳の頃はレコードを買わないといけなかった。今の17歳は、これまでに作られた音楽のほぼすべてを、インタビューやその他の関連資料まで含めて『今この場』にいながら無料で聴ける。昔は無かった可能性が今はある。それを活かさない人間は愚かだ。
時代が違う。自分が17歳の頃はレコードを買わないといけなかった。今の17歳は、これまでに作られた音楽のほぼすべてを、インタビューやその他の関連資料まで含めて『今この場』にいながら無料で聴ける。昔は無かった可能性が今はある。それを活かさない人間は愚かだ。
自分が17歳の頃はWindows Phoneアプリを作ってた。今思えば悪い選択だった。
>>38
自分も同じことをしたし、それ以前にも他のモバイル端末向けにコードを書いていたし、その後も他のモバイル端末向けにかなり野心的なソフトを大量に作った。過去に積んだ実践的な経験を無駄だったとは思わない。
自分も同じことをしたし、それ以前にも他のモバイル端末向けにコードを書いていたし、その後も他のモバイル端末向けにかなり野心的なソフトを大量に作った。過去に積んだ実践的な経験を無駄だったとは思わない。
>>38
すごい反例だけど、妙に共感できる。当時新しかったWindows Phone向けのXamarinじゃなくてAndroid開発に力を入れてたら、もっと早く『経済から解放されたテックブロー』になれてたかもな。
すごい反例だけど、妙に共感できる。当時新しかったWindows Phone向けのXamarinじゃなくてAndroid開発に力を入れてたら、もっと早く『経済から解放されたテックブロー』になれてたかもな。
ベンチャーキャピタリストが、自分がずっと(うまく)やってきたのと同じように、みんなに自分の将来の従業員になれと勧めている。
この人、金持ちなんだから黙って楽しんでればいいのに。年々発言がひどくなってる。
>>41
この人は黙っているのとは正反対のやり方で金持ちになったんだから、その部分だけスイッチを切るのは無理なんだろう。ある意味セットでついてくるものだよ(笑)
この人は黙っているのとは正反対のやり方で金持ちになったんだから、その部分だけスイッチを切るのは無理なんだろう。ある意味セットでついてくるものだよ(笑)
Yコンビネーターの人が、『もしタイムマシンがあったら、今何兆ドルもの価値がある技術を学ぶ』と言っている。はあ、そうですか。
『すでに成功した人に、もし若い頃に戻れたら何をするか』を聞くのって、いつも意味のない質問と回答のやり取りだよな。それを本人が自分自身に問いかけるとなると、もっと意味がない。
この人はテック業界での61年分の経験をもとにこの結論を出している。もし本当に17年分の経験しかない17歳だったら、こんな考え方はしないはずだし、するべきでもない。
>>2
その通り。アポロの月ロケット打ち上げを見て、『これからの宇宙時代に備えて、ティーンエイジャーはガレージでロケットを作る方法を学ぶべきだ』と言うようなものだ。おもちゃのプロジェクトとしてはありだけど、キャリアの選択肢としてはほぼ存在しない。
その通り。アポロの月ロケット打ち上げを見て、『これからの宇宙時代に備えて、ティーンエイジャーはガレージでロケットを作る方法を学ぶべきだ』と言うようなものだ。おもちゃのプロジェクトとしてはありだけど、キャリアの選択肢としてはほぼ存在しない。
>>51
初期のインターネットを見て、『ティーンエイジャーはウェブページの代わりにブラウザを自作するべきだ』と言うようなものだな。
初期のインターネットを見て、『ティーンエイジャーはウェブページの代わりにブラウザを自作するべきだ』と言うようなものだな。
※本記事は5ch(Hacker News)スレッド「I were 17, I’d learn how to build LLMs from scratch」より抜粋・要約して構成しています。
まだコメントはありません。