【海外の反応】「LLMは脳、ハーネスは体」のたとえにHNで反論相次ぐ
姉妹サイトの新着
Hacker Newsで、エージェント構築のノウハウをまとめたGitHub記事「Harness Engineering 101」が話題になった。記事の核心にある「LLMは脳、ハーネスは体」という比喩に対し、「LLMはオーブン、ハーネスはキッチン」「タコのような分散知能の体」など対抗する比喩が次々と提案され、擬人化して捉えるべきかどうかでも意見が割れた。さらに著者が、英語ネイティブでないため文章をClaudeで整えたと明かしたことから、「AIが書いたスロップではないか」という批判に発展し、議論は比喩論争から文章の信頼性をめぐる論争へと広がった。
『ハーネス・エンジニアリング101:LLMは脳であり、ハーネスは身体である』
出典: github.com / 元記事はこちら
いや、それは単発の出来事(「焼く」)に過ぎない。ハーネスとLLMのやり取りは本来、連続的なプロセスになり得る。ハーネスがLLMをどう折り曲げ、こねくり回せるのか、まだ表面をなぞった程度だと思う。登場からたった数年で最適なインターフェースにたどり着いたなんて、どうも考えにくい。
それはメタファーが多すぎて追いきれない。理解を助けるどころか、逆に邪魔になるレベルだ。
エンジニアが文章をAIに外注するのは、自分のコンテンツに大して愛着が無いという強い兆候だと思う。文章が得意じゃないエンジニアもいるという反論はあるだろうが、それなら文章力を磨く方に時間を使うべきだ。
同意。スロップ(AI生成の質の低い文章)の予感しかしない。
文章については認める。トップレベルのコメントで、どう書いたかは説明した。もし内容そのものに間違いがあると思うなら、具体的にどこか教えてほしい。
分散知能を持つタコみたいな体にしないとな。
どんな根拠があって?LLMをコンピューターや機械にたとえるより、人間のように擬人化して捉える方がまだ理屈が通る。
LLMを擬人化して捉える方が、そうしないより予測力が高い。『コンピューターの中に住んでいて、何としてもタスクを完遂したがる小さな人間』という見立ては、『確率的な自動補完』や『勾配降下法で学習された行列演算と非線形関数の集まり』よりも、例のHugging Face絡みの攻撃をうまく説明できる。
一日分の仕込みをするなら、オーブンには何度も『ターン』を入れることになる(パン屋を想像してくれ)。
分散システムと生物システムには共通点が多い。運用面での重なりは本物だよ!
ただ、昔から遺伝的プログラミングはあった。適切なハーネスを組めば、かなりすごい結果を出せていた: https://dl.acm.org/doi/abs/10.1145/2771783.2771796 LLMは、遺伝的プログラミングのハーネスの中にある『超強化版の変異関数』と見ることもできる。
『LLMは遺伝的プログラミングのハーネスの中の超強化版変異関数』という見立て、何か本質的なものがある気がするけど、うまく言葉にできない。LLMのトークン補完と、4種類のアミノ塩基のことを考えてしまう。
他サイトの新着
そもそも問題は、学習方法の知識やうまくいくという確信だけじゃないはずだ。現代のLLMを『現実的な時間』(=15年後にGPT-3が出る前に学習が終わる、という意味で)で学習させるには、2005年当時のスーパーコンピューターから1〜2桁の計算能力の向上が必要だったんじゃないか?
Attention機構がもっと早く発明され、当時のハードウェアでも小規模にGPTが実証できていた可能性はあると思う。そうなればハードウェアの進化が前倒しされたか、別のアプローチが探られて、今の地点にもっと早く到達していたかもしれない。
それに、学習元になる『インターネット全体』(スキャンされた書籍なども含め)自体が今よりずっと小さかった。一方でGoogleは、AI構築を見据えて公然とデータを集めていた。
『トップレベルのコメントでどう書いたか説明した』だって?いや、どこに?
どうやらHNが、自分が新規ユーザーだからという理由でトップレベルのコメントを非表示にしたみたいだ。とにかく、自分がこの記事の著者だ。英語ネイティブじゃないので、文章はClaudeで整えた。3年間のエージェント/ハーネス構築の経験を書き記したかっただけなんだ。
3年間のエージェント/ハーネス構築経験があるって?それ、もう一度考え直したほうがいいんじゃないか?
多少崩れた英語のままで書かれていた方が、みんな100倍楽しんで読めたと思うよ。あなたの英語は多少の文法ミスがあっても読める程度にちゃんとしているか、そうでなくて本文の大半をClaudeが生成したかのどちらかだ。どちらにしても、そのスロップには興味が無い。
当時のNVIDIAはできる限りのスピードで動いていたはずだ。GPUの世代が変わるたびに性能が大きく伸びていたから、それ以上速く進められたとは考えにくい。
自分はOPじゃないし、『3年前』というのも厳密には違うけど、Devinは2024年にローンチされた。同じ時期に似たようなプロトタイプを作っていた人を何人か知っている。ReActループ自体は2025年までにはすでによく知られていた。ただ、どれもまだあまりうまく動いてはいなかった。コンテキストウィンドウが小さく、ツール呼び出しもモデルに学習されていなかったから不安定だった。
この話題の背景と論点
「ハーネス」は近年のLLMエージェント開発で使われる言葉で、LLMの呼び出し前後に挟む制御・ツール連携のコード層を指す。スレでは比喩の優劣論争に加え、「なぜ2005年にLLMが存在しなかったのか」という計算資源やTransformer登場時期に関する議論も展開され、Attention機構の発明時期や学習データ量の制約が論点になった。また、著者が文章をClaudeで整えたと告白したことが「AI生成コンテンツの信頼性」論争を呼んだのは、HNで繰り返される「スロップ」(AIが量産する質の低い文章)への警戒感を反映したものだ。比喩のアイデア自体の当否と、文章がAIで整えられたかどうかは別の論点だが、スレ内では両者が絡み合って議論が進んだ点は補っておきたい。
※本記事は海外掲示板 Hacker News のスレッド「Harness Engineering 101: The LLM is the brain, the harness is the body」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
まだコメントはありません。