「LLMが単純なのに致命的に苦手なこと」に海外エンジニアが回答殺到
Hacker Newsに「LLMが単純なのに全然できないことは何か」という質問が投稿された。投稿者は特化型モデルを作るためのアイデアを集めたいという狙いだった。回答では定番のハルシネーションに加え、ASCIIマップでの空間把握やアナログ時計の画像生成、ヒエログリフの翻訳など、具体的で意外な弱点が次々と挙がった。
LLMは事実のねつ造（ハルシネーション）をやめられないし、説明過多になるのもやめられない。細かい情報を正確に覚えていられないし、的確な質問を返せない、同じことを繰り返してしまう。
ASCIIマップから空間を把握しながら長期的な計画を立てること。NetHackみたいなゲームをAIにやらせてみるといい。
その場で画像に変換して画像対応モデルに読み込ませれば、普通にうまくいくと思うよ。
これらのモデルは文章を書くのが下手だ。文の構造がワンパターンになりがち。
文脈も学習もなしにモデルにそのまま書かせるならそうだね。でも自分の望む書き方を学習させたスキルを作れば、少なくとも自分好みの書き方をしてくれるようになるよ。
エジプトのヒエログリフを読んで翻訳できること。バカげてると思うかもしれないけど、ヒエログリフ翻訳専用に訓練されたLLMがあったらすごいと思う。
実際どんな問題が起きてる？わりと『直せそう』な話に思えるけど。
単純な質問への短い回答。
ゲームの攻略情報。何度もミスやでっち上げが起きる。いろんなゲームで経験した。OSRSみたいに優れたWikiが複数あるゲームでもそう。最近だとAnno 1800でClaude Opusを使ったとき、存在しないゲームシステムを平気ででっち上げられた。レインボーシックス シージも同様。
自分はNFS Heatで使ったけど問題なかったよ。
1から30の間でランダムな数字を選ぶこと。
ユーザーが指定した時刻に針を合わせたアナログ時計の画像を生成すること。まあLLMというより画像モデルの話だけど。
手話とファクトチェックがめちゃくちゃ苦手。
チェスエンジンを自分で書かせずにチェスを指すこと。
何か重要な（失敗が許されない）用途で頼むときはいつも。
会社名の提案。提案自体は悪くないんだけど、もうすでに使われている名前ばかり出してくる。
同じ質問を何度もしたときに一貫した答えを返すこと。
温度（temperature）を0に設定するといいよ。
他サイトの新着
空間認識と3Dリギング・アニメーション。あ、『簡単なこと』って言ったね。じゃあ人間らしく話すこと。
金融計算がめちゃくちゃ苦手。
ASCIIアートのグラフ。
科学…かな？！でも今それを直そうとしてるところ。
Claudeはまだノイズの多いグラフィカルデータ（心電図や染色体マイクロアレイのプロットみたいなもの）を読んで解釈するのが完璧じゃない。平均的な人間よりはまだマシだけど、ミスをする。質問の意図に合うかは分からないけど。
（今請求されている価格ではなく）実際のコストに見合う価値を提供すること。
それと、検索キーワードの最後に必ず『今年』をつけてくること（そうすれば結果が新しくなると思ってるんだろうけど）。現在の日付を教えるハーネスを使っていても、その『今年』はだいたい2〜3年前になってしまう。学習データの都合なんだろうけど。
自分もこれには気づいてたけど、この検索スタイルが学習された振る舞いなのかは正直はっきりしない。ツール呼び出しは事後学習（ポストトレーニング）にかなり組み込まれているから、こういう検索の仕方は訓練中に自然に出てくるものなんじゃないかと思ってる。まあ自分の勝手な予想だけど。
昔のAltaVista検索を思い出すな。うん、あれくらいひどかった。
※本記事は5ch(Hacker News)スレッド「Ask HN: What is one simple thing LLMs are insanely bad at?」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。