Opus 5.0の文章が支離滅裂に 海外エンジニアから「読みにくい」の声
Hacker Newsで、AnthropicのOpus 5.0が生成する文章が専門用語まみれで読みにくくなっているという指摘が広がった。「load-bearing」のような言い回しが急増したことや、モデルの思考連鎖（CoT）が出力に漏れ出しているのではという分析、電子透かしとの関連を疑う声も出ている。ユーザーたちは簡潔な英語での応答を強制する自作プラグインなど、それぞれの対策を披露していた。
Opus 5.0、支離滅裂さが天井知らず
出典: github.com / 元記事はこちら
「要約はすべてASD-STE100準拠のSimplified Technical English規格に従うこと」という一文を付け加えたら、かなり効果があった。これは別のHNスレで見つけた方法。
[0] https://www.asd-ste100.org/
[1] https://news.ycombinator.com/item?id=49114639
[0] https://www.asd-ste100.org/
[1] https://news.ycombinator.com/item?id=49114639
Opusの思考連鎖（chain of thought）のクセが、人間向けの出力にまで漏れ出しているんじゃないかと思う。例えば見かけた「バグはロックにあってクエリにはない」みたいな言い回しは、内部の思考で使う省略表現がそのまま出てきているように読める。
十分あり得る。昔から多少は漏れていたが、最近のモデルは特にひどい。そもそもLLMの文章表現に関する問題のほとんどは、指示チューニングやアライメント学習、CoT強化学習・シード付けの副産物。最近のモデルはベースの学習データにまでCoTのデータが混ざっている。
自分も同じ印象。やたら精密だけど人間とのコミュニケーションは下手、という話し方が推論強化学習を通じて紛れ込んだんだと思う。モデルが自分自身と対話する（CoT）ときには有用なのかもしれないけど。
Opus 5には「話をこじらせるのをやめろ」としょっちゅう指示している。とにかく専門用語だらけで、無駄なノイズを会話に足したがる。テキストの電子透かしと何か関係あるんじゃないかと思っている。
Claudeのこのおかしな挙動に対処するため、すべてのプロンプトに「Simplified Technical Englishで簡潔に答えて」を追加するbe-terseというプラグインを作った。
https://github.com/bigskysoftware/be-terse
https://github.com/bigskysoftware/be-terse
Anthropicが2兆ドル評価で上場するまで、こういう話は全部後回しでいいんじゃないの。全部直すって約束してるんだから。それまではコードの問題は自分で手直しして、向こうにはマーケティングと上場準備に専念させてあげよう。
ChatGPTだとこういうことは一切起きない。だから今はClaudeじゃなくてChatGPTを使っている、というのが大きな理由の一つ。
自分たちは文章は読んでいない、出てきたコードだけレビューしている。それで問題なく回っているし、品質も良い。
この言葉遣いの変化、次のモデルの学習にAI生成テキストが増えていることと関係あるんじゃないかとずっと思っている。
意思決定と創作的な文章表現の両方を同時に最適化するのは難しい。新しいモデルでどちらかが劣化するのも無理はない。
読んでてすごく面白い。結局、コマンドを実行するたびに走らせる /cleanup-prose というスキルを作ってしまった。
自分だけじゃなかったんだと分かって安心した。てっきり自分の英文読解力が足りなくてClaudeの文章を正しく理解できていないだけだと思っていた。
うちの5.6 Solが、Opus 5がコードベースに残した混乱を片付けるのに5時間もかかった。11ポイントまでは出力を注意深く見ていたけど、そこから肥大化が始まった。このモデルと仕事をするのは完全に時間の無駄。
モデルが数世代前のときに /bro というものを作った。毎日何度も使っているけど、どんどん悪化している。実はGPT系のモデルの方をよく使うようになっていて、あちらは良くなってきている。
https://github.com/backnotprop/bro/blob/main/skills/bro/SKIL…
https://github.com/backnotprop/bro/blob/main/skills/bro/SKIL…
これって目に見えない電子透かしとどれくらい関係あるんだろう。
とても鋭い指摘だ、完璧に言い当てている！
自分たちのコードベースで「load-bearing」をgrepしてみたら、もう何百回も出てきた。このせいでOpusのことが本気で嫌いになりつつある。読んでいて苛立つだけになってきた。
2月からClaudeに書かせてきたプランを見返すと、「load-bearing」という表現が最初に出てきたのは5月上旬だった。
自分の感覚では、言葉遣いは世間で言われているほど問題じゃなくて、それより推論の質が驚くほど、信じられないくらい悪い。なぜ言葉遣いの話ばかり注目されているのか分からない。こう感じているのは自分だけ？
自分もそう感じている。「それだと前に言ったことと変わってしまいます」みたいな文言を1日に何回見せられたら、もうこれをゴミ箱に捨てて忘れてしまいたくなるんだろう。
そういうことをしないよう指示すればいいだけでは。
リンク先のissueを読んでいないようだ。それがうまくいかない理由が少なくとも2つ書かれている。1. 文字通り効果がない。指示してもClaudeはすぐこの文体に戻ってしまう。2. 文体を制約すると、モデルが学習分布から外れてしまい、それが作業の質にどれだけ影響するかがまったく分からない。
それは効かない。
対策として、Opus 5を使うのはFable 5がオーケストレーションしている場合だけにすることにした（笑）。Opus 5の使用感は本当にひどい。軌道修正してくれることを願う。
そんなお金は持ってない（涙）
「genuinely（心から）」はどうよ。なぜかあの言葉がすごく気に障る。
それは、他のClaude特有の言い回しと同じで、高校生が作文の文字数稼ぎをしているような雰囲気を醸し出しているからだと思う。
自分も同じ。説明を「素人にも分かる言葉で」と頼むのも効果があった。
そうなんだけど、あの魂だかシステムだか（オペレーターレベルで話せというやつ）のせいで、「layman」と言うと今度は逆に単純化しすぎようとしてくる感じがする！
※本記事は5ch(Hacker News)スレッド「Opus 5.0 drives incoherence into the stratosphere」より抜粋・要約して構成しています。
まだコメントはありません。