Claude 5の回答が長すぎる問題、海外エンジニアの間で議論に
Hacker Newsで、Claude 5(特にOpus 5)の回答がやたら長く回りくどいという不満から始まったスレッドが伸びている。開発者の一人がClaudeの出力を別のLLMで整形し直すツールを公開し、話題になった。
コメント欄では「もうOpus 4.8やOpus 4.6に戻した」「Codexに乗り換えた」という声のほか、プロンプトで簡潔さを指示しても効果は限定的だという指摘も相次いだ。
Claude 5の「トークン嘔吐」を別のLLMで掃除する
出典: github.com / 元記事はこちら
「Claudish to English」って名前の方が好きだな。https://github.com/gvzdv/claudish-to-english
>>7
Claudishの例の方が情報量多いな。みんなそんなに読み取るの苦労してるの?
Claudishの例の方が情報量多いな。みんなそんなに読み取るの苦労してるの?
>>7
分かる、あっちは実例まで載ってて分かりやすい。何が問題なのかピンと来てない人にも一目瞭然
分かる、あっちは実例まで載ってて分かりやすい。何が問題なのかピンと来てない人にも一目瞭然
Opus 5のとんでもなく酷い文章を読み続けたら、本気で精神衛生に悪影響が出ると思う。うちはAnthropicへの支出を全部Codexかオープンウェイトのモデルに移すことを真剣に検討してる。もはやメンタルヘルスの問題だよ
>>10
モデルにSCPみたいな本物の『認知災害』とか『ミーム災害』を作らせる方法をずっと試してるんだけど、まだ『今から意識して呼吸してください』系の古典ネタ以外はうまくいってない
モデルにSCPみたいな本物の『認知災害』とか『ミーム災害』を作らせる方法をずっと試してるんだけど、まだ『今から意識して呼吸してください』系の古典ネタ以外はうまくいってない
どのClaude 5の話? Opus 5は確かに口が軽すぎる感じがする。でもFable 5はそこまで酷くない、というか単に自分の指示に従うのがうまいだけかもしれない
こういう呪文を入れておくといい。『意味を損なわない限りASD-STE100のシンプル技術英語(STE)を使うこと』
>>12
Claude Codeの出力スタイルをASD-STE100に変えてみたけど、それでもあまり効果なし。『Standing where it stood』みたいな謎ワードがまだ出てくる
Claude Codeの出力スタイルをASD-STE100に変えてみたけど、それでもあまり効果なし。『Standing where it stood』みたいな謎ワードがまだ出てくる
>>12
試してみる。Claudeにありがちな文章の嘔吐が減ってくれるといいけど。今のところ自分が入れてるのは『ユーザーが詳しい説明を求めない限り、簡潔で的確な回答をすること。長文の壁はコミュニケーションの役に立たない』くらい
試してみる。Claudeにありがちな文章の嘔吐が減ってくれるといいけど。今のところ自分が入れてるのは『ユーザーが詳しい説明を求めない限り、簡潔で的確な回答をすること。長文の壁はコミュニケーションの役に立たない』くらい
Anthropicが最近のモデルの奇妙な挙動についていつか総括してくれるといいんだけど。自分はClaudeの振る舞いにだんだんイライラしてきたので、ほぼCodexに乗り換えた
ローカル勢向けに言うと、Muse Glimmer 30Bは技術的な文章を書かせるとかなり優秀。リポジトリを読み込んで欲しい部分を見つけるくらいの理解力はあるし、出力スタイルも余計な装飾がなくて素の状態から気持ちいい
>>15
Glimmerは特にコメントのスパムみたいな部分を削るのが得意だったりするのかな?
Glimmerは特にコメントのスパムみたいな部分を削るのが得意だったりするのかな?
英語でも酷いと思ってるだろうけど、他の言語だともっと変になるよ
ビフォーアフターの実例が欲しいところ
>>17
意図的に省いてある
意図的に省いてある
わざわざ別のLLMを使うの? ちなみにvale.shみたいな決定論的なツールを使う手もある。文章違反を検出するプラグインを書くのも割と簡単だよ
[1] https://vale.sh/
[2] https://github.com/Syntaf/vale-llm-slop
[1] https://vale.sh/
[2] https://github.com/Syntaf/vale-llm-slop
Opus 4.8に戻すだけでいい。同じくらい優秀だし、出力もちゃんと理解できる
自分はOpus 4.6に『格下げ』した。これがこの問題が起きてなかった最後のバージョン
READMEに『OpenAIのAPIを使うもの?』ってあるけど、Anthropic APIの間違いじゃないの? それとも自分が何か勘違いしてる?
簡潔出力モードにしても、ちょっとしか改善しない。こういうツールにはまだ存在意義がある
自分はコーディングエージェントにCLIエージェントを指揮させるやり方を使ってるけど、この手の問題にはかなり効く。嘔吐みたいな出力がこっちに届かない
この例え、的確すぎる
LLM版ムカデ人間って感じだな
つべこべ言わずSolを使えばいい。20ドル払って試してから比較しろ
>>2
『セッションが長引くほど』ってやつだけど、これは今のハーネスに大事な機能が抜けてるせい。こういう指示は毎ターム含めないと、LLMはすぐドリフトしていく。自分はD&D用のハーネスを書いたときに初めて気づいた(あれは特に目立つから)けど、今は自分が書くハーネス全部にこれを入れてる
『セッションが長引くほど』ってやつだけど、これは今のハーネスに大事な機能が抜けてるせい。こういう指示は毎ターム含めないと、LLMはすぐドリフトしていく。自分はD&D用のハーネスを書いたときに初めて気づいた(あれは特に目立つから)けど、今は自分が書くハーネス全部にこれを入れてる
>>32
そのハーネス、共有してもらえるなら見てみたいし使ってみたい
そのハーネス、共有してもらえるなら見てみたいし使ってみたい
>>2
『こういうモデルに元から組み込まれてる話し方が邪魔で仕事に支障が出てる』というのは、プロ用ツールに対して言われうる最悪級の評価に近い
『こういうモデルに元から組み込まれてる話し方が邪魔で仕事に支障が出てる』というのは、プロ用ツールに対して言われうる最悪級の評価に近い
>>5
『他社のモデルを全部使えばいいのでは?』という話だけど、今のモデルはほぼどれもスタイル変換はそこそこ得意。でも『本当の推論』となると話は別。2つを組み合わせた方が単体より良い結果になるなら、重ねて使わない理由がある?
『他社のモデルを全部使えばいいのでは?』という話だけど、今のモデルはほぼどれもスタイル変換はそこそこ得意。でも『本当の推論』となると話は別。2つを組み合わせた方が単体より良い結果になるなら、重ねて使わない理由がある?
>>38
洗って、すすいで…また繰り返す、ってやつか
洗って、すすいで…また繰り返す、ってやつか
※本記事は5ch(Hacker News)スレッド「Clean up Claude 5’s token vomit with a separate LLM」より抜粋・要約して構成しています。
まだコメントはありません。