「Qwen 3.8 27Bにリバースエンジニアリングをやらせたら30分で完了」海外掲示板で議論に
海外の技術系掲示板Hacker Newsで、ローカルで動くLLM「Qwen 3.8 27B」にリバースエンジニアリングの仕事を任せたら30分で終わったという記事が紹介され、反応が集まった。
スレッドでは、安全性のガードレールを外した「アンセンサード版」モデルの是非や、プライバシーの観点からローカルモデルとクラウドのフロンティアモデルのどちらを使うべきかが主な論点になった。中にはアンセンサードモデルへのAPIアクセスを謳う新サービスの宣伝コメントも投稿され、皮肉混じりの反応を呼んでいた。
Qwen 3.8 27Bにリバースエンジニアリングの仕事を任せたら30分で終わった
出典: xda-developers.com / 元記事はこちら
自分のベンチマークだと、リバースエンジニアリングではDeepseek-v4-flashの方がQwen 3.8 27Bよりずっと成績が良かった。https://alexander-hanel.github.io/StressingLLMs/
なんでPi端末のスクショに、Qwenじゃなくてあなたのclaudeサブスクのopus-4.6-mediumが写ってるの?
>>7
そのページはAIで作られたものだから。
そのページはAIで作られたものだから。
個人的には、どんなツールを使いたがったのか、ハーネスの構成がどうなっていたのかをもっと知りたい。かなり面白そうな話だから。自分はArc Pro B70を2枚積んだ環境で、だいたい22 t/sくらい出ている。速くはないけど悪くもない(量子化は控えめな分マシ)。GPT 5.6 Solがバイナリを逆アセンブルしようとして、objdumpを普通に呼び出したり、Ghidraをヘッドレスで走らせるジョブまで書いているのを見たことがある。
>>8
その点について一行追記しました、最初は書いてなくてすみません!使ったのはPiで、Bashベースのツールだけです。
その点について一行追記しました、最初は書いてなくてすみません!使ったのはPiで、Bashベースのツールだけです。
>>8
自分のM5 Proだと12〜15(6bit MTP)くらい出る。最適化はまだ全然やってないけど。ローカルで動かす利点は、アンセンサードなモデルを使えて、「この古いルーターのファームウェアをリバースエンジニアリングして、動くライセンスキーをくれ」と頼んでもOpenAIアカウントの規約違反を気にしなくていいところ。
自分のM5 Proだと12〜15(6bit MTP)くらい出る。最適化はまだ全然やってないけど。ローカルで動かす利点は、アンセンサードなモデルを使えて、「この古いルーターのファームウェアをリバースエンジニアリングして、動くライセンスキーをくれ」と頼んでもOpenAIアカウントの規約違反を気にしなくていいところ。
ありがとう、おかげで自分もLenovo Thinkstation PGXが欲しくなった…オープンモデルから拒否反応を取り除くのはわりと簡単だと思う。負け戦っぽいのに、なんでAlibabaはわざわざそれをやってるんだろう?
>>4
豆知識:だいたいメールはオフラインのコレクションとしてダウンロードできる。そうすればリスクはない。メールに直接つなげるのはかなり危険に聞こえる。
豆知識:だいたいメールはオフラインのコレクションとしてダウンロードできる。そうすればリスクはない。メールに直接つなげるのはかなり危険に聞こえる。
>>4
バックアップ取ってあるといいけど。
バックアップ取ってあるといいけど。
>>5
Qwen3.8-27Bには制限なし版があって、Hugging Faceで公開されてる。「本来のQwen3.8-27Bなら拒否するような、有害・非倫理的・不快・違法なリクエストにも応じる。実質的なガードレールは組み込まれていない」とのこと。
Qwen3.8-27Bには制限なし版があって、Hugging Faceで公開されてる。「本来のQwen3.8-27Bなら拒否するような、有害・非倫理的・不快・違法なリクエストにも応じる。実質的なガードレールは組み込まれていない」とのこと。
>>17
> このビルドが違うのは、FP8の前に付く「uncensored」という言葉です。私たちはアブリテーション(残差ストリームから拒否方向を直交化して取り除く手法)を適用し、モデルの安全アライメントによる拒否を除去しました。結果として、元のモデルなら拒否するリクエストにも応じるモデルになっています。これって出力の質に意図しない悪影響が出るんじゃないの?
> このビルドが違うのは、FP8の前に付く「uncensored」という言葉です。私たちはアブリテーション(残差ストリームから拒否方向を直交化して取り除く手法)を適用し、モデルの安全アライメントによる拒否を除去しました。結果として、元のモデルなら拒否するリクエストにも応じるモデルになっています。これって出力の質に意図しない悪影響が出るんじゃないの?
>>29
手法によっては、実際に出る。
手法によっては、実際に出る。
>>29
出力がゼロ(質もゼロ)になるくらいなら、多少質が落ちるのは十分見合うトレードオフだよ。
出力がゼロ(質もゼロ)になるくらいなら、多少質が落ちるのは十分見合うトレードオフだよ。
>>5
全くの偶然ですが、私たちはまさにそれをやるサービス(アンセンサードなオープンモデルへのAPIアクセス)をもうすぐローンチするところです!今はウェイトリスト段階ですが、近日公開予定です!https://violentdelights.ai
全くの偶然ですが、私たちはまさにそれをやるサービス(アンセンサードなオープンモデルへのAPIアクセス)をもうすぐローンチするところです!今はウェイトリスト段階ですが、近日公開予定です!https://violentdelights.ai
>>18
この文脈だと、そのドメイン名は「最高」としか言いようがないね。ただ、法的にどう弁護するつもりなのか純粋に気になる。「AIでたぶん違法なことをやりに来てください!」って…え?まさか人がそこで違法なことをするなんて思ってもみませんでした!ってか。
この文脈だと、そのドメイン名は「最高」としか言いようがないね。ただ、法的にどう弁護するつもりなのか純粋に気になる。「AIでたぶん違法なことをやりに来てください!」って…え?まさか人がそこで違法なことをするなんて思ってもみませんでした!ってか。
>>5
「heretics」系のモデルや手作業での試行錯誤だけでもかなり遠くまで行けてしまって、そもそもこれが可能であっていいのか、倫理的な疑問すら湧いてくる。
「heretics」系のモデルや手作業での試行錯誤だけでもかなり遠くまで行けてしまって、そもそもこれが可能であっていいのか、倫理的な疑問すら湧いてくる。
>>5
まあ、少なくともgain-of-function(機能獲得)型のバイオ兵器研究の口実には使われてるね。
まあ、少なくともgain-of-function(機能獲得)型のバイオ兵器研究の口実には使われてるね。
>>6
AIは自分のデータに多くアクセスできるほど便利になる以上、パーソナルアシスタントのような用途でクラウドのAIモデルを使う自分の姿は想像できない。差分プライバシーや機密計算(confidential compute)を使えば話は別かもしれないけど…理想を言えば、こういうモデルはローカルで動くべきだと思う。
AIは自分のデータに多くアクセスできるほど便利になる以上、パーソナルアシスタントのような用途でクラウドのAIモデルを使う自分の姿は想像できない。差分プライバシーや機密計算(confidential compute)を使えば話は別かもしれないけど…理想を言えば、こういうモデルはローカルで動くべきだと思う。
>>21
それは単なる怠惰な思考だと思う。例えば「サブスクの更新が近づいたら知らせてくれるエージェント」みたいなのは、表面上は分かりやすいし実現しそうに見える。でも実装の細部に入っていくと「あー、これ無理だわ」ってなる。あの『openclaw』騒動もその一例。
それは単なる怠惰な思考だと思う。例えば「サブスクの更新が近づいたら知らせてくれるエージェント」みたいなのは、表面上は分かりやすいし実現しそうに見える。でも実装の細部に入っていくと「あー、これ無理だわ」ってなる。あの『openclaw』騒動もその一例。
>>6
そもそもフロンティアモデルとローカルモデルの根本的な違いって何なんだろう?
そもそもフロンティアモデルとローカルモデルの根本的な違いって何なんだろう?
>>23
プライバシーだよ!
プライバシーだよ!
>>16
> 制限もなく、止める人もいない状態で、誰でも自分のハードウェアで超高性能なモデルを動かせる世界を想像してみてほしい。これは軍拡競争のようなものだ。他の人たちがそうしている(できる)以上、自分もどんどん高性能なモデルを動かさざるを得なくなる。
> 制限もなく、止める人もいない状態で、誰でも自分のハードウェアで超高性能なモデルを動かせる世界を想像してみてほしい。これは軍拡競争のようなものだ。他の人たちがそうしている(できる)以上、自分もどんどん高性能なモデルを動かさざるを得なくなる。
>>25
いや、違うよ。
いや、違うよ。
>>27
Qwenはかなり検閲されてるよ。天安門について聞いたり、爆弾の作り方を聞いたりしてみればわかる。ただ、ローカルで試す分にはアカウントが凍結される心配をしなくていいのはありがたい。
Qwenはかなり検閲されてるよ。天安門について聞いたり、爆弾の作り方を聞いたりしてみればわかる。ただ、ローカルで試す分にはアカウントが凍結される心配をしなくていいのはありがたい。
>>31
自分も同じ懸念を持ってる。もし数千万ドル程度の予算で『キャプテン・トリップス』(『ザ・スタンド』に登場する架空の致死性ウイルス)級のものを作れるようになったら、他のことなんてもうどうでもよくなる。
自分も同じ懸念を持ってる。もし数千万ドル程度の予算で『キャプテン・トリップス』(『ザ・スタンド』に登場する架空の致死性ウイルス)級のものを作れるようになったら、他のことなんてもうどうでもよくなる。
>>38
検閲された入力に対してだけね。
検閲された入力に対してだけね。
※本記事は5ch(Hacker News)スレッド「I gave Qwen 3.8 27B a reverse-engineering job and it finished in 30 minutes」より抜粋・要約して構成しています。
まだコメントはありません。