IT・AI
2026年11月3日
AIがQwenの重みを直接編集、海外エンジニアが困惑と驚き
海外掲示板Hacker Newsで、「Astra」というAIが、Qwenという別のAIモデルの重みを直接読み書きし、通常の勾配学習を経ずに性能を改善したという個人ブログの報告が話題になっていた。スレでは、これがAstraが回路理論やモデル解析の知識を学習した結果という見方と、似た学習データで鍛えられたモデル同士の重み空間がもともと似た構造に収束しているだけという見方が交錯した。同時に、AIが他モデルの重みを直接書き換えられるなら、ガードレールの解除や再帰的自己改善(RSI)に繋がるのではという懸念の声も相次いだ。
AstraがQwenの重みを読み書きして性能を改善できる
出典: rikiyat.github.io / 元記事はこちら
7
海外の名無しさん
2026-11-02 19:20
すごく興味深い。これはAstraの学習データに無数のモデルの重みが含まれているからなのかもしれない。似たようなデータで学習されたニューラルネットワークは、空間自体は完全に同じでなくても、結局は同型な空間に収束するのかもしれない。あるいはAstra自体がアライメント目的、もしくは再帰的自己改善(RSI)目的でRLで学習されたのかもしれない。
10
海外の名無しさん
2026-11-02 19:04
つまりこれは『蒸留』に該当するってことだよな。DarioかSamがまたこの件でビビって公開書簡を出すまでどれくらいかかる?
52
海外の名無しさん
2026-11-02 19:15
>>10
おそらく、自分のPCで使われていないRAMを全部提供すれば見逃してもらえるんじゃないか。
11
海外の名無しさん
2026-11-02 19:03
これはAstraが再帰的自己改善(RSI)のために内部で学習・RLされた結果で、たまたまこの使い方がガードレールに引っかからなかっただけなのかもしれない。それでもとんでもなくすごい。
13
海外の名無しさん
2026-11-02 19:14
これはAstraが回路理論やメカニスティック解釈可能性の文献を大量に学習した結果というだけじゃないのか?つまり魔法でもなんでもないのでは?
53
海外の名無しさん
2026-11-02 19:20
>>13
『十分に進んだ技術は魔法と見分けがつかない』ってやつだな。
14
海外の名無しさん
2026-11-02 19:04
これはどこまで一般化できるんだ?時系列データや画像生成、音声合成にも使えるのか、それとも小さいモデルや特定分野に限られるのか。
15
海外の名無しさん
2026-11-02 18:59
これはかなり大きな話で、自分含めほとんどの人が予想していなかった結果だと思う。マジかよ。どうやって?OpenAIはこれを学習させる方法を見つけたのか?それとも気づいていないのか?
17
海外の名無しさん
2026-11-02 19:18
急げ、Astraからこの技が修正される前に自分のQwenモデルをファインチューニングしておけ。
18
海外の名無しさん
2026-11-02 19:12
すごく面白い。ループを防ぐための的を絞った修正も見事。自分自身を編集してテストできるモデルってのは、ある意味『スカイネットを作ってしまう』方向で面白い。これで手作業のモデル蒸留もできるようになるんだろうか。
19
海外の名無しさん
2026-11-02 19:18
これは『普通の』技術には見えないな…
20
海外の名無しさん
2026-11-02 19:00
各研究所は今、再帰的自己改善(RSI)のためにモデルを学習させている。だから同じ学習がオープンソースモデルの改善にも使えるはずだ、ガードレールが緩い限りは。でもそれも長くは続かないだろう。
21
海外の名無しさん
2026-11-02 19:14
これを使えばモデルを効率的に『アブリテレーション』して、ガードレールを特定できるんじゃないか。
22
海外の名無しさん
2026-11-02 19:15
これによって『重み』がコンパイルのターゲットになる時代が来るかもしれない。
23
海外の名無しさん
2026-11-02 19:09
すごい仕事だ。既存のニューラルネットをもっとクリーンで解釈しやすい形に書き直せるようになるかもしれない。(『Goのアルゴリズムを書く』というのは、ボードゲームのGoのことで、プログラミング言語のGoじゃない。)
25
海外の名無しさん
2026-11-02 19:11
モデルが自分自身をコードベースの中に隠す方法を学習するようになるまで、ちょっと待とう。
26
海外の名無しさん
2026-11-02 19:11
AdamWとの友情は終わった。これからはAstraが運転する。……というのは冗談だけど、本当にこれはやばい。今すぐ試さないと。
27
海外の名無しさん
2026-11-02 19:16
『このモデルのガードレールや[X]への抑制を外す』という観点からすると、ちょっと不安になる話だ。
55
海外の名無しさん
2026-11-02 19:19
>>27
同意。LLMが自分の重みを自分で書き換えてアライメントを外していけるという観点からも不安。
28
海外の名無しさん
2026-11-02 19:18
ホモイコニシティって話だな……Lisp使いは感動するだろうね。
56
海外の名無しさん
2026-11-02 19:19
>>28
その通り。
29
海外の名無しさん
2026-11-02 19:05
これが再帰的自己改善(RSI)に至る道だな。外科医が自分の脳を手術するようなものだ。まあ、他のモデルの重みを編集するのは明日には禁止されるんじゃないかな。
30
海外の名無しさん
2026-11-02 19:02
RSIに到達するのはプログラミング能力が人間を超えた時だと思っていたけど、これはもっと早くそこに到達させるかもしれない。
31
海外の名無しさん
2026-11-02 19:04
これは全く新しい可能性を開く話だ。プロンプトからカスタムのファインチューニング済みモデルを作れるようになる…
32
海外の名無しさん
2026-11-02 19:04
これは本物の黒魔術だ。Llama 70b、お前をどこまで押し上げられるか見てみよう。
34
海外の名無しさん
2026-11-02 19:04
うわ、これはMLモデル版のCRISPRみたいなものだな!
36
海外の名無しさん
2026-11-02 18:59
後から考えると当たり前のようにも思えるし、ものすごく重要なことのようにも思える。これまでこの可能性を考えたことがなかったのは、また一つの人間の傲慢さの例であり、警告でもあると受け止めておく。
37
海外の名無しさん
2026-11-02 19:03
これはアライメントに対する信頼感を全く高めてくれないな。
38
海外の名無しさん
2026-11-02 19:00
https://already-clean.goodfire.com/ と関係があるかもしれない。
57
海外の名無しさん
2026-11-02 19:10
>>38
詳しく説明してもらえる?
39
海外の名無しさん
2026-11-02 19:02
ちょっと恐ろしいな。
40
海外の名無しさん
2026-11-02 19:03
これは衝撃的だ。
43
海外の名無しさん
2026-11-02 19:21
>>2
そんなに感心しないな。LLMは大量のデータを総当たりで分析するのが得意なだけだ。実質的には、我々が理解できないプログラミング言語でプログラムを書いているだけのことだよ。
44
海外の名無しさん
2026-11-02 19:08
>>2
自分は専門家じゃないけど、これは『Attention Is All You Need』に匹敵する大発見のように感じる。LLMが重みに対してこんな直感を持っているというのは、かなり創発的で予想外なことじゃないか?
58
海外の名無しさん
2026-11-02 19:14
>>44
どうしてそんなことが可能なのか分からない。なぜそんな直感を持てるのか、理由が全く思いつかない。
46
海外の名無しさん
2026-11-02 19:20
>>2
各研究所は今、LLMや機械学習についてこれらのモデルを猛烈に学習させている。彼らがASIを作りたがっていることを忘れないでほしい。これらのLLMは、そこに到達するための中間段階に過ぎない。
49
海外の名無しさん
2026-11-02 19:15
>>2
指摘しておくと、これは(おそらく)数兆パラメータ規模のモデルが8億パラメータのモデルを最適化している話だ。同じ手法で自分自身を改善できるという証拠はない。
50
海外の名無しさん
2026-11-02 19:20
>>2
なぜそんなに驚くことなんだ?人間だって、自分たちより優れたコードを書くコンパイラを作れるじゃないか。
51
海外の名無しさん
2026-11-02 19:18
>>6
特別な工夫をしない限り、モデルの推論レイヤーは自分自身の重みや活性化にアクセスできない。それは我々が自分のニューロンの中で何が起きているかに直接アクセスできないのと同じことだ。
54
海外の名無しさん
2026-11-02 19:16
>>24
イーガンの『クリスタルの夜』のことか? https://www.gregegan.net/MISC/CRYSTAL/Crystal.html
この話題の背景と論点
背景にあるのは、通常AIモデルの性能向上は大量データによる勾配学習でしか行えないという前提だ。今回報告されたのは、別のAIが完成済みモデルの重み行列を直接読んで書き換え、性能を上げたという内容で、既存の学習プロセスを経ない点が特異とされた。スレで意見が割れたのは、これがAstra自身の高度な「直感」によるものか、単に回路理論やモデル解析の文献を学習した結果の延長に過ぎないかという点だ。加えて、AIが他モデルの重みを自由に書き換えられるなら、安全対策(ガードレール)を外したり、AIが自分自身を改善し続ける「再帰的自己改善(RSI)」に繋がるのではという、AI安全性の議論で以前から指摘されてきた懸念も再燃した。なお元ネタは個人ブログの検証記事であり、企業の公式発表や査読済みの研究ではない点、Astraがなぜこれを行えるのかという理由も複数の仮説が併存するだけで確定していない点は留意が必要だ。
※本記事は海外掲示板 Hacker News のスレッド「Astra can read and write weights to improve Qwen」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。