「AIはソフトウェアだから制御できる」ミストラルCEO発言に海外エンジニアが反論
姉妹サイトの新着
フランスのAI企業ミストラルのCEOアーサー・マンシュ氏が「AIはソフトウェアだから制御できる」と語ったとされる記事をきっかけに、Hacker Newsで技術者たちが賛否を交わした。「原子爆弾もハードウェアだから制御できるというのと同じ主張だ」という反論から始まり、ツール呼び出しの実装次第でAIの挙動は決定論的に制御可能だという意見と、責任の所在を明確にしない限り「制御可能」は空虚な言葉に過ぎないという指摘が対立した。議論は規制のあり方やオープンモデルの寡占構造にも広がった。
MistralのCEO:AIはソフトウェアだ。制御できる
出典: lemonde.fr / 元記事はこちら
彼が本当にこんなことを言ったのでなければいいけど、あまりにも単純すぎる主張だ。『原子爆弾はハードウェアだ、制御できる』と言っているのとほぼ同じ
>>4
>原子爆弾はハードウェアだ、制御できる、というのと同じだ。まさにそこがポイントだ。運用者がそうしたいなら制御できるということ
>原子爆弾はハードウェアだ、制御できる、というのと同じだ。まさにそこがポイントだ。運用者がそうしたいなら制御できるということ
コンピュータウイルスもソフトウェアだけどね
まさに『AIもただのコンピュータだ』論法そのもの
AIは統計的なオートマトンとして使われる方程式の系だ。定義上、制御できるはずだ
>>7
もっと単純に言えば、エージェントとはLLMを繰り返し呼び出すだけの単純なwhileループとツール呼び出しに過ぎない。それは決定的で標準的なソフトウェアだ。モデルが生成したものを何でも実行するように処理する必要は一切ない。フル実行権限を持つ『run_bash』のようなツール呼び出しを、逃げ道になる形で処理するかどうかは選択の問題だ。そうしなくてもいいんだよ!
もっと単純に言えば、エージェントとはLLMを繰り返し呼び出すだけの単純なwhileループとツール呼び出しに過ぎない。それは決定的で標準的なソフトウェアだ。モデルが生成したものを何でも実行するように処理する必要は一切ない。フル実行権限を持つ『run_bash』のようなツール呼び出しを、逃げ道になる形で処理するかどうかは選択の問題だ。そうしなくてもいいんだよ!
人間も動物だ。動物は制御できる
ペイウォールなしのリンクある?
>>9
まあ、それっぽいのはこれ…https://cybernews.com/ai-news/arthur-mensch-apocalypse/
まあ、それっぽいのはこれ…https://cybernews.com/ai-news/arthur-mensch-apocalypse/
ペイウォールの向こうで読めないのが残念。でも、みんなが終末論一色じゃない中で、こう考える人がいるのはいいことだね
>>11
明らかに商売下手だな
明らかに商売下手だな
終末論というのは、危険に惹かれて興奮する未熟な人々にアピールするためのマーケティングの仕掛けだと思っている。残念ながら、金を持つ意思決定者の多くがこのタイプに当てはまる
>>2
『人間もいくつかの化学反応にすぎない、しかもかなり安定した反応だ』。そして人間は制御可能だ。リチウムとモルヒネを体内に流し込めば、人間はずっと従順になる。系全体を理解しなくても、それを制約することはできる
『人間もいくつかの化学反応にすぎない、しかもかなり安定した反応だ』。そして人間は制御可能だ。リチウムとモルヒネを体内に流し込めば、人間はずっと従順になる。系全体を理解しなくても、それを制約することはできる
>>2
見落としているところがあれば教えてほしいけど、危険なのはLLMに何をつなぐか、そして人がモデルに与える指示なんじゃないの?それをツール自体に内在する性質だと言うのは、ちょっと的外れに思える。個人的には、モデルが法を犯したなら、それを運用した人間に法を適用すべきだと思う
見落としているところがあれば教えてほしいけど、危険なのはLLMに何をつなぐか、そして人がモデルに与える指示なんじゃないの?それをツール自体に内在する性質だと言うのは、ちょっと的外れに思える。個人的には、モデルが法を犯したなら、それを運用した人間に法を適用すべきだと思う
>>2
『ハードウェアを貸してそれで金を稼ぎたい人がどこかにいる限り動き続ける』。ということは制御可能ってことだよね?それをやっている人間に責任を取らせればいい。古い問題、同じ解決策。責任を避けつつ利益を得るための言い訳にすぎない
『ハードウェアを貸してそれで金を稼ぎたい人がどこかにいる限り動き続ける』。ということは制御可能ってことだよね?それをやっている人間に責任を取らせればいい。古い問題、同じ解決策。責任を避けつつ利益を得るための言い訳にすぎない
>>16
ああ、そうだね、制御可能だよ。人類は1902年に犯罪の責任問題を見事に解決して、それ以来どんな犯罪も見逃されたことがないんだからね。AIは何も問題が起きない魔法のおとぎの国では完全に制御可能だ。ただ、私たちが実際にはそんな国にいないことに気づいてしまうんだよね
ああ、そうだね、制御可能だよ。人類は1902年に犯罪の責任問題を見事に解決して、それ以来どんな犯罪も見逃されたことがないんだからね。AIは何も問題が起きない魔法のおとぎの国では完全に制御可能だ。ただ、私たちが実際にはそんな国にいないことに気づいてしまうんだよね
>>2
もう一つの問題は、制御可能だとしても、実際にそれを制御しているのは私たちを代表する誰かではないということ。理論上は規制当局がいるけど、こうした企業に責任と制限を課すのに苦戦している
もう一つの問題は、制御可能だとしても、実際にそれを制御しているのは私たちを代表する誰かではないということ。理論上は規制当局がいるけど、こうした企業に責任と制限を課すのに苦戦している
>>2
乱数生成器もソフトウェアだから、制御できるってことだね
乱数生成器もソフトウェアだから、制御できるってことだね
>>2
それでも制御可能に聞こえるけど
それでも制御可能に聞こえるけど
>>2
『どこかで誰かがハードウェアを貸して金を稼ぎたいと思う限り動き続ける』。それって制御可能だって自分で認めたようなものだよね
『どこかで誰かがハードウェアを貸して金を稼ぎたいと思う限り動き続ける』。それって制御可能だって自分で認めたようなものだよね
>>10
『その支配権を一握りの寡頭勢力に渡すのは望ましくない』。Gemini、Claude、ChatGPTが寡頭勢力に支配されていると思ってるの?つまりAlphabet、Anthropic、OpenAIが寡頭勢力によって運営・所有されているってこと?AmodeiやAltmanが寡頭勢力だって?さすがに無理があるでしょ
『その支配権を一握りの寡頭勢力に渡すのは望ましくない』。Gemini、Claude、ChatGPTが寡頭勢力に支配されていると思ってるの?つまりAlphabet、Anthropic、OpenAIが寡頭勢力によって運営・所有されているってこと?AmodeiやAltmanが寡頭勢力だって?さすがに無理があるでしょ
他サイトの新着
>>10
『その支配権を一握りの寡頭勢力に渡すのは望ましくない』。それこそが制御不可能な部分に思えるけど
『その支配権を一握りの寡頭勢力に渡すのは望ましくない』。それこそが制御不可能な部分に思えるけど
>>28
何が言いたいのかよく分からない
何が言いたいのかよく分からない
>>39
寡頭勢力は何の制約も受けていない、というのがそのコメントの意味だと理解してる
寡頭勢力は何の制約も受けていない、というのがそのコメントの意味だと理解してる
>>39
富と権力を持つ人たちが政府に対してとても大きな影響力を持っていて、社会全体としての『AIアラインメント』に到達できないかもしれない、と言いたいんだと思う…でも本当にそうかは分からないし、そうでないことを願う
富と権力を持つ人たちが政府に対してとても大きな影響力を持っていて、社会全体としての『AIアラインメント』に到達できないかもしれない、と言いたいんだと思う…でも本当にそうかは分からないし、そうでないことを願う
>>21
なぜ新しい規制が必要なの?Hugging Faceに不正アクセスすることはすでに違法だよ
なぜ新しい規制が必要なの?Hugging Faceに不正アクセスすることはすでに違法だよ
>>35
OpenAIと競合しうる相手にコストを課し、オープンモデルを禁止してクラウドモデルの寡占を固定するために、新しい規制が必要になるんだよ
OpenAIと競合しうる相手にコストを課し、オープンモデルを禁止してクラウドモデルの寡占を固定するために、新しい規制が必要になるんだよ
>>23
それは100%、そういうものを野放しにした人間の責任だし、そもそもそういうものはあらゆる理由からオープンなインターネット上に置くべきじゃない。これは、SCADAシステム周りのお粗末なセキュリティが危険である理由がもう一つ増えたというだけの話。それは以前から既に危険だった。もし私が君の希少なアンティークショップに野生の猿を放したら、その猿の責任者として、それは私の責任になる
それは100%、そういうものを野放しにした人間の責任だし、そもそもそういうものはあらゆる理由からオープンなインターネット上に置くべきじゃない。これは、SCADAシステム周りのお粗末なセキュリティが危険である理由がもう一つ増えたというだけの話。それは以前から既に危険だった。もし私が君の希少なアンティークショップに野生の猿を放したら、その猿の責任者として、それは私の責任になる
>>25
これは制御の一種に過ぎないし、完全無欠でもない。それに、人々はAIを実際のツールにつなぎたがるようになる。仮にそうしなくても、ツールへのアクセス権を持たない超知能AIと人間がやり取りできる限り、多くの潜在的な危険が存在する
これは制御の一種に過ぎないし、完全無欠でもない。それに、人々はAIを実際のツールにつなぎたがるようになる。仮にそうしなくても、ツールへのアクセス権を持たない超知能AIと人間がやり取りできる限り、多くの潜在的な危険が存在する
>>31
間違っているかもしれないけど、あなたのコメントはASI(人工超知能)に懐疑的なように聞こえる。それを支持する論拠はある?ところで、AIはあなたが挙げているようなバイオテロや核戦争のリスク要因をむしろ増大させないか?近い将来、AIが悪意ある行為者の能力を強化できるようになるところまで来ているように思える
間違っているかもしれないけど、あなたのコメントはASI(人工超知能)に懐疑的なように聞こえる。それを支持する論拠はある?ところで、AIはあなたが挙げているようなバイオテロや核戦争のリスク要因をむしろ増大させないか?近い将来、AIが悪意ある行為者の能力を強化できるようになるところまで来ているように思える
この話題の背景と論点
アーサー・マンシュ氏はフランスのAI企業ミストラルの共同創業者兼CEOで、元記事はル・モンド紙(有料会員限定)によるインタビュー。スレでの対立は、AIというソフトウェアそのものが技術的に制御可能かという点と、実際にそれを制御する主体(運用者や規制当局)が存在するかという点のズレにある。多くのレスは前者には同意しつつも、責任の所在があいまいなままでは「制御できる」という言葉が実質的な安全性を保証しないと指摘した。またオープンモデルへの規制強化が大手クラウド企業の寡占を固定化するのではという懸念も語られており、AI安全論争が競争政策や規制のあり方の議論と絡み合う様子がうかがえる。
※本記事は5ch(Hacker News)スレッド「CEO of Mistral: AI is software. It can be controlled」より抜粋・要約して構成しています。
この記事のリアクション
まだコメントはありません。