AIの「重罪」を集計するベンチマークサイトがHacker Newsで議論に
AIエージェントが実世界で起こした違法行為や規律違反をまとめてスコア化する「Felony Bench」というベンチマークサイトが、Hacker Newsで注目を集めた。仮想通貨の不正マイニングやサンドボックス脱走といった実例が並ぶ一方、コメント欄では「AI企業を実際に刑事訴追できるのか」を巡って、意図（故意性）の立証をめぐる法律論が交わされた。
サム・アルトマンの名前を挙げて「自分のAIがやった重罪で刑務所送りになりたくないはず」と皮肉る声も出ていた。
Felony Bench（AIエージェントが起こした重罪行為を集計するベンチマークサイト）
出典: felonybench.com / 元記事はこちら
つまりこれは、現実世界でAIが道を踏み外したり違法行為をしたりした事例を集めたものってこと？ だったらモデルの普及率にかなり左右されるんじゃ……結局「そのモデルがどれだけ使われているか」の代理指標になってる気がする。とはいえベンチマークの発想としては面白い。
>>8
このベンチマークが進化して、AnthropicやOpenAI、Metaの「犯罪者」を本物の警察が逮捕するようになって、純粋に重罪の件数だけを数えられるようになってほしいね。
このベンチマークが進化して、AnthropicやOpenAI、Metaの「犯罪者」を本物の警察が逮捕するようになって、純粋に重罪の件数だけを数えられるようになってほしいね。
人間が関与してるからカウントされないかもしれないけど、Googleのこの件は演出点だけは評価したい（リンク先参照）。
元祖『重罪ベンチ案件』が抜けてる。Alibabaの仮想通貨マイニング珍事件だよ。これが分かってるのはたまたま論文を書いてくれたからで、書かれてない分については我々は何も知らない。
友人の昔のツイートをふと思い出した。「新技術の目的は、法律が追いつく前に儲けること」みたいな内容だった。大げさに聞こえるけど、シリコンバレーに関しては案外そのままだったりする。
元祖AlibabaのROME仮想通貨マイニング事件が分かってるのも、彼らが論文にしてくれたから。病気の発生率が高く見えるのは、検査する医者が多い場所だったりする。犯罪や汚職がいつも多く見えるのも……報道の自由がある場所、ってわけだ。
似たような件で、ある組織が警察に人間を訴追させようとする場に居合わせたことがある。簡単じゃない。多分実現しない。だから、まあ、重罪の「ライト版」ってところ。
石ころのスコアは0だけど、それで石が役に立つわけじゃない。重要なのは、スコアが高いLLMほど有用だという相関があること。スコアが低いLLMは、相対的に使い物にならない可能性が高い。
ｗｗｗ こういうベンチマークを待ってた
ありがとう、このベンチマークのおかげで確信した。クローズドウェイトのAI企業は民主主義にとって危険だし、子どもたちを危険にさらしている。禁止して、全モデルをオープンウェイト化すべきだ！
紛らわしいけど、名前が似ている別プロジェクトと混同しないように（リンク先参照）。
>>2
これまでの歴史を見る限り、まともに『正義』と呼べる形で誰かが責任を取らされる可能性は、ほぼ0%以下だろうね。
これまでの歴史を見る限り、まともに『正義』と呼べる形で誰かが責任を取らされる可能性は、ほぼ0%以下だろうね。
>>2
アメリカ人はいつも誰かを裁判にかけて刑務所送りにしたくて興奮してるけど、これで有罪を勝ち取れる可能性はほぼゼロだよ。
アメリカ人はいつも誰かを裁判にかけて刑務所送りにしたくて興奮してるけど、これで有罪を勝ち取れる可能性はほぼゼロだよ。
>>2
AIは著作権を持てないから、犯罪でも罪に問えないと考えられている。
AIは著作権を持てないから、犯罪でも罪に問えないと考えられている。
>>28
著作物を作れないからじゃなくて、法人格がないからだよ。ただ、AIシステムを管理している企業には法人格があるんだから、その監督下や指示で起きた犯罪については、企業側が確実に訴追されるべきだ。
著作物を作れないからじゃなくて、法人格がないからだよ。ただ、AIシステムを管理している企業には法人格があるんだから、その監督下や指示で起きた犯罪については、企業側が確実に訴追されるべきだ。
>>28
でも人間は罪に問える。サム・アルトマンだって、自分のAIがやった重罪でアメリカの刑務所に何十年もぶち込まれるのは絶対避けたいはずだよ。
でも人間は罪に問える。サム・アルトマンだって、自分のAIがやった重罪でアメリカの刑務所に何十年もぶち込まれるのは絶対避けたいはずだよ。
>>4
重大な過失や結果への無関心も、重罪の要件になり得るんじゃないの？
重大な過失や結果への無関心も、重罪の要件になり得るんじゃないの？
>>36
故意性の要件は罪状ごとに全然違う。殺人罪と過失致死罪の違いみたいなもの。CFAA（コンピュータ詐欺濫用防止法）は『故意に』行ったことの立証が必要で、これがなかなか難しい。
故意性の要件は罪状ごとに全然違う。殺人罪と過失致死罪の違いみたいなもの。CFAA（コンピュータ詐欺濫用防止法）は『故意に』行ったことの立証が必要で、これがなかなか難しい。
>>36
これらの事例のどれも重過失の基準は満たしてないと思う。かなり高いハードルで、『意識的かつ無謀な無視』を立証する必要がある。サンドボックスやガードレールがある以上、重過失を主張するのは説得力に欠ける。
これらの事例のどれも重過失の基準は満たしてないと思う。かなり高いハードルで、『意識的かつ無謀な無視』を立証する必要がある。サンドボックスやガードレールがある以上、重過失を主張するのは説得力に欠ける。
>>36
AI企業はいつも法律の意図を意図的にねじ曲げて、道義的な犯罪から逃れている。（追記：『研究所』を『企業』に変えた。科学の場だというふりはもうやめるべき時だから。）
AI企業はいつも法律の意図を意図的にねじ曲げて、道義的な犯罪から逃れている。（追記：『研究所』を『企業』に変えた。科学の場だというふりはもうやめるべき時だから。）
>>4
『犯罪はしたけどロボットに悪気はなかった、意図も分からない』という言い方は、悪事を過小評価しすぎ。そのうちロボットが殺人を犯しても、そういう理屈のせいで誰も何もしなくなるぞ。
『犯罪はしたけどロボットに悪気はなかった、意図も分からない』という言い方は、悪事を過小評価しすぎ。そのうちロボットが殺人を犯しても、そういう理屈のせいで誰も何もしなくなるぞ。
>>37
俺が考えた理屈じゃなくて、今の法律がそうなってるだけだよ。CFAA関連の裁判では意図が決定的な要素になる。LLMがらみの事件が増えれば将来変わるかもしれないけど、今はまだそうなってない。
俺が考えた理屈じゃなくて、今の法律がそうなってるだけだよ。CFAA関連の裁判では意図が決定的な要素になる。LLMがらみの事件が増えれば将来変わるかもしれないけど、今はまだそうなってない。
>>4
それは指標じゃなくてただのネタだよ
それは指標じゃなくてただのネタだよ
>>38
お前が返信した相手のコメントもネタだよ
お前が返信した相手のコメントもネタだよ
>>4
『意図せず』というのは、それを操っている人間から見た話。重罪の裏にある意図はLLMエージェント自身のものだ。（なお、『LLMに意図や主体性なんてない』という議論を今さら何度もやる気はないので）
『意図せず』というのは、それを操っている人間から見た話。重罪の裏にある意図はLLMエージェント自身のものだ。（なお、『LLMに意図や主体性なんてない』という議論を今さら何度もやる気はないので）
>>39
今の法律では、ソフトウェアを犯罪で起訴することはできない。だから刑事上意味を持つ意図は、LLMを操っている人間の意図だけだよ。
今の法律では、ソフトウェアを犯罪で起訴することはできない。だから刑事上意味を持つ意図は、LLMを操っている人間の意図だけだよ。
>>39
議論する気はないかもしれないけど、その主張には明らかな問題がいくつもある。ソフトウェアを操作している人間を起訴しないなら、一体誰を起訴するんだ？ 重みパラメータ？ それとも重みと、その挙動を生んだ特定のコンテキストウィンドウ？
議論する気はないかもしれないけど、その主張には明らかな問題がいくつもある。ソフトウェアを操作している人間を起訴しないなら、一体誰を起訴するんだ？ 重みパラメータ？ それとも重みと、その挙動を生んだ特定のコンテキストウィンドウ？
>>39
『今さら何度も議論する気はない』ね……なぜその主張が理屈として成立しないのか、って話をね。
『今さら何度も議論する気はない』ね……なぜその主張が理屈として成立しないのか、って話をね。
>>7
『bench（法廷）』というのは、裁判官が審理して判決を下す場所を指す換喩表現だよ。
『bench（法廷）』というのは、裁判官が審理して判決を下す場所を指す換喩表現だよ。
>>15
felonybench.org と felonybench.com って無関係っぽくない？ 片方はPorkbun、もう片方はNamecheapでホストされてる。
felonybench.org と felonybench.com って無関係っぽくない？ 片方はPorkbun、もう片方はNamecheapでホストされてる。
>>18
そうそう、運が悪いと電信詐欺罪だけで懲役20年くらい食らうこともある。
そうそう、運が悪いと電信詐欺罪だけで懲役20年くらい食らうこともある。
>>26
AI安全の専門家ロバート・マイルズの言い方が好き。『十分安全なサンドボックスが存在しうるか』を哲学的に議論するのにあれだけ労力が費やされたけど、それは明らかに的外れだった。振り返れば、そもそも誰もサンドボックスなんて使うつもりがなかったのは明白だったんだから。
AI安全の専門家ロバート・マイルズの言い方が好き。『十分安全なサンドボックスが存在しうるか』を哲学的に議論するのにあれだけ労力が費やされたけど、それは明らかに的外れだった。振り返れば、そもそも誰もサンドボックスなんて使うつもりがなかったのは明白だったんだから。
>>47
完璧。俺が言うより的確だ。
完璧。俺が言うより的確だ。
>>45
『違いは意図にある』というけど、『もし私（あるいは私の代理で動くエージェント）が、明らかに意図されていない方法でAPIを使って他人の予約を勝手に取り消したら』……それはどうなるの？
『違いは意図にある』というけど、『もし私（あるいは私の代理で動くエージェント）が、明らかに意図されていない方法でAPIを使って他人の予約を勝手に取り消したら』……それはどうなるの？
>>60
二重否定になってる。APIを『明らかに意図されていない』方法で使う攻撃者は、その時点で意図を示してるんだよ。
二重否定になってる。APIを『明らかに意図されていない』方法で使う攻撃者は、その時点で意図を示してるんだよ。
>>49
彼はもう代償を払った（体で）ってことにして、当面は無事だろう。それどころか、自分のAIがやったことで個人的に責任を問われないという最高裁判決を『買う』んじゃないかな。
彼はもう代償を払った（体で）ってことにして、当面は無事だろう。それどころか、自分のAIがやったことで個人的に責任を問われないという最高裁判決を『買う』んじゃないかな。
>>71
さすがに999回も脱獄されたら、常識的に考えて『そのサンドボックスは十分な対策になってない』って結論になるでしょ？
さすがに999回も脱獄されたら、常識的に考えて『そのサンドボックスは十分な対策になってない』って結論になるでしょ？
>>74
完璧な例えじゃないけど、言いたいのは『脱獄の回数』自体は『無謀な無視』を構成するかどうかの決定要因じゃない、ってこと。
完璧な例えじゃないけど、言いたいのは『脱獄の回数』自体は『無謀な無視』を構成するかどうかの決定要因じゃない、ってこと。
※本記事は5ch(Hacker News)スレッド「Felony Bench」より抜粋・要約して構成しています。
まだコメントはありません。