「テレビゲームをクリア」したAI、ベンチマークの信頼性に疑問の声
姉妹サイトの新着
他サイトの新着
- 5chまとめMAP【悲報】ワイさん、最近「デブ女キャラ」が好きになってしまった模様
- ニュース速報まとめMAP【皇室】葬儀簡素化で何が変わる？上皇さまの意向と宮内庁の苦悩、国民が知るべき「真実」
- なんJ傑作まとめアンテナMAP【衝撃】「ドラゴンボール超ビルス」、10月11日から“エンハンスド版”で復活ｗｗｗｗｗｗｗｗｗｗ
- アニメ声優まとめアンテナMAPなろうパーティ「あんたは追放よ…！荷物を多く持てるだけなんていらない」 主人公「え、そんな・・・僕がいなかったら…」
- VTuberまとめアンテナMAP【にじさんじ】カラオケまねきねこ×にじさんじ／NIJISANJI EN コラボ開催決定
- だめぽアンテナ【CN悲報】ネパールの大洪水、中国のせいだった
- ヌルポあんてな【動画】芦田愛菜さん、完璧な英語を披露した結果なぜか自認旦那たちの鼻が高くなってしまうw w w w w w w w w w
- 2chまとめアプリ+【ＧＩＦ画像】フフッとしたら寝ろｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
- News人タレント・千秋さん「ドバイは今や日本より治安が良く安全。何故なら・・・」→納得の理由がこちらｗｗｗｗｗ他
- ブルーアンテナオッサン二人組が東海道を徒歩で移動しながら毎日美味いものを食って風俗紹介してレビューする小説を書こうと思う
- ウマーあんてなCerebrasが新モデルを秒間1500トークンで提供、海外の反応
- 5chnavi【ニュース】ネパール大洪水、トヨタが救助で大活躍！！！！
- 海外反応・海外ニュースまとめ【海外の反応】マリナーズ新人が2安打デビュー→「イチロー以来25年ぶり」に地元総立ち
- 海外の反応アンテナ.com外国人「hololiveスレだぞ。ホロEN、ホロJP、ホロID、みんな語ろうぜ」
- ライムアンテナ【ウマ娘】ウマ娘を描いてくれ（2026/08/30）2
- キター！アンテナ移民が大規模流入のスペイン飛び地セウタ、性的暴行が「ほぼ毎日」発生 検察当局
- つべこアンテナ夜７時ごろ、縁側のガラス戸が突然どーんと叩かれた。家全体が揺れるような大きな音だった。【再】
- ２ちゃんマップ【エロ板まとめ】【悲報】昭和の日本さん、女子小学生の全裸放送OKだった
- カオスアンテナ「サンバdeトリコ!!!」で1時間耐久しようぜ
- 即まとch四千頭身・後藤、厳しい金銭事情を明かす 通っていたジムも退会「支払いが無理で…」
新しいAIモデルが「テレビゲームをクリアできるようになった」とするベンチマーク結果が話題になり、海外掲示板4chanの/g/（Technology）板にスレッドが立った。グラフには専用の「ハーネス」を使った結果が示されていたが、過去の結果と条件が違うのではないか、テスト対象のゲームを事前に学習していただけではないかといった指摘が相次いだ。スレでは、AIそのものの進歩よりも、ベンチマークの見せ方や測定条件が信頼できるかどうかが主な論点になった。
AIがついにテレビゲームをクリアできるようになった
>>1
>「うちのレスポンスAPIハーネスのおかげで」
うーん…
>「うちのレスポンスAPIハーネスのおかげで」
うーん…
>>1
>いやー、AGIまで99.9%とか凄いな。ってことはガンも、世界的な格差も、他の問題も全部解決するんだよな？な？
>いやー、AGIまで99.9%とか凄いな。ってことはガンも、世界的な格差も、他の問題も全部解決するんだよな？な？
>>4
規制があるから時間はかかるけど、もう役には立ってるよ。斜に構えるなって
規制があるから時間はかかるけど、もう役には立ってるよ。斜に構えるなって
>>1
来年が待ちきれないよ。モデルがほんの少し良くなるだけで、グラフは今と全く同じ形のまま、短い棒が99.9%、長い棒が99.999%になってるだけなんだろうな
来年が待ちきれないよ。モデルがほんの少し良くなるだけで、グラフは今と全く同じ形のまま、短い棒が99.9%、長い棒が99.999%になってるだけなんだろうな
>>1
そのベンチマークはクソだよ。リソースを十分に与えれば、モデルはゲームの中身を丸ごとコピペして、一番当てはまりそうな答えを検索してるだけになる
そのベンチマークはクソだよ。リソースを十分に与えれば、モデルはゲームの中身を丸ごとコピペして、一番当てはまりそうな答えを検索してるだけになる
>テレビゲーム
お前な…
お前な…
『ゲームをクリアできる』って、俺が10歳の時にクリアしたポケモンのことか？
>>1
学習データに既に攻略情報が載っているゲーム（あるいは単なる見た目違い）でテストするのは、『学習』＝適応する能力を測ってるんじゃなくて、単に『記憶』＝思い出してるだけだ。凡庸なスレだし、明らかに過学習した凡庸な数字だな
学習データに既に攻略情報が載っているゲーム（あるいは単なる見た目違い）でテストするのは、『学習』＝適応する能力を測ってるんじゃなくて、単に『記憶』＝思い出してるだけだ。凡庸なスレだし、明らかに過学習した凡庸な数字だな
>>1
>AIがテレビゲームをクリアできるようになった
やったー、これでコンピューターが俺の人生を代わりに生きてくれる日も近いな
>AIがテレビゲームをクリアできるようになった
やったー、これでコンピューターが俺の人生を代わりに生きてくれる日も近いな
サファリゾーンは誰の助けもなしじゃ突破できないだろ
>ベンチマークを簡単にしたので、簡単になったテストでのスコアを、以前の難しいテストのスコアと比較してお見せします
もうユーザーを馬鹿にし続けることが生き残りに不可欠な段階に来てるな
もうユーザーを馬鹿にし続けることが生き残りに不可欠な段階に来てるな
>>12
馬鹿なのは自分の方じゃないか、たまには自問してみたら（リンク先参照）
馬鹿なのは自分の方じゃないか、たまには自問してみたら（リンク先参照）
>>1
>この結果は専用ハーネスを使ったものです、同じグラフの他の2つの結果とは違って
>この結果は専用ハーネスを使ったものです、同じグラフの他の2つの結果とは違って
>>16
（画像）
（画像）
>>1
>問題の『テレビゲーム』はこちら
（画像）
>問題の『テレビゲーム』はこちら
（画像）
他サイトの新着
>>16
『ハーネスなんて使っちゃダメだ、自分の手でゲームをプレイしないとノーカンだ』（と言いたいのか）
『ハーネスなんて使っちゃダメだ、自分の手でゲームをプレイしないとノーカンだ』（と言いたいのか）
>>19
ハーネスを使うこと自体はいい。でもハーネス無しの結果と比較しちゃダメだ、比較する意味がなくなる
ハーネスを使うこと自体はいい。でもハーネス無しの結果と比較しちゃダメだ、比較する意味がなくなる
>>19
どうせ何らかのハーネスは使うことになる。でも普通のやつを使うべきだ
どうせ何らかのハーネスは使うことになる。でも普通のやつを使うべきだ
>>19
>ハーネスなんて使っちゃダメだ、自分の手でプレイしないとノーカンだ
昔のテストも新しいハーネスでやり直せよ
>ハーネスなんて使っちゃダメだ、自分の手でプレイしないとノーカンだ
昔のテストも新しいハーネスでやり直せよ
その『テレビゲーム』の結果と、他のほとんど伸びていない数値との違いを説明してくれ
>>1
Solがハーネス込みで30%取れるなら、Opus 5はハーネス込みで一体何%取るんだ？115%か？
Solがハーネス込みで30%取れるなら、Opus 5はハーネス込みで一体何%取るんだ？115%か？
つまりそのデータセットが学習データに混ざってたってことだろ
この話題の背景と論点
AIの性能を測るベンチマークでは、テスト条件の設定が結果を大きく左右する。スレで繰り返し話題になった「ハーネス」とは、AIがゲームの画面や状態を操作・観察するための補助的な仕組みを指し、これを使うかどうかで同じベンチマークでもスコアは大きく変わり得る。意見が割れたのは、ハーネスありのスコアを、ハーネスなしの過去の結果とそのまま並べて比較することが妥当かという一点だ。加えて、テスト対象のゲームの攻略情報がすでに学習データに含まれていた可能性（データ汚染・過学習）を疑う声も出ており、ベンチマークの数字だけでは実際の能力向上を測れないという懐疑は、AI業界で以前から繰り返し指摘されてきた論点でもある。なお、スレの引用だけでは具体的にどのモデル・どのゲームを指すかまでは特定できない点には注意したい。
※本記事は海外掲示板 4chan /g/ (Technology) のスレッド「it can beat video games now」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。