IT・AI
2026年10月9日
画面に矢印や枠を描くAIツール、HNで賞賛と「スロップ」批判
GitHub発のオープンソースツール「big-arrow-on-the-screen」は、AIエージェントが画面上に大きな矢印や枠、テキストを描いて操作対象を指し示せるというもの。Hacker Newsに投稿されると35件近いコメントが付き、賛否が分かれた。「年老いた親に電話でPCの操作を教えるときに使いたい」「Zoomの矢印注釈機能くらい価値がある」と実用性を評価する声がある一方、「また質の低いAI生成プロジェクトだ」「許可プロンプトの上に矢印を重ねられるなら拒否ボタンを隠すこともできるのでは」といった批判や懸念も出ていた。
AIエージェントに、画面上へ大きな矢印や枠、テキストを描かせられるツール
出典: github.com / 元記事はこちら
2
海外の名無しさん
2026-10-09 12:21
『Screen RecordingやAccessibilityの権限は必要?』という説明を読もうとしたんだけど、AIが書いた文章がひどすぎて何を言ってるのか全然わからない。でも、これで許可プロンプトの上に絵を描けるなら、『拒否』ボタンを隠す枠を描いて『許可』ボタンの表示を書き換える、なんてことを防ぐ仕組みはどこにあるんだ?
4
海外の名無しさん
2026-10-09 12:52
親に電話でこれを何度説明してきたか数え切れない。このREADMEにはそのオチが全部書いてある。『このウィンドウだよ、そっちじゃない』——Chromeのウィンドウが14個開いていても、エージェントはどれを指すか分かる(–window "Google Chrome:Pull request")。正しいタブも選んでくれる(–app "Google Chrome:Pull request")。遠隔サポートの『そのギアのアイコンじゃない、別のだよ』も、説明する代わりに指で示せばいい。
5
海外の名無しさん
2026-10-09 11:55
READMEは技術者向けに書かれてる(HNのスクリーンショットまで載ってるくらい)けど、こういうツールを見るとまず思うのは、電話で母に『ここをクリックして、書類をダウンロードして印刷する』と説明するときにどれだけ助かるかってこと。
27
海外の名無しさん
2026-10-09 12:22
Zoomの、あの巨大な矢印で注釈を付けられる機能、正直それだけで他社製品より高い価値がある。
6
海外の名無しさん
2026-10-09 12:15
iPadでこういうのが使えるなら、いくら払ってもいい。AIエージェント駆動である必要すらなくて、『銀行振込をしたい』という大きなボタンがあって、それを押すと正しいアプリが起動して画面を案内してくれるだけでいい。年老いた親を持つ自分たちには、まさに救いだと思う。
28
海外の名無しさん
2026-10-09 12:46
『年老いた親を持つ自分たちには救い』って、まさにそれ。親のデバイス全部にリモートデスクトップを入れてるし、親が慌てて電話してくるたびに自分がエージェント役をやってる。今の時代のApple Geniusバーは、こういう仕組みで高齢化したブーマー世代向けに作り直すべき時だ。
7
海外の名無しさん
2026-10-09 12:39
他のLLM生成プロジェクトと同じくらい、これにも感心してる。
10
海外の名無しさん
2026-10-09 12:06
ふざけているように見えるかもしれないけど、サイドバーを読んだりモーダルを開いたりするより、もっとビジュアルなエージェントUI/UXの可能性があることを示している。
11
海外の名無しさん
2026-10-09 12:35
これがあれば20年前、あの唯一本物の『ダウンロード』ボタンを指し示すのに役立っただろうな。
29
海外の名無しさん
2026-10-09 12:47
本物の矢印が指す本物のダウンロードボタンと、偽物の矢印をどうやって見分けるんだ?
12
海外の名無しさん
2026-10-09 11:42
ドキュメント作成にすごく良さそう。ドキュメントのスクリーンショットって、画面を見せて『Xをクリック』と書いてあるだけで、結局自分でXを目で探さないといけないことが多くて役に立たない。これなら開いている別タブでそのまま同じことができる。
13
海外の名無しさん
2026-10-09 11:44
幼児にデスクトップPCの使い方を教えるのにも、かなり使えそうなやり方に見える。
30
海外の名無しさん
2026-10-09 12:09
ユーザーってものを知ってる?
15
海外の名無しさん
2026-10-09 12:34
こういう低品質なコンテンツをHNに投稿しないでほしい。
16
海外の名無しさん
2026-10-09 12:35
映画『イディオクラシー』(2006)を思い出す。
17
海外の名無しさん
2026-10-09 11:31
Swift、Shell、Python、Objective-C——Macで何かを描画するのに4つのプログラミング言語が必要なのか?
32
海外の名無しさん
2026-10-09 11:32
ザンボコムへようこそ。じゃなくて、今のHNへようこそ、だった(笑えない)
18
海外の名無しさん
2026-10-09 12:54
フロントページにまた一つ、スロップ(質の低いAI生成)プロジェクトが。
19
海外の名無しさん
2026-10-09 11:20
『そして毎回同じ壁にぶつかる、人間にしかできない部分で』——ひどい話だ。ボットのためにsudoボタンをクリックするだけの役目なら、いっそroot権限を渡して終わりにしたほうがいい。
33
海外の名無しさん
2026-10-09 11:29
Claudeは、Yoloモードでsudo権限で動いていても、パスワード入力やセキュリティ設定の変更、外部サービスでの新規アカウント作成といった一定の操作は拒否する(全部自分のMacで実際にテストした)。
20
海外の名無しさん
2026-10-09 12:14
何をクリックしているか理解する時間も取らないなら、『承認する』という体裁を踏む意味すらあるのか。
21
海外の名無しさん
2026-10-09 11:27
最高だ、気に入った。
23
海外の名無しさん
2026-10-09 11:36
ラディカル・センチリスト(急進的中道派)でいるには妙な時代だ——AI懐疑派は時代に取り残されてるように見えるし、AI論客たちは自分の発言にうっとりして人を見下すのをやめられない、それでいてこれがHNのトップに来てる。おかしな時代だ。
24
海外の名無しさん
2026-10-09 11:57
いいね、最高だ! 自分は1989年、NeWSとPSIBER Space Deckの『疑似科学ビジュアライザー』向けに、PostScriptで指差しアノテーションのオーバーレイを書いたことがある(1989年のhandy.psというスクリプト)。当時のデモや解説記事のリンクは元スレ参照。
25
海外の名無しさん
2026-10-09 12:32
これは、エージェントが『皮肉をコードとして理解できず、そのまま機能を実装・リリースしてしまった』というやつだ。
34
海外の名無しさん
2026-10-09 12:49
この前LLMに皮肉を込めて大げさなことを言ったら、PDP-7のType 340ベクターグラフィックディスプレイのエミュレータに、指している描画の意味とそれを描いた命令のアドレスを表示するポップアップのツールチップ機能を実装・リリースしてきたことがある。関連リンクは元スレ参照。
26
海外の名無しさん
2026-10-09 11:53
言わずもがなだけど、このリポジトリの目的は『役に立つこと』であって、エージェントに<blink>タグ並みの力を与えることじゃない、念のため。
35
海外の名無しさん
2026-10-09 12:58
[遅延投稿]
36
海外の名無しさん
2026-10-09 12:18
おいおい、それは冗談で言ってたんだよ。
37
海外の名無しさん
2026-10-09 12:07
under_construction.gif、って感じだね。
31
海外の名無しさん
2026-10-09 11:31
最初の例(HNの画面)が一番可能性を感じる使い方だと思う。『このアプリの使い方を自分に教えて』系のやつ。やらせるエージェントじゃなくて、導くエージェント。開発者が見てたら、そういう路線でスクリーンショットを更新してみてはどうだろう(複雑なアプリをチュートリアルモードで案内するエージェントを見せるとか)?
38
海外の名無しさん
2026-10-09 11:31
そこまで際(きわ)に生きたいなら、カスタムの自動モード判定ルールを追加したり、組み込みのルールを無効化したりもできるよ。
39
海外の名無しさん
2026-10-09 12:32
控えめなものを分かりやすくする方法があればいいのにね。
41
海外の名無しさん
2026-10-09 12:37
それってつまり……派手に燃え上がる虹色のテキストボックスと矢印、みたいな?
40
海外の名無しさん
2026-10-09 12:50
ちょうどエアホーンのPRを送ったところ。次は虹色矢印スロップ祭りの第2弾が来るぞ。
この話題の背景と論点
今回話題になった「big-arrow-on-the-screen」は、AIエージェントが画面上に直接矢印や枠、テキストを描き込めるようにするオープンソースツールで、GitHubで公開されている。スレで意見が分かれた軸は大きく2つ。一つは実用性で、リモートで親のパソコン操作を助けたい層や、ドキュメント作成への応用を期待する声が目立った。もう一つはHacker Newsで近年繰り返される「AIが書いたコードを人間がほぼ検証せずに公開する“slop”への反発」で、プロジェクトの技術的完成度より投稿姿勢そのものを問題視するコメントが出ていた。なお、権限の許可プロンプトの上に描画を重ねられるなら、拒否ボタンを隠して悪用できるのではという指摘(レス2)に対し、スレ内で明確な回答や検証結果は示されていない点は留意したい。
※本記事は海外掲示板 Hacker News のスレッド「Let your AI agents paint big arrows, boxes and text on your screen」から抜粋し、編集部で日本語に意訳したものです。訳文の責任は当サイトにあります。
この記事のリアクション
まだコメントはありません。