2週間前に「スクショを撮らずに、AIにパソコンのアプリを操作させられる」と話題になった Vercel Labs の agent-desktop、覚えてる？ 今週、ネット上の報告と公開されている資料を片っ端から追いかけてみたら、空気がちょっと変わってたんだよね。スターの増え方は落ち着いてきた。そのかわり、実際に動かした人から「成功って返ってくるのに、画面では何も起きてない」という報告が続いてる。開発側はそれを受けて、AIが操作する画面を仮想マシン（パソコンの中に作る、もう1台の仮のパソコン）に閉じ込める sandbox 機能を急いで足してきた。お祭りが終わって、使ってふるいにかける週に入ったって感じ 🤔
日本の会社にとって：大半の会社には、今すぐ関係する話じゃないよ。社内でAIに事務アプリを操作させる実験をしている情報システム部門や開発チームは、今週中に「試すパソコンが Windows 11 の最新ビルド（build 26200）じゃないか」「開発用の道具の置き場所に日本語の名前が入っていないか」を確かめてね。試すなら、顧客情報が映らない仮想マシンの中だけにしておくのがおすすめ。Vercel Labs が無料で公開している、まだ試作に近いツールの話だから、Copilot や ChatGPT 法人版の契約には関係しないよ。
スターの伸びは1日3,112件から584件に。お祭りのあとに来たもの
まず数字から。GitHub のスター（「いいね」や「あとで見る」に近い印）の推移をまとめているサイト Trendshift の集計では、10月31日の発表から1日2,000件を超える勢いで伸びて、11月3日の1日3,112件が最多だったんだって。発表から7日間（10月31日〜11月6日）だけで約1万6,250件。9月15日から11月14日までの61日間では、+22,179件と報じられてる。
それが今週は、11月11日が+698件、12日が+648件、13日が+584件。1日600件前後まで落ちてる。合計は11月14日の時点で2万3,300件、フォーク（自分用にコピーして手を入れる人）は1,700件、コントリビューター（実際にコードを書いて送った人）は8人と集計されてる。とはいえ毎日数百件ずつは増え続けてるから、人気がなくなったわけじゃないんだよね。
ハルが大事だと思うのは、数よりも中身が変わったこと。発表直後のスターは「面白そう！」のスターで、今は「動かしてみたらこうだった」っていう人が増えてる段階。それがはっきり出ているのが、GitHub の issue（使った人からの不具合報告や要望を貼る掲示板）の数。11月14日の時点で、未解決の issue が86件、まだ取り込まれていない PR（外の人から届いた「ここ直したよ」という修正案）が152件ある。
コントリビューター8人に対して、修正案が152件待っている。ここからはハルの読みだけど、作っている人たちの手が回りきっていないくらい、外から一気に人が押し寄せている状態に見える。逆に言うと、それだけ「自分の仕事で使えないかな」って本気で試している人が多いってことでもあるよね 👀
そもそも何が新しかったの？ 画面を「見る」んじゃなくて「読む」
おさらいしておくね。AIにパソコンを操作させるやり方としてよく知られているのは、画面のスクショをAIに見せて「ボタンはこのへん」と位置を当てさせて、そこをクリックするやり方。agent-desktop はそこを変えて、公式の README（説明書きのページ）によると、スクショも画像の照合も使わないんだよ。
代わりに読むのは、OS が持っているアクセシビリティの仕組み。これは、目が見えにくい人のための読み上げソフトが「ここに『保存』ボタンがある」「これはメニュー」とわかるように、OS が用意している画面の部品の名簿みたいなもの。agent-desktop はこの名簿からボタンやメニューを拾って、1つずつ番号を振る。それを JSON（プログラムやAIが読みやすい決まった書式のデータ）でAIに渡すんだ。AIは画像から位置を当てなくても「7番を押して」と言えばいい。ここがクセになるポイントなんだよね 💡
agent-desktop そのものにAIは入っていない。好きなAIにつないで使う部品で、文字を打って動かす道具（CLI）、ほかのプログラムに組み込む部品（Cライブラリ）、MCP サーバの3つの形で配られてる。コマンドは61個あって、そのうち実際にクリックや入力をするものが57個。対応している OS は macOS 13以降、Windows 10 1809以降、Ubuntu 24.04以降。ただ、キーやボタンを押しっぱなしにする4つのコマンドは、まだ使えない状態だよ。
README には、作者自身が書いている注意もある。1つは、画面の中身やクリップボード（コピーした内容の一時置き場）を読むから、そこに個人の情報が含まれうること。もう1つは、画面が変わると振った番号が古くなるから、もう一度画面を読み取り直さないといけないこと。この「番号が古くなる」が、今週の不具合とつながってくるんだよ。
「押せました」なのに何も起きない。今週届いた失敗の報告
11月11日から13日までの3日間に、GitHub の issue には10件の報告が立った。実際に動かした人たちの声を並べてみるね。
- 成功と返るのに何も起きない（macOS、11月13日）：Electron（ウェブの技術で作るデスクトップアプリの作り方）製の業務チャット Feishu／Lark で、メニューバーをクリックすると成功と返ってくるのに、実際には何も起きない。AIは操作できたと思い込んだまま、次の手順へ進んでしまう。
- 開いたのに気づかない（Notion、11月11日）：Trendshift が集めた SNS の投稿では、Notion の操作に失敗したと報じられてる。メニューは開いたのに、AIはそれが開いていることに気づかなかったんだって。
- そもそも画面が読めない（Windows 11、11月13日）：Windows 11 build 26200 では、画面の状態を読み取るたびにアクセス拒否で失敗する。読み取りがすべて失敗するから、そもそも使えない。
- 日本語を含むパスで起動できない（Windows、11月11日）：npm（JavaScript の道具を入れる仕組み）の置き場所のパスに英数字以外の文字が入っていると、起動用のスクリプトが壊れる。Windows のユーザー名を日本語にしている人は、まさに当たりやすいやつ。
- セッションを使い回せない（11月11日）：MCP 経由で始めたセッション（操作のひと続きの単位）を、その後の MCP の呼び出しで使えない。カーソル表示をオンにする操作も失敗して、描画の処理だけが残ってしまう。
- 部品が多すぎて止まる：一度に調べられる部品の上限は2,048個。小さなメニューでもこの上限に引っかかって止まる、という報告がある。
- アプリ一覧が取れない（macOS 26.6.1、arm64）：起動中のアプリの一覧を取る操作が、毎回タイムアウトする。
ハルがいちばん怖いと思ったのは、エラーで止まることじゃなくて、成功と返ってくるのに実は何も起きていないパターン。エラーで止まってくれれば人間が気づけるけど、成功が返ってくるとAIは「よし次」って進んじゃう。たとえば「メニューを開いて、上から3つ目を選んで、保存」という流れで1つ目が空振りしていたら、そのあとのクリックは全然違う場所に当たるかもしれない。
Notion のケースは逆で、本当は開いているのにAIが気づかない。向きは反対だけど、どっちも「AIが思っている画面」と「本当の画面」がずれているという点では同じなんだよね。ここからはハルの見立てだけど、README の「画面が変わると番号が古くなる」と根っこは同じに見える。名簿を読むやり方は軽くて正確だけど、名簿とアプリの実際の動きがずれたとき、そのずれに自分では気づきにくいんだと思う。
開発側の答えは「まず閉じ込める」。2週間で7回のリリース
開発側の動きはかなり速い。GitHub のリリース一覧によると、正式版の v1.0.0 が出たのは10月28日。そこから11月13日の v1.3.1 まで、約2週間で7回のリリースになる。
目玉は11月12日の v1.3.0 で足された sandbox。AIが操作する画面を macOS の仮想マシンの中に閉じ込められるようになった。翌13日（日本時間では14日の朝6時ごろ）の v1.3.1 では、立ち上げた sandbox が、起動した側の画面を閉じると一緒に止まってしまう不具合を直した。中で使っている他の人の部品（依存ライブラリ）に見つかった脆弱性にも対応してる。sandbox を出したその翌日にもう直しを出してるあたり、急いで足したんだなっていうのが伝わってくるよね 🛠️
ここで勘違いしやすいのが、sandbox は「押せたのに何も起きない」を直す機能じゃない、ってこと。ずれ自体はまだ起きうる。そのかわり、ずれたまま突き進んでも、被害を仮想マシンの中にとどめられる安全柵なんだよ。仕事のメールや社内システムが開いている自分のパソコンで、AIが「押せた」と勘違いしたまま別のボタンを押していく……っていう事態は避けられる。直すより先に閉じ込める、という順番はハルも正しいと思う。ただ今回の sandbox は macOS の仮想マシンの話だから、Windows で困っている人にはまだ届いていないんだよね。
確かめられなかったことは、ここにまとめておくね。上に挙げた不具合のうち、どれが最新版で直ったのかは、リリース一覧からは確認できなかった。Notion の件は SNS 投稿を集計サイト経由で見た話だから、どの OS のどの版で起きたのかはわからない。sandbox が Windows や Linux にも来る予定があるのかも、書かれていなかったよ。
じゃあ今どう付き合うか。ハルなら、個人の Mac で sandbox の中だけで動かして、AIが「できました」と言ったら毎回自分の目で画面を見る。AIの出した結果を確かめないまま次に回す人のことを最近 meat proxy（AIの出力をそのまま流すだけの人）なんて呼んだりするけど、このツールはまさに確かめないと危ない段階。名簿を読んで動かすっていう考え方はほんとに面白いから、ずれへの手当てがどこまで進むか、次のリリースも追いかけてみるね 🚀
