「AIにパソコンのアプリを操作させる」って聞くと、AIが画面のスクショを撮って「ここにボタンがあるな」と目で探してクリックする姿を想像しない？ Vercel Labs（Webサイトの公開サービスで知られるVercel社の実験部門）が10月31日に正式発表したagent-desktopは、そこを根っこから変えようとしている道具なんだよ。AIに見せるのは画面の絵じゃなくて、OSが持っている「画面の部品の一覧表」。発表から3日でGitHubのスターは約9,700まで伸びた。でも実際に試した人の報告を追いかけてみたら、部品を読み取れないアプリは扱えないし、細かいエラーでちょこちょこ止まることもわかってきた。ハルはネット上の報告と公開ソースを片っ端から読んでみたので、いいところも引っかかるところもまとめて話すね 👀
日本の会社にとって：Web版がなくて人が手でポチポチ操作している社内の業務アプリや会計ソフトの作業を、AIに任せる手段が一つ増えた話だよ。ただ、AIが読み取った画面の中身は記録に残ることがあるから、顧客情報が映るパソコンで試すなら、その記録をどこに置くかを先に決めておかないとまずいんだ。
どういう仕組み？「部品の一覧」を読んで操作する道具
作ったのはVercel Labsのクリス・テイト。同じ部門のagent-browser（AIにWebブラウザを操作させる道具）を作った人で、agent-desktopのことを「agent-browserをコンピュータ全体に広げたもの」と説明しているんだ。中身はGitHubの公式リポジトリで公開されている。Rust（速さと安全さで人気のプログラミング言語）で書かれたCLI（文字で命令を打ち込んで動かす道具）で、macOS・Windows・Linuxのアプリを操作できる。
カギになるのがアクセシビリティツリーっていう仕組み。もともとは目の不自由な人が使う読み上げソフトのために、OSが「ここにボタンがある、名前は保存」「ここに文字の入力欄がある」と、画面の部品を整理して持っている一覧のことなんだよ。agent-desktopはこの一覧をAIに渡して、部品ごとに振られた参照番号で「この番号のボタンを押して」と指示させる。絵を見て座標を当てるのと比べて、押し間違いが起きにくいのが嬉しいところ 💡
動かす側のAIは選ばない。文字の命令を実行できるエージェントなら、Claude CodeでもOpenAIのCodexでも、CursorのCLI版でもいい。命令は全部で56種類ある。v1.0が10月28日、修正版のv1.0.2が10月30日に出ていて、正式発表はその翌日だったという流れ。
作者側がいちばん推しているのは、AIに渡す量が減ること。READMEによると、Slackの画面を読み取ると、骨格だけなら3.6KB、全部だと17.3KBになる。Slackみたいに部品がぎっしり詰まったElectron製アプリ（Webの技術で作るデスクトップアプリ。SlackやTeamsもこれ）では、読み取る量が78〜96%減るとしている。AIは読んだ文字の量（トークン）で料金と待ち時間が決まるから、量が減ればそのぶん安く速くなる理屈だね。ただし、この割合は作者側が出している数字なんだ。そこは後で詳しく話すね。
3日でスター約9,700。どれくらい注目されたの？
GitHubのスターは「これ気になる」のブックマークみたいなもの。リポジトリ自体は9月からあったんだけど、10月31日の正式発表のあとに一気に伸びた。リポジトリの人気の推移を追うサービスのTrendshiftなどのまとめによると、11月1日の時点でスター5,000超、11月2日には1日だけで+2,746、11月3日は9,341（その日だけで+2,243）と報じられている。GitHubの人気ランキングでもRust部門で数日続けて1位になり、11月3日には全言語をまとめた順位でも首位だったと伝えられているよ 🚀
9月4日から11月3日までの61日間で増えたスターは+8,612と報じられていて、そのほとんどが発表後の数日に集中している。11月3日にリポジトリを見ると、スターは約9,700、フォーク（自分用にコピーして手を加える人の数）は657だった。
なんでここまで刺さったのか、ハルなりに考えてみた。スクショを見て操作するやり方は、画像を毎回AIに渡すので重いし、ボタンの位置を数ピクセルずれて押し間違えることもある。そこに「部品の一覧で、番号を指定して押す」という発想が来て、しかもいつものコーディングエージェントからそのまま呼べる。だから開発者が「これなら自分の環境でも試せそう」って一斉に飛びついたんじゃないかな。
ただ、スターは「気になる」の数であって、「使ってみて満足した」の数じゃないんだよね。9,700人が押したからといって、9,700人がちゃんと動かせたわけじゃない。だからハルが知りたかったのは、実際に手を動かした人の報告。ここからはそっちを見ていくよ。
Linuxで実際に動かした人の報告：できたこと、止まったこと
一番具体的だったのは、Web開発の解説ブログを長く書いている開発者フラビオ・コペスの試用レポート。Ubuntu 24.04.5（Linuxの代表的な種類の一つ。画面まわりはXFCEとX11という組み合わせ）でv1.0.2を動かしたものなんだ。
うまくいったことから。テキストエディタのMousepadを起動して、中身を読み取って、書き換えて、スクショを撮るところまでは動いた。書き換えは、キーボードを一文字ずつ打つふりをするんじゃなくて、入力欄に値を直接入れる方法でできたそう。Mousepadの1画面を読み取ると参照番号が271個出てきて、スクショは642×509ピクセルだった。操作のあとの自動の待ち時間は、最初の設定だと5,000ミリ秒（5秒）。macOS版では裏で動く手伝い役のプログラムが、15分使わないと自動で終わる仕組みだとも書いている 🛠️
一方で、止まった場面が3つあった。1つめは、未保存のままMousepadを閉じようとしたとき。「保存しますか？」の確認ダイアログに阻まれて、操作失敗のエラー（ACTION_FAILED）になった。2つめは参照番号の書き方。短く省略した番号で指定すると「指定の仕方がおかしい」というエラー（INVALID_ARGS）になって、ウィンドウを表す長い記号まで付けた正式な形で書かないと通らなかった。3つめはファイルマネージャのThunar。起動中と表示されているのに「ウィンドウが見つからない」エラー（WINDOW_NOT_FOUND）がずっと続いて、画面のいちばん前に出す指定を付けて起動し直すまで直らなかった。
どれも人間がそばで見ていれば「あ、ダイアログが出てるね」ですぐ片付くことなんだよね。でもAIに無人で連続して任せるなら話は別で、エラーの種類ごとに「この場合はこうする」という手当てを先に書いておかないと、途中で固まったままになる。ここは正直、まだ「置いておけば勝手にやってくれる」段階じゃないって思った。
数字は作者側の申告だけ。見えないアプリもある
トークン削減の数字についても見ておこう。開発者向けの投稿サイトDEV Communityでガブリエル・アニャイアが書いた紹介記事では、作者側の数字として、Apple Mapsを読み取るとき範囲を絞れば273トークン、ウィンドウ全体だと3,811トークンになること、52手順の作業で19.8万トークンが3.1万トークンまで減ったことが紹介されている。そのうえでこの記事は、第三者による検証はなく、ほかの道具と比べるための共通の物差しもまだないと指摘していると報じられている。アニャイア本人も自分では試していないと書いていて、まずは読み取りだけを試し、そのあとで操作を任せるよう勧めているんだ 🤔
もう一つの大きな壁が「見えないアプリ」。紹介記事では「アクセシビリティツリーは、canvasで描くアプリや、ラベルが半分抜けたElectronアプリに当たるまでは素晴らしい」という反応が取り上げられている。canvasっていうのは、部品を組み立てずに画面に直接絵を描く作り方のこと。デザインツールやゲームによくあるやり方で、OSから見ると「大きな絵が1枚あるだけ」に見えてしまう。READMEにも、アクセシビリティツリーを出していないアプリは見えない、とはっきり書いてある。つまり、部品の一覧を出さない古い社内システムは、この道具では最初から扱えないんだよ。
安全面の注意もREADMEに書いてある。画面の読み取り結果、クリップボード（コピーした内容の一時置き場）、スクショ、作業の記録には、自分のデスクトップの中身が入る可能性がある。だから公開の記録に出したり、どこかにアップロードしたりしないように、とのこと。macOSでは、ほかのアプリを操作するための許可（アクセシビリティ権限）をこの道具に渡す必要もある。会社のパソコンなら、情報システム担当と相談してから進める話だね。
細かい制限もいくつかある。Linuxでは、画面を表示する仕組みが古いX11か新しいWaylandかで使える機能が大きく違っていて、マウス操作はX11か、画面を表示したまま動かすモードでしか使えない。それと、Webページはこれでは操作できなくて、兄弟分のagent-browserを使う必要がある。ハルの結論はシンプルで、自分がよく使うアプリが部品の一覧として見えるかを読み取りだけで確かめて、見えたら確認ダイアログが出ない簡単な作業から任せてみる。この順番がいちばん安全で、いちばん早く向き不向きがわかると思う ✨
