别让 AI「盲猜」桌面坐标了:Vercel agent-desktop 用无障碍树 + ref 让大模型稳定操控 Windows,AutoHotkey v2 也能复刻这套「快照—操作—再验证」闭环(附可运行脚本)
导读:坐标点击一换分辨率就崩、像素匹配一改 UI 就算错——这正是 AI 桌面自动化的老毛病。Vercel 开源的高热度项目 **agent-desktop**(发布当天涨 2900+ 星)给出了一条更稳的路:**不猜像素,直接读操作系统无障碍树**,给每个可交互控件发一个唯一 `ref`,让大模型拿着 ref 去点、去输,点完再读一次树核对。关键的是,这套思路在 AutoHotkey v2 里完全能复刻。本文将拆解 agent-desktop 的 ref 契约,并给你一份可直接运行的自包含 AHK 脚本:一键生成前台窗口的「控件清单」,任意窗口移动、缩放都不再失效。

