别让 AI「盲猜」桌面坐标了:Vercel agent-desktop 用无障碍树 + ref 让大模型稳定操控 Windows,AutoHotkey v2 也能复刻这套「快照—操作—再验证」闭环(附可运行脚本)

别让 AI「盲猜」桌面坐标了:Vercel agent-desktop 用无障碍树 + ref 让大模型稳定操控 Windows,AutoHotkey v2 也能复刻这套「快照—操作—再验证」闭环(附可运行脚本)

导读:坐标点击一换分辨率就崩、像素匹配一改 UI 就算错——这正是 AI 桌面自动化的老毛病。Vercel 开源的高热度项目 **agent-desktop**(发布当天涨 2900+ 星)给出了一条更稳的路:**不猜像素,直接读操作系统无障碍树**,给每个可交互控件发一个唯一 `ref`,让大模型拿着 ref 去点、去输,点完再读一次树核对。关键的是,这套思路在 AutoHotkey v2 里完全能复刻。本文将拆解 agent-desktop 的 ref 契约,并给你一份可直接运行的自包含 AHK 脚本:一键生成前台窗口的「控件清单」,任意窗口移动、缩放都不再失效。

隐藏内容,支付积分后阅读
已经有0人购买查看了此内容
15
15积分

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA捐赠
共{{data.count}}人
人已捐赠
AI 自动化教程

AutoHotkey v2 把你的笔记库变成「AI 提示词军火库」:一个热键弹出搜索框,随时随地调用你最顺手的 Prompt(零依赖可运行脚本)

2026-11-5 9:15:24

AI 自动化教程

浏览器里长出了一台 AI!用 AutoHotkey v2 一键调用 Chrome 内置的 Gemini Nano,实现免费、离线、零 Key 的全局「总结/翻译/改写」三热键(附完整可运行代码)

2026-11-6 9:16:01

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索