传统的界面自动化靠”找图、找色、找控件树”——换个主题、改个分辨率、字体渲染不同,脚本就崩了。
现在换个思路:把屏幕截图丢给多模态大模型,让它告诉你”该点哪里”,坐标回传再点击。这条链路能容忍界面变化,比坐标硬编码稳得多。
一、整条链路长什么样
截图(当前窗口)
↓ 压缩成 JPEG(控制 token 成本)
↓ base64 → 调多模态 API
↓ 模型返回 {"action":"click","x":412,"y":236,"why":"登录按钮"}
↓ 换算回真实坐标(注意缩放)
↓ 移动鼠标 + 点击
↓ 循环:再截一次图,确认结果
本质是一个极简的 观察-决策-行动 循环。不需要框架,30 行核心代码。
二、截图(只截目标窗口,别截全屏)
#Requires AutoHotkey v2.0
CaptureWindow(hwnd, outFile) {
; 取窗口客户区在屏幕中的位置
WinGetClientPos(&cx, &cy, &cw, &ch, "ahk_id " hwnd)
if (cw < 10 || ch < 10)
return false
; 用 GDI 抓屏
hdcScreen := DllCall("GetDC", "Ptr", 0, "Ptr")
hdcMem := DllCall("CreateCompatibleDC", "Ptr", hdcScreen, "Ptr")
hbm := DllCall("CreateCompatibleBitmap", "Ptr", hdcScreen, "Int", cw, "Int", ch, "Ptr")
DllCall("SelectObject", "Ptr", hdcMem, "Ptr", hbm)
DllCall("BitBlt", "Ptr", hdcMem, "Int", 0, "Int", 0, "Int", cw, "Int", ch,
"Ptr", hdcScreen, "Int", cx, "Int", cy, "UInt", 0x00CC0020)
; 保存为 JPEG(体积小,API 传输快)
DllCall("gdiplusGdipCreateBitmapFromHBITMAP", "Ptr", hbm, "Ptr", 0, "Ptr*", &pBitmap)
DllCall("gdiplusGdipSaveImageToFile", "Ptr", pBitmap, "WStr", outFile, "Ptr", 0, "Ptr", 0)
DllCall("DeleteObject", "Ptr", hbm)
DllCall("DeleteDC", "Ptr", hdcMem)
DllCall("ReleaseDC", "Ptr", 0, "Ptr", hdcScreen)
return true
}
要更省事可以用 PowerShell 一行:
RunWait A_ComSpec ' /c powershell -NoProfile -Command "Add-Type -AssemblyName System.Windows.Forms,System.Drawing; '
. '$b=New-Object Drawing.Bitmap 1280,720; $g=[Drawing.Graphics]::FromImage($b); '
. '$g.CopyFromScreen(0,0,0,0,$b.Size); $b.Save(''' A_Temp 'shot.jpg'',''Jpeg''); "', , "Hide"
三、压缩与编码(省钱的关键)
PrepareImage(path, maxWidth := 1280) {
; 用 GDI+ 缩放到 1280 宽,能砍掉 60% 以上的 token
; 然后把文件转成 base64
f := FileOpen(path, "r")
size := f.Length
buf := f.Read(size)
f.Close()
return Base64Encode(buf)
}
Base64Encode(buf) {
static CRYPT_STRING_BASE64 := 0x00000001
DllCall("crypt32CryptBinaryToStringA", "Ptr", buf, "UInt", buf.Size,
"UInt", CRYPT_STRING_BASE64, "Ptr", 0, "UInt*", &len)
out := Buffer(len)
DllCall("crypt32CryptBinaryToStringA", "Ptr", buf, "UInt", buf.Size,
"UInt", CRYPT_STRING_BASE64, "Ptr", out, "UInt*", &len)
return StrGet(out, "CP0")
}
四、调多模态 API
以兼容 OpenAI 格式的接口为例(DeepSeek / 通义 / 智谱 / 本地 Ollama 都能用同一套写法):
AskVision(apiKey, apiBase, b64) {
body := '
(
{
"model": "gpt-4o-mini",
"messages": [{
"role": "user",
"content": [
{"type":"text","text":"这是屏幕截图。找出「登录」按钮的中心坐标,只返回 JSON:{"x":整数,"y":整数,"why":"简短说明"}。坐标基于图片像素。"},
{"type":"image_url","image_url":{"url":"data:image/jpeg;base64,__IMG__"}}
]
}],
"max_tokens": 200
}
)'
body := StrReplace(body, "__IMG__", b64)
req := ComObject("WinHttp.WinHttpRequest.5.1")
req.Open("POST", apiBase "/chat/completions", false)
req.SetRequestHeader("Content-Type", "application/json")
req.SetRequestHeader("Authorization", "Bearer " apiKey)
req.SetTimeouts(5000, 5000, 30000, 30000)
req.Send(body)
if (req.Status != 200)
return ""
return req.ResponseText
}
五、解析坐标并换算
ParsePoint(respText, imgW, imgH, clientW, clientH) {
; 从返回文本里抓第一个 JSON 对象
if !RegExMatch(respText, "{[^{}]*"x"s*:s*(d+)[^{}]*"y"s*:s*(d+)[^{}]*}", &m)
return ""
; 图片坐标 → 客户区坐标
x := Round(m[1] * clientW / imgW)
y := Round(m[2] * clientH / imgH)
return {x: x, y: y}
}
ClickAt(x, y) {
; 相对客户区 → 屏幕坐标
; (此处用窗口客户区原点换算,见第二节)
DllCall("SetCursorPos", "Int", x, "Int", y)
Sleep 80
DllCall("mouse_event", "UInt", 0x0002, "UInt", 0, "UInt", 0, "UInt", 0, "UPtr", 0)
Sleep 40
DllCall("mouse_event", "UInt", 0x0004, "UInt", 0, "UInt", 0, "UInt", 0, "UPtr", 0)
}
六、循环:每一步都重新看
AutoStep(hwnd, goal, apiKey, apiBase, maxSteps := 6) {
Loop maxSteps {
CaptureWindow(hwnd, A_Temp "step.jpg")
b64 := PrepareImage(A_Temp "step.jpg")
resp := AskVision(apiKey, apiBase, b64)
if (resp = "")
return "API 失败"
pt := ParsePoint(resp, 1280, 720, 1280, 720)
if (pt = "") {
; 模型可能返回 {"done":true}
if InStr(resp, '"done"')
return "完成"
return "无法解析"
}
ClickAt(pt.x, pt.y)
Sleep 1200 ; 等界面响应,别连点
}
}
七、六个必须处理的坑
- DPI 缩放:125% 缩放下截图坐标和鼠标坐标差 1.25 倍,脚本会点偏。开头加
DllCall("SetProcessDPIAware") - 多显示器:负坐标(左边屏幕)要单独处理,
GetSystemMetrics(76/77)取虚拟屏原点 - 成本:一次全屏 4K 截图可能上千 token。**缩到 1280 宽 + 只截目标窗口**,成本能降 80%
- 延迟:视觉模型响应 2-5 秒,别指望做高频操作;适合”步骤明确、每步间隔长”的流程
- 误操作保护:先在虚拟机/测试账号跑;循环里加”最大步数”和”紧急停止热键”
- 隐私:截图会发给第三方 API。涉及客户数据、密码的界面**不要用云端模型**,换本地模型(如 Qwen-VL / Llava)
八、它适合什么、不适合什么
| 适合 | 不适合 |
|---|---|
| 界面经常改版的 Web 后台 | 毫秒级高频点击 |
| 没有 API 的老旧桌面软件 | 涉及敏感数据的界面 |
| 步骤多但每步很明确的流程 | 需要精确到 1px 的绘图操作 |
| 做原型验证(比写找图快得多) | 7×24 无人值守(成本高) |
九、一个更稳的混合方案
纯视觉方案好用但慢且贵。生产环境建议这样组合:
- **优先用控件树**(UIA):快、免费、准
- 控件树找不到时,**退回视觉模型**:兜底
- **缓存成功过的坐标**:同一界面第二次直接用
这样 80% 的操作走快路径,20% 走 AI 兜底,成本和稳定性都可控。
这套链路的完整封装(截图、缩放、API 封装、坐标换算、缓存、紧急停止)在 AI 自动化工具包里;如果你要把它落到具体业务(比如自动填单、自动巡检后台),可以留个联系方式聊。

