让 AI 看懂屏幕:截图 + 多模态大模型 + 自动点击(AutoHotkey v2 完整闭环)

截图 → 压缩 → 多模态模型识别坐标 → 点击,构成观察-决策-行动的极简循环。附完整 AHK v2 代码、成本控制与六个坑。

传统的界面自动化靠”找图、找色、找控件树”——换个主题、改个分辨率、字体渲染不同,脚本就崩了。

现在换个思路:把屏幕截图丢给多模态大模型,让它告诉你”该点哪里”,坐标回传再点击。这条链路能容忍界面变化,比坐标硬编码稳得多。

一、整条链路长什么样

截图(当前窗口)
  ↓ 压缩成 JPEG(控制 token 成本)
  ↓ base64 → 调多模态 API
  ↓ 模型返回 {"action":"click","x":412,"y":236,"why":"登录按钮"}
  ↓ 换算回真实坐标(注意缩放)
  ↓ 移动鼠标 + 点击
  ↓ 循环:再截一次图,确认结果

本质是一个极简的 观察-决策-行动 循环。不需要框架,30 行核心代码。

二、截图(只截目标窗口,别截全屏)

#Requires AutoHotkey v2.0

CaptureWindow(hwnd, outFile) {
    ; 取窗口客户区在屏幕中的位置
    WinGetClientPos(&cx, &cy, &cw, &ch, "ahk_id " hwnd)
    if (cw < 10 || ch < 10)
        return false

    ; 用 GDI 抓屏
    hdcScreen := DllCall("GetDC", "Ptr", 0, "Ptr")
    hdcMem := DllCall("CreateCompatibleDC", "Ptr", hdcScreen, "Ptr")
    hbm := DllCall("CreateCompatibleBitmap", "Ptr", hdcScreen, "Int", cw, "Int", ch, "Ptr")
    DllCall("SelectObject", "Ptr", hdcMem, "Ptr", hbm)
    DllCall("BitBlt", "Ptr", hdcMem, "Int", 0, "Int", 0, "Int", cw, "Int", ch,
        "Ptr", hdcScreen, "Int", cx, "Int", cy, "UInt", 0x00CC0020)

    ; 保存为 JPEG(体积小,API 传输快)
    DllCall("gdiplusGdipCreateBitmapFromHBITMAP", "Ptr", hbm, "Ptr", 0, "Ptr*", &pBitmap)
    DllCall("gdiplusGdipSaveImageToFile", "Ptr", pBitmap, "WStr", outFile, "Ptr", 0, "Ptr", 0)

    DllCall("DeleteObject", "Ptr", hbm)
    DllCall("DeleteDC", "Ptr", hdcMem)
    DllCall("ReleaseDC", "Ptr", 0, "Ptr", hdcScreen)
    return true
}

要更省事可以用 PowerShell 一行:

RunWait A_ComSpec ' /c powershell -NoProfile -Command "Add-Type -AssemblyName System.Windows.Forms,System.Drawing; '
    . '$b=New-Object Drawing.Bitmap 1280,720; $g=[Drawing.Graphics]::FromImage($b); '
    . '$g.CopyFromScreen(0,0,0,0,$b.Size); $b.Save(''' A_Temp 'shot.jpg'',''Jpeg''); "', , "Hide"

三、压缩与编码(省钱的关键)

PrepareImage(path, maxWidth := 1280) {
    ; 用 GDI+ 缩放到 1280 宽,能砍掉 60% 以上的 token
    ; 然后把文件转成 base64
    f := FileOpen(path, "r")
    size := f.Length
    buf := f.Read(size)
    f.Close()
    return Base64Encode(buf)
}

Base64Encode(buf) {
    static CRYPT_STRING_BASE64 := 0x00000001
    DllCall("crypt32CryptBinaryToStringA", "Ptr", buf, "UInt", buf.Size,
        "UInt", CRYPT_STRING_BASE64, "Ptr", 0, "UInt*", &len)
    out := Buffer(len)
    DllCall("crypt32CryptBinaryToStringA", "Ptr", buf, "UInt", buf.Size,
        "UInt", CRYPT_STRING_BASE64, "Ptr", out, "UInt*", &len)
    return StrGet(out, "CP0")
}

四、调多模态 API

以兼容 OpenAI 格式的接口为例(DeepSeek / 通义 / 智谱 / 本地 Ollama 都能用同一套写法):

AskVision(apiKey, apiBase, b64) {
    body := '
    (
    {
      "model": "gpt-4o-mini",
      "messages": [{
        "role": "user",
        "content": [
          {"type":"text","text":"这是屏幕截图。找出「登录」按钮的中心坐标,只返回 JSON:{"x":整数,"y":整数,"why":"简短说明"}。坐标基于图片像素。"},
          {"type":"image_url","image_url":{"url":"data:image/jpeg;base64,__IMG__"}}
        ]
      }],
      "max_tokens": 200
    }
    )'
    body := StrReplace(body, "__IMG__", b64)

    req := ComObject("WinHttp.WinHttpRequest.5.1")
    req.Open("POST", apiBase "/chat/completions", false)
    req.SetRequestHeader("Content-Type", "application/json")
    req.SetRequestHeader("Authorization", "Bearer " apiKey)
    req.SetTimeouts(5000, 5000, 30000, 30000)
    req.Send(body)
    if (req.Status != 200)
        return ""
    return req.ResponseText
}

五、解析坐标并换算

ParsePoint(respText, imgW, imgH, clientW, clientH) {
    ; 从返回文本里抓第一个 JSON 对象
    if !RegExMatch(respText, "{[^{}]*"x"s*:s*(d+)[^{}]*"y"s*:s*(d+)[^{}]*}", &m)
        return ""
    ; 图片坐标 → 客户区坐标
    x := Round(m[1] * clientW / imgW)
    y := Round(m[2] * clientH / imgH)
    return {x: x, y: y}
}

ClickAt(x, y) {
    ; 相对客户区 → 屏幕坐标
    ; (此处用窗口客户区原点换算,见第二节)
    DllCall("SetCursorPos", "Int", x, "Int", y)
    Sleep 80
    DllCall("mouse_event", "UInt", 0x0002, "UInt", 0, "UInt", 0, "UInt", 0, "UPtr", 0)
    Sleep 40
    DllCall("mouse_event", "UInt", 0x0004, "UInt", 0, "UInt", 0, "UInt", 0, "UPtr", 0)
}

六、循环:每一步都重新看

AutoStep(hwnd, goal, apiKey, apiBase, maxSteps := 6) {
    Loop maxSteps {
        CaptureWindow(hwnd, A_Temp "step.jpg")
        b64 := PrepareImage(A_Temp "step.jpg")
        resp := AskVision(apiKey, apiBase, b64)
        if (resp = "")
            return "API 失败"
        pt := ParsePoint(resp, 1280, 720, 1280, 720)
        if (pt = "") {
            ; 模型可能返回 {"done":true}
            if InStr(resp, '"done"')
                return "完成"
            return "无法解析"
        }
        ClickAt(pt.x, pt.y)
        Sleep 1200          ; 等界面响应,别连点
    }
}

七、六个必须处理的坑

  • DPI 缩放:125% 缩放下截图坐标和鼠标坐标差 1.25 倍,脚本会点偏。开头加 DllCall("SetProcessDPIAware")
  • 多显示器:负坐标(左边屏幕)要单独处理,GetSystemMetrics(76/77) 取虚拟屏原点
  • 成本:一次全屏 4K 截图可能上千 token。**缩到 1280 宽 + 只截目标窗口**,成本能降 80%
  • 延迟:视觉模型响应 2-5 秒,别指望做高频操作;适合”步骤明确、每步间隔长”的流程
  • 误操作保护:先在虚拟机/测试账号跑;循环里加”最大步数”和”紧急停止热键”
  • 隐私:截图会发给第三方 API。涉及客户数据、密码的界面**不要用云端模型**,换本地模型(如 Qwen-VL / Llava)

八、它适合什么、不适合什么

适合 不适合
界面经常改版的 Web 后台 毫秒级高频点击
没有 API 的老旧桌面软件 涉及敏感数据的界面
步骤多但每步很明确的流程 需要精确到 1px 的绘图操作
做原型验证(比写找图快得多) 7×24 无人值守(成本高)

九、一个更稳的混合方案

纯视觉方案好用但慢且贵。生产环境建议这样组合:

  1. **优先用控件树**(UIA):快、免费、准
  2. 控件树找不到时,**退回视觉模型**:兜底
  3. **缓存成功过的坐标**:同一界面第二次直接用

这样 80% 的操作走快路径,20% 走 AI 兜底,成本和稳定性都可控。


这套链路的完整封装(截图、缩放、API 封装、坐标换算、缓存、紧急停止)在 AI 自动化工具包里;如果你要把它落到具体业务(比如自动填单、自动巡检后台),可以留个联系方式聊。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA捐赠
共{{data.count}}人
人已捐赠
AI 自动化

AutoHotkey v2 批量处理 Word 与 Outlook:模板生成合同、批量转 PDF、自动发邮件(附代码)

2026-11-16 1:22:35

AI 自动化

AutoHotkey v2 做可靠的定时任务:开机自启、常驻运行、错过补跑、单实例锁、异常日志

2026-11-16 1:37:14

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
❯
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索