Skip to main content

图色找图

当界面 没有稳定 UI 节点(例如游戏、自定义绘制、图标按钮)时,可用 图色找图 在屏幕上定位小图,再配合 点击 完成操作。

和节点抓取怎么选
手段适合
节点抓取fetch_nodes有标准 UI 树、文字 label,最稳
模板找图match_template_*固定图标、按钮样式
偏色找图find_image_by_color_*透明底、偏色小图
OCR认文字
VLM 视觉定位用自然语言描述元素位置

工作流里的四步套路

截图(可选)→ 找图 → 找图数据提取 → 点击
  1. 找图无自动化找图 / 自动化找图,或偏色找图的对应步骤
  2. 找图数据提取pick_match):从匹配结果里取 中心点相似度最高 的一条
  3. 点击click_point 读取上一步变量

也可省略单独截图步骤:找图步骤会在未指定「引用截图变量」时 自动截当前屏幕

模板找图 vs 偏色找图

步骤算法小图特点
match_template_no_auto / _autoOpenCV 模板匹配普通 PNG/JPG 图标
find_image_by_color_no_auto / _auto偏色找图透明、半透明、颜色偏差大的小图

名称规则与截图/OCR 一致:

后缀要不要开自动化
无自动化(Bridge 截屏)不用
自动化(Agent 截屏)(先 启动自动化环境

模板图片从哪来

方式说明
本机路径templatePath,相对流程 工作目录,如 assets/templates/btn_ok.png
Base64高级:templateBase64 直接嵌入小图
编辑器预览里裁剪试跑设备在线 → 步骤卡片点 找图预览 → 框选区域 → 截取图片 保存为模板

建议在 流程配置 → 工作目录 下建 assets/templates/,模板与流程一起备份。

找图预览(编辑器)

选中找图或偏色找图步骤,选好试跑设备后:

按钮作用
找图预览截屏 + 匹配,画布上显示匹配框
区域选择在大图上框 搜索范围,写入步骤的 region
截取图片把框选区域保存为模板文件
重新找图换屏后重新匹配

偏色找图步骤同样有预览,参数区可填 偏色容差方向 等。

主要参数(查阅用)

模板找图 match_template_*

参数说明
saveAs结果变量名(必填)
templatePath / templateBase64小图(二选一)
imageFromParam可选,引用上一步截图变量的 imageBase64
region可选,只在屏幕某矩形内搜索
weakThreshold / threshold相似度阈值(默认约 0.9)
limit最多返回几条匹配

偏色找图 find_image_by_color_*

参数说明
saveAs结果变量名
templatePath / templateBase64偏色小图
colorOffset偏色容差
direction搜索方向(0–3)
limit最多返回点数

找图数据提取 pick_match

参数说明
fromParam指向前面的找图 saveAs
saveAs输出坐标变量
pick.modecenter(中心点)、best(最高相似度)、find(按条件+序号)

找图结果的 x/y模板左上角;点击按钮中心请用 pick_matchcenter 模式。

典型流程示例

固定图标按钮:

  1. match_template_no_auto → 保存为 match_1
  2. pick_matchfromParam=match_1mode=centerbtn_point
  3. click_pointfromParam=btn_point

先截图再在同一张图上找:

  1. capture_screen_no_autoscreen_1
  2. match_template_no_autoimageFromParam=screen_1
  3. 后续同左

AI 对话里怎么说

配置大模型后,可以说:

  • 「对第一台做 无自动化找图,模板是 xxx.png」
  • 自动化找图 找登录按钮,再点中心」

复杂模板裁剪、区域限定建议在 工作流编辑器 里用 找图预览 完成。

常见问题

现象处理
未找到匹配降低阈值、缩小 region、换更清晰模板;偏色图试 偏色找图
自动化找图失败启动自动化环境;或改用 无自动化找图
点偏了pick_match center,不要直接用 matches 的左上角坐标
模板路径找不到确认 工作目录 + assets/templates/ 路径正确

更多步骤字段见 工作流步骤参考