(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211205653.4 (22)申请日 2022.09.30 (65)同一申请的已公布的文献号 申请公布号 CN 115269107 A (43)申请公布日 2022.11.01 (73)专利权人 北京弘玑信息技 术有限公司 地址 100000 北京市朝阳区望京东园四区 13号楼-4至 33层101内20层202室 专利权人 上海弘玑信息技 术有限公司 (72)发明人 杭天欣　康佳慧　高煜光　张泉　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 梁韬 (51)Int.Cl. G06F 9/451(2018.01)G06V 10/764(2022.01) G06V 10/774(2022.01) 审查员 刘芳 (54)发明名称 一种处理界面图像的方法、 介质及电子设备 (57)摘要 本申请实施例提供一种处理界面图像的方 法、 介质及电子设备， 所述方法包括： 获取与待检 测界面图像上元素对应的至少一个层级的父节 点， 并根据所述父节点得到 元素结构树， 其中， 任 一层级的父节点是通过本层元素图上各相邻节 点的节点对特征得到的； 提供所述元素结构树。 本申请的一些实施例提供一种简单而高效的生 成元素结构化的方法， 以使机器人根据所述元素 结构树定位界面图像上的元 素。 权利要求书3页 说明书17页 附图9页 CN 115269107 B 2022.12.27 CN 115269107 B 1.一种处 理界面图像的方法， 其特 征在于， 所述方法包括： 获取与待检测界面图像上元素对应的至少一个层级的父节点， 并根据 所述父节点得到 元素结构树， 其中， 任一层级的父节点是通过本层元素图上各相邻节点的节点对特征得到 的， 所述节点对特 征是通过组合与所述相邻节点对应的两个元 素的元素属性信息得到的； 提供所述元素结构树， 以使机器人根据所述元素结构树展示的元素层级关系定位所述 待检测界面上的元 素。 2.如权利要求1所述的方法， 其特征在于， 所述获取与待检测界面图像上元素对应的至 少一个层级的父节点， 包括： 构建第i层元素图， 其中， i的取值范围为大于等于1的整数， 所述第i层元素图采用一个 节点表征本层的一个元 素并采用边表征本层的相邻节点； 若确认所述第 i层元素图包含多个节点， 则从所述第 i层元素图上获取存在共同父节点 的节点组合， 得到第i层父节点， 其中， 所述节点组合包括至少一对相 邻节点， 一对相 邻节点 与所述第i层元 素图上的一条边对应。 3.如权利要求2所述的方法， 其特征在于， 所述构建第i层元素图， 包括： 根据所述第i层 元素图包括的节点在所述待检测界面图像上的分布特 征确定两个节点是否需要用边连接 。 4.如权利要求3所述的方法， 其特 征在于， 所述第i层元 素图包括第m节点， 其中， 所述构建第i层元 素图， 包括： 以所述第m节点为起点， 依据任意一个预定方向向所述待检测界面图像的边界移动， 将 移动过程中查找到的第一个节点作为所述第m节点的相邻节点； 将所述第m节点与所述第 一个节点采用边相连， 其中， 被确认为相邻节点的两个节点之 间用一条边相连。 5.如权利要求3所述的方法， 其特 征在于， 所述第i层元 素图包括第m节点， 其中， 所述构建第i层元 素图， 包括： 获取与所述第m节点相距预定距离的所有节点， 得到至少一个第二节点， 其中， 所述至 少一个第二节点均 作为所述第m节点的相邻节点； 将所述至少一个第二节点中的各第 二节点分别与所述第m节点采用边相连， 其中， 被确 认为相邻节点的两个节点之间用一条边相连。 6.如权利要求3所述的方法， 其特 征在于， 所述第i层元 素图包括第m节点， 其中， 所述构建第i层元 素图， 包括： 获取与所述第m节点相距预定距离的至少部分节点， 得到至少一个第三节点， 其中， 所 述至少一个第三节点中的各第三节点均作为所述第m节点的相邻节点， 所述至少 部分节点 位于扇形区域内； 将所述至少一个第三节点中的各第 三节点分别与所述第m节点采用边相连， 其中， 被确 认为相邻节点的两个节点之间用一条边相连。 7.如权利要求2 ‑6任一项所述的方法， 其特 征在于， 所述从所述第i层元 素图上获取存在共同父节点的节点组合得到第i层父节点， 包括： 获取所述第i层元素图上任意一对相邻节点的节点对特征， 得到节点对特征集合， 其 中， 所述节点对特 征采用与所述任意 一对相邻节点对应的两个元 素的元素属性表征； 将所述节点对特征集合输入目标二分类模型， 通过所述目标二分类模型确定所述第i权　利　要　求　书 1/3 页 2 CN 115269107 B 2层元素图上各相邻节点是否具有共同父节点， 得到所述第i层父节点。 8.如权利要求7 所述的方法， 其特 征在于， 所述元素属性包括： 元 素位置、 元 素类别以及元 素图像语义； 或者， 所述节点对特征包括差异特征、 共 同特征或者相关性特征中的至少一个， 所述差异特 征用于描述所述任意一对相邻节点的差异性， 所述共同特征用于描述所述任意一对相 邻节 点的共同性， 所述相关性特 征用于描述所述任意 一对相邻节点的相关性。 9.如权利要求8所述的方法， 其特征在于， 所述任意一对相邻节点包括第 k节点和第p节 点， 所述第k节 点的节点特征表征为a， 所述第p节点的节 点特征表征为b， 所述节 点特征采用 对应元素的元素属性表征， 其中， 所述获取 所述第i层元 素图上任意 一对相邻节点的节点对特 征， 包括： 采用如下公式计算由所述第k节点和所述第p节点组成的相邻节点的节点对特 征： pair特征 = [a+b,a‑b,a*b,a/(b+x),a,b] 其中， pair特 征表征所述节点对特 征， x为一个正数且所述 正数小于1。 10.如权利要求7所述的方法， 其特征在于， 所述第 i层元素图中的任意一对相邻节点包 括第k节点和第p节点， 所述第k节点与所述第i层元素图的第k元素对应， 所述第p节点与所 述第i层元 素图的第p元 素对应， 其中， 在获取所述第i层元 素图上任意 一对相邻节点的节点对特 征之前， 所述方法还 包括： 获取所述第k元素和所述第p元素的元素位置、 元素类别以及元素图像语义， 得到所述 两个元素的元素属性； 所述获取 所述第i层元 素图上任意 一对相邻节点的节点对特 征， 包括： 组合所述两个元 素的元素属性得到所述节点对特 征。 11.如权利要求10所述的方法， 其特征在于， 所述获取所述第 k元素和所述第p元素的元 素位置、 元 素类别以及元 素图像语义， 得到所述两个元 素的元素属性， 包括： 通过目标检测模型 得到所述第k元 素和所述第p元 素的元素位置和元 素类别； 根据所述元素位置从待检测界面图像上截取与所述第k元素对应的图像得到第k子 图 片， 并截取与所述第p元 素对应图像得到第p子图片； 将所述第k子图片和所述第p子图片输入特征提取器， 得到与所述第k元素对应的元素 图像语义并得到与所述第p元 素对应的元 素图像语义。 12.如权利要求8所述的方法， 其特征在于， 所述元素类别包括： 有边界的图像、 按钮、 标 记或者可编辑输入框 。 13.如权利要求7所述的方法， 其特征在于， 在所述将所述节点对特征集合输入目标二 分类模型之前， 所述方法还 包括： 根据至少一张训练界面图像和标注数据对二分类模型进行训练， 得到所述目标二分类 模型， 其中， 所述标注数据用于标注各层级的元 素图上的各相邻节点是否具有共同父节点。 14.如权利要求13所述的方法， 其特征在于， 所述根据至少一张训练界面图像和标注数 据对二分类模型进行训练， 包括： 对所述至少一张训练界面图像中任一训练界面图像进行 元素检测得到 至少一个元 素； 获取所述至少一个元素中各元素的属性特征， 得到元素属性， 其中， 所述元素属性包括 元素位置；权　利　要　求　书 2/3 页 3 CN 115269107 B 3