(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210631420.4 (22)申请日 2022.06.06 (71)申请人 首都医科 大学附属北京 天坛医院 地址 100050 北京市丰台区南四环西路1 19 号 (72)发明人 刘焕光　杨岸超　张华　胡文瀚　 刘德峰　刘钰晔　孟凡刚　张凯　 张建国　肖森雄　白汝乐　 (74)专利代理 机构 北京合智同创知识产权代理 有限公司 1 1545 专利代理师 李杰 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/73(2017.01) G06T 7/292(2017.01)G06V 10/22(2022.01) G06V 10/44(2022.01) G06T 5/00(2006.01) (54)发明名称 神经外科手术机器人中内镜适配器的位姿 跟踪方法及装置 (57)摘要 本申请实施例提供了一种神经外科手术机 器人中的内镜适配器的位姿跟踪方法、 装置、 设 备及介质。 其中， 所述方法包括： 获取光学定位跟 踪仪的双目视觉成像设备采集的内镜适配器的 第一图像和第二图像； 对第一图像和第二图像分 别进行标志物区域的识别， 获得第一图像的第一 标志物候选区域和第二图像的第二标志物候选 区域； 对第一标志物候选区域和第二标志物候选 区域分别进行标志物区域的筛选， 获得第一图像 的第一标志物实际区域和第二图像的第二标志 物实际区域； 根据第一标志物实际区域中的标志 点的坐标和第二标志物实际区域中与标志点对 应的标志点的坐标， 对内镜适配器进行位姿跟 踪。 本方案能够实时准确地跟踪内镜适配器在空 间中的位姿。 权利要求书6页 说明书22页 附图5页 CN 114998386 A 2022.09.02 CN 114998386 A 1.一种神经外科手术机器人中的内镜适配器的位姿跟踪方法， 其特征在于， 应用于光 学定位跟踪仪， 所述方法包括： 获取所述光学定位跟踪仪的双目视觉成像设备采集的所述内镜适配器的第一图像和 第二图像， 其中， 所述第一图像和所述第二图像均包含有所述内镜适配器的标志物， 并且所 述标志物包括的多个标志点中的任意两个标志点之间的距离均不相同； 根据所述第 一图像中的像素点的像素值和像素坐标， 对所述第 一图像进行标志物区域 的识别， 以获得所述第一图像的第一标志物候选区域， 并根据所述第二图像中的像素点的 像素值和像素坐标， 对所述第二图像进行标志物 区域的识别， 以获得所述第二图像的第二 标志物候选区域； 根据所述第一标志物候选区域中的四个标志点之间的图像距离和所述第一标志物候 选区域中的四个标志点的标识信息， 对所述第一标志物候选区域进行标志物 区域的筛选， 以获得所述第一图像的第一标志物实际区域， 并根据所述第二标志物候选区域中的四个标 志点之间的图像距离和所述第二标志物候选区域中的四个标志 点的标识信息， 对所述第二 标志物候选区域进行 标志物区域的筛 选， 以获得 所述第二图像的第二标志 物实际区域； 根据所述第一标志物实际区域中的标志点的坐标和所述第二标志物实 际区域中与所 述标志点对应的标志点的坐标， 对所述内镜适配器进行位姿跟踪， 以获得所述内镜适配器 的位姿信息 。 2.根据权利要求1所述的神经外科手术机器人中的内镜适配器的位姿跟踪方法， 其特 征在于， 所述根据所述第一图像中的像素点的像素值和像素坐标， 对所述第一图像进行标 志物区域的识别， 以获得 所述第一图像的第一标志 物候选区域， 包括： 对所述第一图像中的像素点进行二值化处理， 并根据二值化处理后的所述第 一图像中 的像素点的像素值和像素坐标， 对二值化处理后的所述第一图像进行边界查找， 以获得二 值化处理后的所述第一图像的所有边界； 对二值化处理后的所述第 一图像的所有边界进行筛选， 以获得包含四个子边界的父边 界， 并确定所述父边界内的区域 为所述第一标志 物候选区域。 3.根据权利要求2所述的神经外科手术机器人中的内镜适配器的位姿跟踪方法， 其特 征在于， 所述对所述第一图像中的像素点进行二 值化处理， 包括： 确定位于所述第一图像中待二值化处理的目标像素点的预设范围内的像素点的平均 灰度值、 最大 灰度值和最小灰度值； 响应于确定所述最大灰度值与所述最小灰度值的差值小于预设的差值阈值， 或者所述 目标像素点的灰度值小于或等于所述平均灰度值， 则将所述目标像素点的像素值调整为 零， 并确定所述目标像素点的二 值化处理结果为所述目标像素点的调整后的像素值； 响应于确定所述目标像素点的灰度值大于所述平均灰度值， 则将所述目标像素点的像 素值调整为一， 并确定所述目标像素点的二值化处理结果为所述目标像素点的调整后的像 素值。 4.根据权利要求2所述的神经外科手术机器人中的内镜适配器的位姿跟踪方法， 其特 征在于， 所述根据二值化处理后的所述第一图像中的像素点的像素值和像素坐标， 对二值 化处理后的所述第一图像进行边界查找， 以获得二值化处理后的所述第一图像的所有边 界， 包括：权　利　要　求　书 1/6 页 2 CN 114998386 A 2第一边界点添加步骤： 对二值化处理后的所述第一图像中的像素点进行光栅扫描遍 历， 响应于根据被遍历的像素点的像素值和像素坐标确定所述被遍历的像素点为边界点， 则将所述被遍历的像素点添加至边界点 集合中； 边界点确定步骤： 根据最新添加至所述边界点集合中的像素点的八领域内的像素点的 像素值和像素坐标， 确定所述最新添加至所述边界点集合中的像素点的八领域内的像素点 是否为边界点； 第二边界点添加步骤： 响应于确定所述最新添加至所述边界点集合中的像素点的八领 域内的像素点为边界点， 则将所述最新添加至所述边界点集合中的像素点的八领域内的像 素点添加至所述 边界点集合中； 迭代执行步骤： 迭代地执行所述边界点确定步骤和所述第二边界点添加步骤， 直至没 有加入到所述边界点集合的边界点为止， 以获得二值化处理后的所述第一图像的同一边界 的边界点 集合； 将上次迭代中光栅扫描遍历停下的像素点的下一个像素点作为本次迭代中光栅扫描 遍历起始的像素点， 并迭代地执行所述第一边界点添加 步骤和所述迭代执行步骤， 直至二 值化处理后的所述第一图像中的所有像素点均被光栅扫描遍历一遍， 以获得二值化处理后 的所述第一图像的所有边界的边界点 集合； 根据二值化处理后的所述第 一图像的所有边界的边界点集合， 确定二值化处理后的所 述第一图像的所有边界。 5.根据权利要求4所述的神经外科手术机器人中的内镜适配器的位姿跟踪方法， 其特 征在于， 所述根据最新添加至所述边界点集合中的像素点的八领域内的像素点的像素值和 像素坐标， 确定所述最新添加至所述边界点集合中的像素点的八领域内的像素点是否为边 界点， 包括： 响应于确定所述最新添加至所述边界点集合中的像素点的八领域内的目标像素点的 像素值为一， 并且根据所述目标像素点的像素坐标确定所述目标像素点的八领域内存在像 素值为零的像素点， 则确定所述目标像素点 为边界点。 6.根据权利要求2所述的神经外科手术机器人中的内镜适配器的位姿跟踪方法， 其特 征在于， 所述对二值化处理后的所述第一图像的所有边界进行筛选， 以获得包含四个子边 界的父边界， 包括： 针对所述所有边界中的任意两个边界， 响应于确定一个边界上的任意一个边界点到二 值化处理后的所述第一图像的边缘的连线均与另一个边界上的边界点相交， 则确定所述一 个边界为所述另一个边界的子边界， 并且所述另一个边界为所述 一个边界的父边界； 响应于确定所述父边界包括四个所述子边界， 则获得包 含四个子边界的父边界。 7.根据权利要求2或6所述的神经外科手术机器人中的内镜适配器的位姿跟踪方法， 其 特征在于， 所述方法还 包括： 根据所述 四个子边界中的每个子边界上的边界点的像素坐标， 对所述每个子边界进行 椭圆拟合， 获得 所述每个子边界的椭圆拟合结果； 响应于确定所述每个子边界的椭圆拟合结果均为椭圆， 则确定包含所述 四个子边界的 所述父边界内的区域为对所述第一标志物候选区域进行筛选而获得 的新的标志物候选区 域。权　利　要　求　书 2/6 页 3 CN 114998386 A 3