(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211190001.8 (22)申请日 2022.09.28 (65)同一申请的已公布的文献号 申请公布号 CN 115272779 A (43)申请公布日 2022.11.01 (73)专利权人 广东顺德工业设计 研究院 （广东 顺德创新设计 研究院） 地址 528300 广东省佛山市顺德区北滘镇 三乐路北一号广东工业设计城设计广 场二期B2区三层 专利权人 佛山丁智生物科技有限公司 (72)发明人 王素娟　朱凌　廖丽敏　曾杰生　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 关志琨(51)Int.Cl. G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (56)对比文件 CN 111680678 A,2020.09.18 CN 113129338 A,2021.07.16 CN 114898131 A,202 2.08.12 US 202016 0085 A1,2020.0 5.21 CN 114639101 A,202 2.06.17 审查员 刘志军 (54)发明名称 液滴识别方法、 装置、 计算机设备和存储介 质 (57)摘要 本申请涉及一种液滴识别方法、 装置、 计算 机设备和计算机可读存储介质， 可以提高液滴识 别的效率。 所述方法包括： 获取液滴图像， 将液滴 图像输入第一液滴识别模型， 确定液滴图像中液 滴的排列方向， 根据排列方向调整不同尺度卷积 核的旋转角度， 利用旋转后的卷积核对液滴图像 进行特征提取， 得到多个第一液滴图像特征， 根 据多个第一液滴图像特征获取第一液滴识别结 果； 将液滴图像输入第二液滴识别模型， 预测针 对液滴图像中液滴的锚框， 确定与锚框对应的特 征偏移量， 根据特征偏移量， 对识别出锚框的特 征图进行变形卷积， 得到第二液滴图像特征； 根 据第二液滴图像特征获取第二液滴识别结果； 基 于两个液滴识别结果， 确定最终液滴识别结果。 权利要求书3页 说明书18页 附图5页 CN 115272779 B 2022.12.27 CN 115272779 B 1.一种液滴识别方法， 其特 征在于， 所述方法包括： 获取液滴图像； 将所述液滴图像输入到训练好的第 一液滴识别模型， 由所述第 一液滴识别模型确定所 述液滴图像中的液滴的排列方向， 根据所述排列方向调整不同尺度的多个卷积核的旋转角 度， 利用旋转后的多个卷积核对 所述液滴图像进 行特征提取， 得到多个第一液滴图像特征， 并根据所述多个第一液滴图像特征获取所述液滴图像的第一液滴识别结果， 包括： 将所述 多个第一液滴图像特征输入注意力模块， 由所述注意力模块 获取每个第一液滴图像特征对 应的多个通道参数；  确定与多个通道参数对应的特征权重， 并根据所述特征权重， 对所述 多个第一液滴图像特征进行融合， 获得融合特征； 将所述融合特征输入到用于生成卷积核 权重的生成器中， 由所述生成器获取所述融合特征对应的卷积核权重； 根据所述卷积核权 重调整预先确定的卷积核， 并利用 调整后的卷积核对所述融合特征进行特征提取， 获得滤 波特征； 获取所述滤波特征对应的回归结果和分类结果； 所述回归结果包括所述液滴的中 心点坐标、 中心点偏移量和所述液滴对应的目标检测框的宽和高， 所述分类结果用于指示 所述目标检测框中是否有液滴； 根据所述分类结果和所述回归结果， 得到所述液滴图像的 第一液滴识别结果； 将所述液滴图像输入到训练好的第 二液滴识别模型， 由所述第 二液滴识别模型预测针 对所述液滴图像中的液滴的锚框， 确定与所述锚框对应的特征偏移量， 根据所述特征偏移 量， 对识别出所述锚框的特征图进行变形卷积， 得到第二液滴图像特征， 并根据所述第二液 滴图像特 征获取所述液滴图像的第二液滴识别结果； 基于所述第 一液滴识别结果和所述第 二液滴识别结果， 确定所述液滴图像的最终液滴 识别结果。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述第 二液滴图像特征获取所述 液滴图像的第二液滴识别结果， 包括： 利用旋转的特征提取器对所述第 二液滴图像特征进行特征提取， 并基于所述特征提取 器的特征提取结果获取 方向敏感特 征和方向不变特 征； 根据所述方向敏感特征和所述方向不变特征， 得到所述液滴图像的第二液滴识别结 果。 3.根据权利要求2所述的方法， 其特征在于， 所述利用旋转的特征提取器对所述第 二液 滴图像特征进 行特征提取， 并基于所述特征提取器的特征提取结果 获取方向敏感特征和方 向不变特 征， 包括： 获取多个旋转角度， 并根据 所述旋转角度对预设的特征提取器的特征提取角度进行调 整； 利用调整后的特征提取器对所述第 二液滴图像特征进行卷积处理， 得到多个旋转角度 下的卷积结果； 基于所述多个旋转角度下的卷积结果获得方向敏感特征， 以及， 确定所述多个旋转角 度下的卷积结果中的最大 卷积结果， 并将所述 最大卷积结果作为方向不变特 征。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一液滴识别结果和所述第 二液滴识别结果， 确定所述液滴图像的最终液滴识别结果， 包括： 根据所述第 一液滴识别结果和所述第 二液滴识别结果， 确定针对所述液滴图像中的液权　利　要　求　书 1/3 页 2 CN 115272779 B 2滴多个检测框和每 个检测框的置信度； 根据各个检测框的置信度对多个检测框进行降序排列， 并根据排列顺序确定当前的待 融合检测框； 所述当前的待融合检测框为首个 检测框以外的其 他检测框； 将所述当前的待融合检测框与至少一个液滴当前的检测框匹配， 并根据匹配结果确定 当前的待融合检测框所针对的目标液滴； 所述至少一个液滴当前的检测框至少包括所述首 个检测框； 将当前待融合检测框与所述目标液滴当前的检测框进行融合， 根据融合后的检测框更 新所述目标液滴当前的检测框， 并返回执行所述根据排列顺序确定 当前的待融合检测框的 步骤， 直到所述多个检测框中每个检测框都进行融合； 根据融合后得到的多个检测框， 得到 所述液滴图像的最终液滴识别结果。 5.一种液滴识别装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取 液滴图像； 第一液滴识别模块， 用于将所述液滴图像输入到训练好的第一液滴识别模型， 由所述 第一液滴识别模型确定所述液滴图像中的液滴的排列方向， 根据所述排列方向调整不同尺 度的多个卷积核的旋转角度， 利用旋转后的多个卷积核对所述液滴图像进行特征提取， 得 到多个第一液滴图像特征， 并根据所述多个第一液滴图像特征获取所述液滴图像的第一液 滴识别结果， 包括： 将所述多个第一液滴图像特征输入注意力模块， 由所述注 意力模块 获取 每个第一液滴图像特征对应的多个通道参数；  确定与多个通道参数对应的特征权重， 并根 据所述特征权重， 对 所述多个第一液滴图像特征进 行融合， 获得融合特征； 将所述融合特征 输入到用于生成卷积核权重的生成器中， 由所述生成器获取所述融合特征对应的卷积核权 重； 根据所述卷积核权重调整预先确定的卷积核， 并利用 调整后的卷积核对所述融合特征 进行特征提取， 获得滤波 特征； 获取所述滤波特征对应的回归 结果和分类结果； 所述回归结 果包括所述液滴的中心点坐标、 中心点偏移量和所述液滴对应的目标检测框的宽和高， 所 述分类结果用于指示所述 目标检测框中是否有液滴； 根据所述分类结果和所述回归结果， 得到所述液滴图像的第一液滴识别结果； 第二液滴识别模块， 用于将所述液滴图像输入到训练好的第二液滴识别模型， 由所述 第二液滴识别模型预测针对所述液滴图像中的液滴的锚框， 确定与所述锚框对应的特征偏 移量， 根据所述特征偏移量， 对识别出所述锚框的特征图进 行变形卷积， 得到第二液滴图像 特征， 并根据所述第二液滴图像特 征获取所述液滴图像的第二液滴识别结果； 结果融合模块， 用于基于所述第一液滴识别结果和所述第二液滴识别结果， 确定所述 液滴图像的最终液滴识别结果。 6.根据权利要求5所述的装置， 其特征在于， 所述第二液滴识别模块， 还用于利用旋转 的特征提取器对所述第二液滴图像特征进 行特征提取， 并基于所述特征提取器的特征提取 结果获取方向敏感特征和方向不变特征； 根据所述方向敏感特征和所述方向不变特征， 得 到所述液滴图像的第二液滴识别结果。 7.根据权利要求5所述的装置， 其特 征在于， 所述装置还 包括： 特征提取器调整模块， 用于获取多个旋转角度， 并根据所述旋转角度对预设的特征提 取器的特 征提取角度进行调整； 多角度卷积模块， 用于利用调整后的特征提取器对所述第 二液滴图像特征进行卷积处权　利　要　求　书 2/3 页 3 CN 115272779 B 3