(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202280001595.5 (22)申请日 2022.05.05 (30)优先权数据 17/660,422 2022.04.25 US (85)PCT国际申请进入国家阶段日 2022.06.01 (86)PCT国际申请的申请数据 PCT/CN2022/090922 2022.05.05 (71)申请人 香港应用科技研究院有限公司 地址 中国香港新界 (72)发明人 何学俭　王陆　梁秉舜　 (74)专利代理 机构 北京世峰知识产权代理有限 公司 11713 专利代理师 卓霖　张春媛(51)Int.Cl. G16H 40/60(2018.01) G16H 50/20(2018.01) G16H 30/20(2018.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 1/273(2006.01) A61B 1/00(2006.01) (54)发明名称 采用优化的集成AI解决方案的多功能计算 机辅助胃镜 检查系统以及方法 (57)摘要 公开了一种采用优化的集成AI解决方案的 多功能计算机辅助胃镜检查系统。 该系统利用多 个深度学习神经模型来实现多个任务的低延迟 和高性能要求。 优化在三个层次上进行： 架构层 面、 模块化层面和功能层面。 在架构层面， 模型的 设计方式使其能够以进行一次推理来同时完成 HP感染分类以及检测一些病变， 由此可以降低计 算成本。 在模块化层面， 作为HP感染分类的子模 型， 利用时间信息对部位识别模型进行了优化。 它不仅提高了HP感染分类的性能， 而且对于病变 检测和程序状态确定也有重要作用。 在功能层 面， 通过配置和资源感知优化将推理延迟降至最 低。 同样在功能层面， 通过图像大小调整并行化 和统一预处 理来加速预处 理。 权利要求书4页 说明书22页 附图20页 CN 115004316 A 2022.09.02 CN 115004316 A 1.一种计算机 辅助胃镜检查系统， 包括： 中央处理器单元， 其与存 储可执行软件程序的存 储器耦合， 其中， 该 软件程序包括： AI图像处理系统， 用于分析从 胃镜检查仪器获得的胃图像序列， 其中， 所述AI图像处理 系统包括协同执行图像质量评估、 病变检测、 癌症鉴定、 HP分类以及部位识别的至少三个架 构级模块， 其中， 所述模块中的至少一个包括一个或多个神经模型， 所述神经模 型从所述胃 图像序列中提取不同但相关的信息， 并与其它模块共享从所述胃图像序列中提取 的信息； 并且至少一个所述神经模型将HP感染特征和从其它神经模型中提取 的部位信息融合在一 起， 以提高所述计算机 辅助胃镜检查系统的分类准确度。 2.根据权利要求1所述的系统， 其中， 所述至少三个模块包括： 用于图像质量控制以过 滤掉所述胃图像序列中的不 合格图像的第一模块； 用于病变 检测、 癌症鉴定和病变跟踪的第二模块； 以及 用于分类所述HP感染和部位识别的第三模块， 其中， 这些模块中的每一个均包括 一个或多个神经模型。 3.根据权利要求2所述的系统， 其中， 所述第三模块还包括复合神经模型， 所述复合神 经模型包括： 第一神经模型， 以所述胃图像序列为输入， 执行HP特征提取， 以及输出第一数量的特征 通道； 第二神经模型， 也以所述胃图像序列为输入， 执行包含胃肠道的时空部位信息的部位 特征提取， 并输出第二数量的特 征通道； 以及 第三神经模型， 以所述第 一数量的特征通道和所述第 二数量的特征通道的级联作为输 入并产生第三数量的类标签， 每 个所述类标签指示HP感染特 征。 4.根据权利要求3所述的系统， 其中， 所述第 一神经模型产生六十四通道元素的第 一张 量； 所述第二神经模型产生十二个通道元素 的第二张量， 所述十二个通道元素中的每一个 对应于一个部位分类标签； 并且所述第三神经模型以所述第一张量和所述第二张量的级联 作为输入， 并输出与九个所述HP感染特 征相对应的九个元 素分类标签。 5.根据权利要求3所述的系统， 还包括统一预处理模块， 其中， 所述统一预处理模块将 所述胃图像序列作为输入， 并对于所述胃图像序列中的每个图像产生统一张量作为输出， 所述统一张量被馈送到所述A I图像处理系统的所述第一模块、 所述第二模块和所述第三模 块的神经模型。 6.根据权利要求5所述的系统， 其中， 所述第一模块、 所述第二模块和所述第三模块的 神经网络架构被调整， 使得所述神经模型 的输出张量保持相同， 就好像每个所述神经网络 架构使用专门为神经网络架构设计的不同的预处 理模块一样。 7.根据权利要求5所述的系统， 其中， 调整所述第一模块、 所述第二模块和所述第三模 块的神经网络架构， 使得每 个神经模型的性能不会降低。 8.根据权利要求5所述的系统， 其中， 如果进入所述统一预处理模块的胃图像序列中的 图像的高度或宽度大于阈值， 则调用并行化调整大小进程来对所述图像进行调整大小， 其 中， 所述并行化调整大小 进程包括以下步骤： 如果高度为奇数， 则用一行零填充原始图像， 如果宽度为奇数， 则用一列零填充所述原 始图像；权　利　要　求　书 1/4 页 2 CN 115004316 A 2将填充图像划分为四个象限； 并行地对每 个象限调整大小以产生四个调整大小后的象限； 以及 将四个调整大小后的象限拼接在一 起以获得均匀的调整大小后的图像。 9.根据权利要求2所述的系统， 其中 所述第一模块的神经模型使用图像质量数据集进行训练， 以产生完整的图像质量神经 模型； 所述第二模块的一个或多个神经模型使用病变数据集进行训练， 以产生完整的病变检 测神经模型； 并且 所述第三模块的一个或多个神经模型使用胃部位数据集和幽门螺杆菌数据集进行训 练， 以产生完整的HP加部位神经模型。 10.根据权利要求9所述的系统， 还包括模型修剪和量化模块， 其中， 通过修剪层连接和 量化连接权重来优化完整的图像质量神经模型、 完整的病变检测神经模型和完整的HP加部 位神经模型， 以分别产生优化的图像质量神经模型、 优化的病变检测神经模型和优化的HP 加部位神经模型。 11.根据权利要求10所述的系统， 其中， 所述计算机辅助胃镜检查系统还包括至少一个 协处理器， 并且在所述中央处理器单元处执行的所述软件程序根据子任务的预先指派优先 级和每个所述协处理器的能力明智地将由所述模块中的每一个发起的子任务分配给所述 至少一个协处理器， 使得所述计算机辅助胃镜检查系统 能够以对用户的低 延迟响应实现高 检测和分类准确度。 12.根据权利要求11所述的系统， 其中， 当所述计算机辅助胃镜检查系统配备有所述至 少一个协处理器时， 所述计算机辅助胃镜检查系统 能够以离线处理模式和在线处理模式运 行。 13.根据权利要求12所述的系统， 其中， 当所述计算机辅助胃镜检查系统被设置为以所 述离线处理模式运行时， 所述计算机辅助胃镜检查系统将所述至少一个协处理器中的每一 个配置为运行动态批处 理过程， 所述动态批处 理过程包括以下步骤： 将至少一个完整的神经模型加载到所述协处 理器； 以及 将一批次胃图像加载到所述协处理器， 其中， 批次大小是基于协处理器中可用的计算 能力和资源动态确定的。 14.根据权利要求12所述的系统， 其中， 当所述计算机辅助胃镜检查系统配备有所述至 少一个协处理器并被设置为以在线处理模式运行时， 所述计算机辅助胃镜检查系统执行延 迟控制程序， 所述延迟 控制程序包括以下步骤： 根据每个优化的神经模型的计算资源需求预先确定每个优化的神经模型的加载优先 级； 根据所述加载优先级和所述协处理器的硬件配置， 将一个或多个所述优化的神经模型 加载到每 个所述协处 理器； 针对每个协处理器建立固定长度的任务队列， 供所述中央处理单元下发子任务到任务 队列， 供所述协处 理器执行； 以及 使至少一个协处理器中的每一个能够并行操作， 其中， 每当所述协处理器变为空闲时， 所述协处理器将子任务从与该协处理器相关联的任务队列中取出， 并且每当所述协处理器权　利　要　求　书 2/4 页 3 CN 115004316 A 3