(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211158878.9 (22)申请日 2022.09.22 (71)申请人 河南科技大 学 地址 471000 河南省洛阳市洛龙区开元 大 道263号 (72)发明人 郑瑞娟　王莎莎　王琳　张明川　 朱军龙　吴庆涛　冀治航　刘牧华　 (74)专利代理 机构 洛阳华和知识产权代理事务 所(普通合伙) 4120 3 专利代理师 张晓楠 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) A61B 5/00(2006.01) G16H 50/20(2018.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的皮肤病舌象分类模 型、 建立 方法及应用 (57)摘要 本发明涉及基于深度学习的皮肤病舌像分 类模型、 建立方法及应用， 属于中医智 能诊断算 法领域， 本发明通过对皮肤病患者舌象进行分 析， 提取舌象的特征信息并进行分类， 建立舌象 分类模型。 采用深度网络模型实现特征的多层级 融合， 同时引入注意力机制， 增强关键特征之间 的联系， 提高模型的分类性能， 实现基于皮肤病 舌象的智能症候分类， 辅助医生诊断， 它可以减 少舌诊过程中的主观性， 避免由于经验不足或人 为误差带来的主观干扰， 对于实现中医辨证的规 范化和标准化 以及中医的推广与传承具有重要 的意义。 权利要求书2页 说明书6页 附图4页 CN 115410046 A 2022.11.29 CN 115410046 A 1.一种基于深度学习的皮肤病舌象分类模型的建立方法， 其特 征在于： 包括以下步骤： 步骤1： 使用手机或者 舌象采集设备拍摄舌象； 步骤2： 对步骤1中得到的舌象进行预处理， 分割出舌体； 具体方法为： 首先使用labelme 对收集到的舌象进行手工标注， 将舌象从背景中划分出来， 标注结束后， 创建mask数据集； 接着使用Mask ‑RCNN网络对mask数据集进 行训练， 并保存训练好的舌象分割模 型； 最后利用 保存的舌象分割模型， 对图像进行分割； 步骤3： 将步骤2中分割好的舌象输入CBAM_Mobi lenetV2网络模型中提取 特征； 将任意尺寸的舌象送入到网络模型中， 首先通过卷积层提取舌象特征， 接着把提取的 特征送到通道和空间注意力模块获得加权结果； 将 高层低分辨率的舌象特征进行上采样， 并将采样后的特 征图与低层的特 征图相加， 实现高低层特 征的融合； 步骤4： 融合后的特征作 为softmax分类器的输入， 进行分类器的训练， 最终得到舌象分 类模型。 2.一种基于深度学习的皮肤病舌象分类模型， 是采用权利要求1所述的建立方法建立 得到。 3.根据权利要求2所述的舌象分类模型在制备皮肤病辅助诊断装置中的应用。 4.一种基于舌象特 征的皮肤病辅助诊断装置， 其特 征在于： 包括： 舌象采集模块， 用于原 始舌象的采集； 舌象预处理模块， 用于对采集到的舌象进行预处理， 使用Mask  R‑CNN网络对舌象进行 分割， 将分割好的舌象随机划分为训练集和 测试集； 特征提取模块， 用于将分割好的舌象输入神经网络模型中进行特征提取， 获取皮肤病 舌象数据； 所述神经网络模型为CBAM_Mob ilenetV2， 由标准卷积层、 深度可分离卷积层、 批 归一化层、 平均池化层、 全连接层以及最后的softmax分类器组成； 通过倒残差连接， 将网络 不同层级的特 征进行融合； 在特 征融合的基础上， 引入通道和空间注意力机制； 神经网络分类模块， 将处理好的皮肤病舌象数据进行标注， 每张舌象上都打上标签； 随 后将带有标签数据的舌象输入到神经网络模型中， 根据损失结果调整网络模型， 提取最适 合用于辨证的舌象特征， 训练完成后保存皮肤病舌象分类模型， 使用测试集， 对训练好的模 型进行测试； 类别和概率输出模块， 用于将训练好的舌象分类模型部署到移动端， 在移动端输入待 测试的舌象， 然后加载到舌象分类模型中， 计算每个类别结果的概率， 最后概率最高的类别 作为结果进行输出， 输出 形式为症候类别以及概 率； 供电模块， 用于对舌象采集模块、 舌象预处理模块、 特征提取模块、 神经网络分类模块、 以及类别和概 率输出模块进行 供电。 5.根据权利要求4所述的皮肤病辅助诊断装置， 其特征在于： 所述特征提取模块中， 在 MobilenetV2中使用改进的残差连接， 先用1 ×1的卷积将 输入的数据转化为高维， 接着利用 深度可分离卷积提取 特征。 6.根据权利要求5所述的皮肤病辅助诊断装置， 其特征在于： 在倒残差块中使用的激活 函数改为线性激活函数， 即在1 ×1卷积扩展通道数， 后面接RELU6激活函数， 再用3 ×3的深 度卷积整合特征， 后接RELU6激活函数， 最后的1 ×1卷积降维部分， 不使用RELU6激活函数， 而是使用L inear保留线性特 征； 其中RELU6函数定义 为： f(x)＝mi n{max(0,x),6}；权　利　要　求　书 1/2 页 2 CN 115410046 A 2通过shortcut连接， 融合不同层的舌象特征； 在每一个倒残差块中， 输入特征为h ×w× k， 通过1×1卷积后的输出为h ×w×(tk)， 进一步的h ×w×(tk)作为下一层的输入， 经过3 × 3的深度卷积后的输出为 最后 经过1×1卷积后， 输出为 其中h， w分别为feature  map的长和宽， k为通道数， t为扩展因子， 即通道扩充的倍数， s 代表步长； 当s＝1的时候， 输入特征和 输出特征尺寸相同， 使用Add的方式将输入和 输出特 征连接到一起； MobilenetV2是由多个倒残差块构建成的， 在倒残差块结构中添加注意力机制； 当步长s＝1的时候， 在倒残差结构中添加通道和空间注意力机制， 即在网络中的1、 11、 17层的bot tleneck中嵌入注意力机制， 关注辨证所用的关键信息， 抑制不必要的特 征信息； 在步长为2的线性瓶颈结构中， 即Mobilenet网络中 的第2、 4、 7、 14、 18层后添加3条并行 分支进行多尺度特征提取， 卷积核大小分别为1 ×1、 3×3、 5×5， 特征维度统一调整为96维， 将获取的高层信息进 行2倍上采样， 并将其与较低层的特征图进 行融合， 最后将融合后的特 征送入Softmax分类 器中。 7.根据权利要求4所述的皮肤病辅助诊断装置， 其特征在于： 神经网络分类模块中， 所 述标签为皮肤病的种类和皮损位置以及所属于的症候类型。 8.根据权利要求7所述的皮肤病辅助诊断装置， 其特征在于： 所述症候类型包括表证、 里证、 虚证、 实证、 寒证和热证。权　利　要　求　书 2/2 页 3 CN 115410046 A 3