(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210608412.8 (22)申请日 2022.05.31 (71)申请人 中加健康工程研究院 （合肥） 有限公 司 地址 230088 安徽省合肥市高新区习友路 与孔雀台路交口国家 健康大数据产业 园B5栋 (72)发明人 张弓　李学俊　王华彬　苏进　 (74)专利代理 机构 安徽知问律师事务所 34134 专利代理师 王泽洋 (51)Int.Cl. G16H 50/50(2018.01) G16H 30/00(2018.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多尺度特征融合和双线性残差网 络的AD预测算法 (57)摘要 本发明公开了一种基于多尺度特征融合和 双线性残差网络的AD预测算法， 属于阿尔茨海默 症预测技术领域。 本发明首先， 设计基于DCGAN的 PET图像数据扩增模块， 通过生成的高质量数据， 丰富数据多样性， 提高模 型泛化能力。 其次， 设计 基于I_ResNet18的双线性残差网络作为预测算 法的骨干模型， 通过双线性的CNN对输入数据进 行局部特征交互， 提高网络的表征能力。 再次， 将 多尺度特征融合模块嵌入双线性网络中的特征 提取网络， 能捕捉到原始特征信息中不同病灶区 域的特征差异， 避免病灶信息丢失。 最后， 与现有 的主流AD预测算法进行了对比实验， 本发明提出 算法的准确度达到了82.9％， 相较于次优算法的 结果提高了5.2％。 权利要求书2页 说明书8页 附图5页 CN 115394446 A 2022.11.25 CN 115394446 A 1.一种基于多尺度特 征融合和双线性残差网络的AD预测算法， 其特 征在于， 其 步骤为： 步骤一、 采用生成对抗网络获得高质量样本数据进行 数据扩充； 步骤二、 将I_ResNet18作为双线性卷积神经网络的特征提取网络， 设计基于I_ ResNet18的双线性残差网络， 用于获取 具有判别性的病灶特 征； 步骤三、 将SK模块嵌入I_ResNet18中， 多尺度的捕获病灶特 征。 2.根据权利要求1所述的一种基于多尺度特征融合和双线性残差网络的AD预测算法， 其特征在于， 所述的步骤一中， 基于深度卷积生成对抗网络对 数据集进 行数据扩增； 先设计 包括生成器和判别器的生成对抗网络， 优化目标函数为式(1) 式中， x代表真实样本， z代表随机噪声向量， G(z)代表生成器生成的数据， E代表期望， D (x)代表判别器将x与真实数据区分开的概率， D(G(z))代表判别器将生成数据判别为真 的 概率； 在生成对抗网络的基础上进行优化， 将生成对抗网络优化为深度卷积生成对抗网络， 优化目标函数为式(2) 式中， y是输入进生成网络的失真图像。 3.根据权利要求2所述的一种基于多尺度特征融合和双线性残差网络的AD预测算法， 其特征在于， 将 深度卷积生成对抗网络与PET图像识别相结合， 步骤为： S1、 设定训练周期， 并获取样本； S2、 针对M CI和CN进行 数据扩增， 为M CI和NC各自训练一个 独立的DCGAN进行 数据生成； S3、 生成伪图像， 筛 选1000个得分高的数据作为扩增数据。 4.根据权利要求3所述的一种基于多尺度特征融合和双线性残差网络的AD预测算法， 其特征在于， 所述的步骤二中， I_ResNet18为双 线性残差网络的特征提取网络， 包含一个初 始卷积层和四个改进Residual  Block层， 每一个改进Residual  Block都添加一个1 ×1卷 积。 5.根据权利要求4所述的一种基于多尺度特征融合和双线性残差网络的AD预测算法， 其特征在于， 所述的双线性残差网络基于双线性卷积神经网络设计， 双线性卷积神经网络 由输入层、 主干网络、 输出层组成， 用于特 征提取， 输出由一个外积函数组成。 6.根据权利要求5所述的一种基于多尺度特征融合和双线性残差网络的AD预测算法， 其特征在于， 将所述的双线性卷积神经网络形式化为四元组B＝F(fx,fy,P,G)， 其中fx和fy 是基于双线性卷积神经网络的特 征函数， P是池化 函数， C是分类函数， 映射关系如式(3) f:I×L→RK×T  (3) 其中， I表示输入图像， L 一般表示 位置和尺度， 输出 得到一个大小为K ×T的特征R； 使用矩阵外积， 将fx和fy在每个位置的输出合并输出， 如式(4) b(l,I,fx,fy)＝fx(l,I)Tfy(l,I)  (4) 将图像中所有位置的特征双线性组合， 进行求和汇聚以获得图像的全局表示 如式 (5)权　利　要　求　书 1/2 页 2 CN 115394446 A 2将得到的双线性向量 做为x， 然后对 x进行带符号的平方根 运算得到向量y， 如式(6) 最后对y进行正则化约束得到最终的双线性向量z 7.根据权利要求6所述的一种基于多尺度特征融合和双线性残差网络的AD预测算法， 其特征在于， 所述的步骤三 中， 设计SK模块结构， 先将特征图X∈RH×w×C进行分割获得输出 和 再逐元素添加融合不同分支； 之后进行选择， 获得概率权重矩阵a和b； 最终进行加权求 和获得输出向量V。 8.根据权利要求7所述的一种基于多尺度特征融合和双线性残差网络的AD预测算法， 其特征在于， 所述的分割步骤中， 对输入的特征图X∈RH×W×C进行卷积核分别为3 ×3和5×5大小的卷 积操作， 获得输出 和 所述的融合 步骤中， 融合 不同分支的特 征图， 即逐 元素添加， 如式(8)所示： 得到合并后的结果U， 将U缩小到空间维数H ×W得出S的第c的元 素， 如式(9)所示： 对输出的特 征向量S使用全连接来找到每 个通道的比例， 从而生成d ×1×1的向量Z； 所述的选择步骤中， 利用Softmax函数将向量Z转换为每个信道的概率权重矩阵a和b， 如式(10)所示： 式中， Ai， Bi表示两个通道可 学习参数； 最终将ac和bc分别对 和 进行加权求和操作， 得到最终的输出向量V， 其中V＝[V1,V2,…,Vc]， Vc∈RH×W。 9.根据权利要求8所述的一种基于多尺度特征融合和双线性残差网络的AD预测算法， 其特征在于， 所述的步骤三中， 将SK模块添加在双线性残差网络中的特征提取网络中， 利用 两种不同大小的卷积核对PET图像不同病灶区域范围内的病灶特征进行提取， 并分别进行 特征融合拼接， 最终 获得病灶特 征。权　利　要　求　书 2/2 页 3 CN 115394446 A 3