(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210935295.6 (22)申请日 2022.08.05 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 陈芳　王见　张赛楠　成楚凡　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 吴旭 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/30(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A61B 8/08(2006.01) (54)发明名称 一种针对 对抗扰动超 声图像的检测方法 (57)摘要 本发明公开了一种针对对抗扰动超声图像 的检测方法， 在超声图像输入超声影像诊断系统 之前， 先将超声图像输入到多角度检测模块中， 进行超声扰动样本的检测与去除， 然后将去除扰 动样本后的数据输入到超声影像诊断系统进行 处理， 得到系统处理结果， 测试评估模块对不同 的检测方法结果进行计算与分析， 然后将结果输 入到对比决策模块中分析检测方法的优劣之处， 给出最能提升超声影像诊断系统安全性的检测 方法。 本发明结合图像的频率域特征， 提出了多 角度针对扰动超声样本的检测方法， 避免扰动超 声样本输入到超声影像诊断系统中影响系统诊 断效果， 从而 有效提升系统的安全性与可靠性。 权利要求书3页 说明书7页 附图2页 CN 115409779 A 2022.11.29 CN 115409779 A 1.一种针对对抗扰动超声图像的检测方法， 其特征在于， 在超声图像输入超声影像诊 断系统之前， 先将超声图像输入到多角度检测模块中， 进行超声扰动 样本的检测与去除， 然 后将去除扰动样本后的数据输入到超声影像诊断系统进行处理， 得到系统处理结果， 测试 评估模块对不同的检测方法结果进行计算与分析， 然后 将结果输入到对比决策模块中分析 检测方法的优劣之处， 给 出最能提升超声影 像诊断系统安全性的检测方法。 2.根据权利要求1所述的针对对抗扰动超声图像的检测方法， 其特征在于， 检测方法包 括： 多角度超声图像检测模块， 所述多角度超声图像检测模块包括基于频率域转换的检 测， 基于特 征分布的检测 和基于对抗训练的检测； 测试评估模块， 所述测试评估模块包括检出率、 可靠性和最低感知度三个方面的计算 分析； 对比决策， 所述对比决策根据测试评估模块的结果进行分析， 给出最能提升系统安全 性的检测方法。 3.根据权利要求1所述的针对 对抗扰动超声图像的检测方法， 其特 征在于， 所述多角度检测模块中的基于频域 转换的检测方法： 频率域相较于空间域， 更能突显出噪声的模式， 针对超声图像自身的散斑噪声与人为 添加的噪声， 通过空间域转换到频率域的方法进行干净超声样本与扰动超声样本的区分， 同时通过分析两类样本频率域不同频段上的差异， 为后续卷积神经网络提取频率域特征提 供先验知识； 首先将原始干净超声样本和添加扰动后的超声样本从空间域转换到频率域， 采用傅里 叶变换的定义 为： (干净样本) (扰动样本) 其中： e为自然常数， π为圆周率， M和N分别为图像的高和宽； f(x,y)为干净样本在点(x, y)处的像素值， f(x',y')为扰动样本在点(x',y')处的像素值； F(u,v)为干净样本转换后的 频率值， F(u',v')为扰动样本转换后的频率值， 然后计算频谱图的变异系数C.V， 即频谱图 标准差与 均值的比值， 定义如下： (变异系数) 其中： Std为频谱图的标准差， Mean为频谱图的均值； 在得到干净超声样本与扰动超声 样本的变异系 数后， 找出最能区分两类样本的阈值， 然后根据此阈值来判断未知超声样本 的类别。 4.根据权利要求1所述的针对 对抗扰动超声图像的检测方法， 其特 征在于， 所述多角度检测模块中的基于特 征分布的检测方法： 对于干净超声样本Imgclean∈X和扰动超声样本Imgpert∈X'， 其中： X为干净超声样本数 据集， X'为扰动超声样本数据集， 通过 特征提取网络来分析两类样本的特 征差异进行区分：权　利　要　求　书 1/3 页 2 CN 115409779 A 2F(f1,f2,...fi,...fn)＝Net(Imgclean∈X) 其中： Net( ·)为特征提取网络， F( ·)干净样本的总体特征分布， n为干净超声样本中 类别的数目， fi(i＝1,2,...,n)为干净样本中每 个类别的特 征； 基于Transformer与卷积神经网络相结合的方法， 同时提取空间域特征与频域特征， 然 后将两类特 征进行融合； 其具体过程 为： (1)空间域特征提取： 对于干净超声样本， 首先将其划分为宽高相同的子块， 在进行线 性映射后， 输入到Transformer模块中进行空间域中的特 征提取， 得到空间域特 征； (2)频率域特征提取： 首先将干净超声样本通过傅里叶变换得到图像的频谱图， 然后对 频谱图进行不同频段 的分解， 得到不同频率的频谱图， 然后将频谱图分别送入到卷积神经 网络CNN中进行频率域的特征提取， 最后将不同频率的特 征进行连接， 得到总体频域特 征， 在分别得到空间域与频率域的特征后， 将两类特征进行连接获得图像的总体特征， 其 中： 对于频域特征， 赋予不同的权重系数进 行连接， 通过计算不同频段干净超声样本的均方 误差MSEclean与扰动超声样本的均方误差MSEadv的比值MSEclean/MSEadv， 若比值大于1.2或比 值小于0.8时， 赋予该频段特征权重0.1， 若比值大于等于0.8且小于1.2时， 赋予该频段特征 权重0.05； 具体的公式结构如下： Fspa＝Trans(Imgclean∈X)Ffre＝Conv(Fre(fre1,fre2,...fren)) Ftotal＝Connect(Fspa,Ffre) 其中： Fspa为通过Transformer模块得到的空间域特征； Ffre为通过卷积得到的频率域特 征， Fre(fre1,fre2,...fren)为不同频段的频谱； Ftotal为空间域特征与频率域特征连接后得 到的总体特 征； 在得到总体特征与类别特征后， 通过计算单个类别的特征与总体特征的距离， 不同类 别特征之间的距离来得到干净超声样本的特征分布F； 当输入未知超声样本x*时， 首先经过 特征提取器提取未知样本的特征f*， 然后计算此特征是否符合F的特征分布， 如果符合干净 超声样本中某一类特征fi(i＝1,2,...,n)， 则该样本为干净超声样本， 若不符合干净超声 样本中的任何一类特 征， 则该样本为扰动超声样本； 在获得干净超声样本的特征分布后， 通过最大化扰动超声样本与干净超声样本之间的 特征间隔训练出一个二分类 器来对未知样本进行分类， 损失函数定义如下： 其中， 为距离计算 函数， Fpert为扰动样本特 征， Fclean为提取到的干净样本特 征。 5.根据权利要求1所述的针对 对抗扰动超声图像的检测方法， 其特 征在于， 所述多角度检测模块中的基于对抗训练的检测方法： 对抗训练通过增加扰动超声样本作为输入进行训练， 根据干净超声样本训练得到模型 Mclean( θ )， 扰动超声样本与干净超声样本混合训练得到对抗训练模型MAT( θ')； 模型Mclean( θ ) 对输入的干净超声样本进行正确的分类， 而会错误分类添加扰动后的超声样本； 模型MAT ( θ')则会对 两类样本都进行正确的分类； 当输入未知样本时， 将其输入 到模型Mclean( θ )得到 预测结果Pred1， 输入到模型MAT( θ')得到预测结果Pred2， 如果两个预测结果相同， 则未知样 本类别为干净超声样本， 如果两个预测结果 不相同， 则未知样本类别为扰动超声样本 。 6.根据权利要求1所述的针对 对抗扰动超声图像的检测方法， 其特 征在于， 所述测试评估 模块包括：权　利　要　求　书 2/3 页 3 CN 115409779 A 3