(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211142745.2 (22)申请日 2022.09.20 (71)申请人 广州大学 地址 510006 广东省广州市番禺区大 学城 外环西路23 0号 (72)发明人 林凯瀚　韩伟红　李树栋　顾钊铨　 梅阳阳　吴晓波　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于自注意力机制的双分支人脸伪造 检测方法 (57)摘要 本发明涉及一种基于自注意力机制的双分 支人脸伪造检测方法， 包括步骤： S1、 利用多任务 级联卷积神经人脸检测网络获取只包含人脸区 域的图像， 将其输入随机隐写分析丰富模型SRM 中获取噪声图像； S2、 将RGB图像和噪声图像分别 输入到两个参数不共享的PBoT分支网络中， 提取 相应的特征； S3、 利用双线性池化层对两个网络 提取的特征进行融合， 并通过全连通层和 softmax层来预测输入的人脸图像是否为伪造图 像。 本发明通过SRM的双分支结构， 以捕获视觉伪 造伪影及局部噪声特征的不一致性， 提高压缩处 理后的人脸图像伪造检测准确率； 在特征提取中 引自注意机制， 采用融合卷积和自我注意的混合 模型来学习局部和全局图像特征， 提高人脸伪造 检测准确率。 权利要求书2页 说明书4页 附图1页 CN 115546864 A 2022.12.30 CN 115546864 A 1.一种基于自注意力机制的双分支人脸伪造检测方法， 其特 征在于， 包括以下步骤： S1、 利用多任务级联卷积神经人脸检测网络获取只包含人脸区域的图像， 然后将其输 入随机隐写分析丰富模型SRM中获取噪声图像； S2、 将RGB图像和噪声图像分别输入到两个参数不共享的预激活BoT网络即PBoT分支网 络中， 提取相应的特征， 其中， RGB分支用于捕捉视觉伪造伪影， 噪声分支 通过随机隐写分析 丰富模型SRM捕获局部噪声特 征的不一致性； S3、 利用双线性池化层对两个网络提取的特征进行融合， 利用两个分支的不同特性， 并 通过全连通层和softmax层来预测输入的人脸图像是否为伪造图像。 2.根据权利要求1所述的一种基于自注意力机制的双分支人脸伪造检测方法， 其特征 在于， 步骤S1中的随机隐写分析丰富模型SRM的具体实现过程如下： S11、 随机隐写分析丰富模型SRM将若干不同的子模型组合成一个丰富的噪声分量模 型， 其中， 子模型由线性和非线性高通滤波器得到的噪声残差相邻样本的联合分布形成； S12、 对若干个基本滤波器的输出进行量化和截断， 并提取附近的同现信息作为最终特 征作为局部噪声 描述子； S13、 采用若干个 基本滤波器对输入图像进行 滤波； S14、 在若干个随机隐写分析丰富模型SRM核函数中随机挑选若干个核函数进行局部噪 声特征提取， 并将随机隐写分析丰富模型SRM过滤器层的内核大小设置为5 ×5×3， 输出通 道大小设置为3 。 3.根据权利要求1所述的一种基于自注意力机制的双分支人脸伪造检测方法， 其特征 在于， 步骤S2中预激活BoT 网络结合了自我注意机制和ResNet的Bottleneck  Transformer 混合模型， 并利用预激活机制对BoT 进行改进。 4.根据权利要求3所述的一种基于自注意力机制的双分支人脸伪造检测方法， 其特征 在于， 预激活BoT网络使用相同的连接形状PBoT单 元调用构建PBoT块。 5.根据权利要求4所述的一种基于自注意力机制的双分支人脸伪造检测方法， 其特征 在于， PBoT块结构为ResNet残差块将3 ×3卷积层替换为多头自注意力层MHSA， 采用MHSA层 替换c5的卷积层； 在对全局图像进行卷积处理的同时， 对捕捉到的特征图信息进行自我注 意处理。 6.根据权利要求5所述的一种基于自注意力机制的双分支人脸伪造检测方法， 其特征 在于， 在ResNet和BoT中， 每 个单元用以下公式表示： yl＝H(xl)+F(xl,Wl) xl+1＝f(yl) 其中， xl和xl+1为第l个残差单元的输入和输出， Wl为参数； 残差函数定义为F， H为单位映 射： H(xl)＝xl； 函数f是元素添加后的操作， 为ReLU函数； 将PBoT中的函数f设置为一个恒等 映射f(yl)＝yl； 重新排列激活函数ReLU和BN用于身份映射； 将BN层和ReLu层放在权重层之 前； PBoT单 元写为： xl+1＝xl+F(xl,Wl)。 7.根据权利要求1所述的一种基于自注意力机制的双分支人脸伪造检测方法， 其特征 在于， 步骤S3中双线性池化的具体实现过程如下： S31、 利用紧凑双线性池融合RGB分支和噪声分支的特征， 将压缩后的双线性池化层输权　利　要　求　书 1/2 页 2 CN 115546864 A 2出如下： 其中， fr为RGB支路特 征， fn为噪声支路特 征； S32、 将步骤S31中的输出进行矢量 化和归一 化， 如下所示： S33、 通过全连通和softmax层得到二 值预测结果。权　利　要　求　书 2/2 页 3 CN 115546864 A 3