(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111670708.4 (22)申请日 2021.12.31 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 匡振中　滕龙斌　李忠金　俞俊　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 朱月芬 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种可用性一致的差分隐私人体匿名合成 方法 (57)摘要 本发明公开了一种可用性一致的差分隐私 人体匿名合成方法。 本发明特征在于将源人体数 据集 通过委派人体数据集 与可用性保持姿势 转换网络得到匿名人体数据集 ； 具体步骤： 步 骤1： 预处理； 步骤2： 分配委派身份； 步骤3： 构建 可用性保持姿势转换网络； 步骤4： 训练约束； 步 骤5： 模型训练及测试。 本发明可以生成新的匿名 人体图像， 避免隐私数据被收集以及滥用， 而且 匿名图像可以保持原始数据的可用性。 此外， 本 发明可以在不同的隐私级别下生成自然的图像， 并保持人体隐私以及数据可用性。 权利要求书3页 说明书8页 附图1页 CN 114332945 A 2022.04.12 CN 114332945 A 1.一种可用性一致的差分隐私人体匿名合成方法， 其特征在于将源人体数据集 通过 委派人体数据集 与可用性保持姿势转换网络得到匿名人体数据集 具体实现步骤如下： 步骤1： 预处 理； 步骤2： 分配委派身份； 步骤3： 构建可用性保持姿势转换网络； 步骤4： 训练约束； 步骤5： 模型训练及测试。 2.根据权利要求1所述的一种可用性一致的差分隐私人体匿名合成方法， 其特征在于 步骤1预处 理， 具体步骤如下： 1‑1.委派人体数据集 采集， 使用公开数据集或合成的数据集作为委派人体数据集 1‑2.图像标记， 对 委派人体数据集 中的人体图像标记所需的非敏感属性； 1‑3.使用姿态解析器解析委派人体数据集 中的人体图像， 得到人体关键点； 1‑4.使用实例分割模型对人体图像分割， 得到人体区域掩码图像。 3.根据权利要求1所述的一种可用性一致的差分隐私人体匿名合成方法， 其特征在于 步骤2分配委派身份， 具体步骤如下： 2‑1.构建属性 一致候选集； 采用预训练的属性分类器对原始人体图像Ix的属性Ax进行预测； 属性一致候选集Sx从 委派人体数据集 中挑选属性与Ax一致的委派身份构建得到， 所述的挑选的属性均为非敏 感的， 且通过最大化属性 一致挑选方法进行挑选； 采用预训练的属性分类器对源人体数据集 中原始图像Ix的属性Ax进行预测； 从从委 派 人体数据集 中挑选属性与非敏感属性Ax一致的图像， 从而构建得到属性一致候选集Sx； 其 中属性分类器在原始图像Ix上第i个非敏感属性的预测结果为 表示相应的非敏感属性的softmax分数， m表示对应的非敏感属性数量； 令 当ρ(x， d)＝m时委派人体图像sd和原始图像Ix为全匹配， 其中 为委派人体图像sd的第i个属性标签； 当全匹配委派人体图像数量n小于预设的阈值t时， t‑n个额外的图像将会被添加到属性一致候选集Sx， 其规则为从委派人体数据集 挑选最大 化属性一致性的委派人体图像sd， 属性一致性表示为 2‑2.差分隐私身份委派 为了找到合适的委派人体图像sd， 引入图像级的差分随机身份映射φ， 对于随机机制K， 如果其对于任意的邻接映射φ1和φ2以及所有的可能输出O， 满足： Pr[K(φ1)∈O]≤e∈Pr[K(φ2)∈O] 则称随机 机制K满足∈ ‑差分隐私； 采用指数机制实现∈ ‑差分隐私， 其定义如下： 当随机算法K(φ， u， R)以正比于exp(∈u(φ， r)/2Δu)的概率挑选并输出一个元素 则K满足∈ ‑差分隐私； 其中 表示从源人体数据集第x张图像映射到委派 人体数据集第d张图像的可用性， k表示源人体数据集第x张图像在委派人体数据集上所有权　利　要　求　书 1/3 页 2 CN 114332945 A 2可能的映射图像的索引， 并且ξ(k， x)＝|f(sk)‑f(Ix)|2， f是预训练的人体特征提取器， sk是 委派人体数据集第k张图像； 最终以 的概率执行随机采样挑选身 份委派； 由于Pr[φ|x →d]正比于exp(∈u(φ， r)/2Δu)， 所以身份委派方式满足指数机制， 既满足∈ ‑差分隐私。 4.根据权利要求1所述的一种可用性一致的差分隐私人体匿名合成方法， 其特征在于 步骤3构建可用性保持姿势转换网络， 具体步骤如下： 对于给定的原始人体图像 首先采用步骤2分配委派身份对应的委派人体图像 然后使用UPT网络替换原始人体图像Ix中的人体， 得到匿名目标图像 UPT网络如下 所示： 3‑1.构建生成器； 生成器由数个编码器和一个解码器构成， 包括编码器Ex、 Ep、 Ea、 Ef和一个解码器 其中 Ex和Ep由3个卷积层构成， Ef由2个卷积层构成， Ea由7个全连接层构成， 由渐进式姿态迁移 模型构成； 3‑2.构建鉴别器； UPT网络采用两个鉴别器Dp和Dt对抗性的训练生成器； 鉴别器Dp重点在于判断目标图像 的姿势是否对 应到源人体的姿势， 采用多个卷积层和残差 块构成； 鉴别器Dt使用和编码器Ea 一样的7层全连接层来判别生成人体图像的真实性和 属性一致性； 3‑3.背景恢复模块； 将原始人体图像Ix的背景贴到生成人体图像上再输入到鉴别器Dp和Dt中， 通过这种方 式能够很好的恢复原 始背景。 5.根据权利要求4所述的一种可用性一致的差分隐私人体匿名合成方法， 其特征在于 所述的生成器有六个输入： 委派人体图像sd、 Ix的关键点热力图Px、 sd的关键点热力图 非 敏感属性Ax、 背景Bx以及人体区域掩码Mx； Px和 在堆叠输入Ep输出姿势特征Fp， 非敏感属 性Ax输入Ea输出属性特征Fa， Bx和sd再堆叠输入Ex输出图像特征Fx， 属性特征Fa和图像特征Fx 堆叠输入Ef输出融合特征Ff， 姿势特征Fp和融合特征Ff堆叠输入 得到I′x， 最终人体区域掩 码Mx、 背景Bx和I′x输入背景恢复模块得到匿名图像Tx。 6.根据权利要求4所述的一种可用性一致的差分隐私人体匿名合成方法， 其特征在于 所述的鉴别器Dt有着2个输入： 匿名图像Tx和非敏感属性Ax； 鉴别器Dt首先使用7个全连接层 编码Ax， 然后使用2个卷积层编码Tx， 最后将Ax与Tx的编码结果堆叠输入2个卷积层、 3个残差 块以及1个sigmo id层输出 得到判别分数 鉴别器Dp有两个输入： 源图像Ix的关键点热力图Px和匿名图像Tx； Px和Tx堆叠输入2个卷 积层、 3个ResNet 残差块以及1个sigmo id层输出 得到判别分数 7.根据权利要求1所述的一种可用性一致的差分隐私人体匿名合成方法， 其特征在于 步骤4训练约束， 具体步骤如下： 4‑1.UPT的完整目标函数定义 为：权　利　要　求　书 2/3 页 3 CN 114332945 A 3