(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211194535.8 (22)申请日 2022.09.28 (71)申请人 吉林大学 地址 130012 吉林省长 春市前进大街269 9 号 (72)发明人 王坤鹏　秦贵和　侯广哲　王国锋　 张自展　冯瑶　王文轩　徐莹慧　 (74)专利代理 机构 吉林长春新纪元专利代理有 限责任公司 2 2100 专利代理师 魏征骥 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于生成对抗网络及自注意力机制的 点云去噪方法 (57)摘要 本发明涉及一种基于生成对抗网络及自注 意力机制的点云去噪方法， 属于3D点云去噪技术 领域、 深度学习领域。 构建有噪声的点云待去噪 数据集， 构建自注意力的生成器模块， 构建判别 器模块， 然后对抗训练生成器和判别器， 直到生 成器与判别器达到纳什平衡， 最终得到训练完成 的生成器； 将噪声点云输入训练完成的生成器， 得到的结果就是去噪点云。 本发 明通过将生成对 抗网络和注 意力机制相结合， 进一步融合了点云 全局和局部特征， 保留更多的原始点云细节， 提 升了去噪效果， 得到更精细的高质量 点云数据。 权利要求书3页 说明书7页 附图3页 CN 115471423 A 2022.12.13 CN 115471423 A 1.一种基于生成对抗网络及自注意力机制的点云去噪方法， 其特征在于， 包括下列步 骤： 步骤一： 处理无噪声物体原始点云数据X， 通过泊松采样、 归一化和加入高斯噪声， 得到 有噪声的点云待 去噪数据集； 步骤二： 构建自注意力的生成器模块， 输入为固定大小的点块M， 包括特征嵌入模块， 自 注意力模块和点云生成模块， 输出为经生成器模块去噪后的点云数据Y； 步骤三： 构建判别器模块， 输入为生成器模块生成的点云数据Y和无 噪声的原始点云数 据X， 输出为一个小于1的概率值， 生成器模块与判别器模块共同组成本文的点云去噪神经 网络； 步骤四： 根据判别器模块输出的概率值判断是否生成器模块和判别器模块达到了纳什 平衡状态， 未达到纳什平衡状态就对生成器模块和判别器模块继续进行训练并优化超参 数， 直到达到纳什平衡 状态， 最终得到训练完成的判别器模块和生成器模块； 步骤五： 将噪声点云输入到训练完成的生成器模块中即可 得到去噪的点云数据。 2.根据权利要求1所述的一种基于生成对抗网络及自注意力机制的点云去噪方法， 其 特征在于： 在步骤一中， 包括收集无噪声的物体原始 点云数据， 通过泊松采样算法从物体的 每个表面采样点云数据， 再将采样后的点云归一化到单位球体内， 并受到高斯噪声的扰动， 最后将其分割为固定大小的点 块M。 3.根据权利要求1所述的一种基于生成对抗网络及自注意力机制的点云去噪方法， 其 特征在于： 在步骤二中构建自注意力的生成器模块， 具体为： 特征嵌入模块输入为固定大小的点块M， 以采样点为中心， 使用K近邻分类算法获取小 规模点云邻域、 中规模点云邻域和大规模点云邻域， 规模的大小与K的取值相关， 其中K的取 值可以分别为8、 16和24， 之后经过密集连接的多层MLP生成局部高维特征， MLP表示多层线 性2‑5层串联， 中心点经过聚合邻居高维特征之后， 将三个特征提取单元输出进行拼接操 作， 最终输出为包 含有点云局部信息的向量序列F； 自注意力模块由三个自注意力层和权重共享的多层MLP串联而成， 输入为特征嵌入模 块的输出 F， 最终输出为局部信息和全局信息融合的点云特 征向量O； 点云生成模块以自注意力 模块的输出为输入， 经过四层权重共享的MLP， 使用GELU激活 函数和残差连接后， 最终输出为去噪的点云数据Y 。 4.根据权利要求3所述的一种基于生成对抗网络及自注意力机制的点云去噪方法， 其 特征在于， 所述自注意力模块， 具体为： 自注意力模块由三个自注意力层和权重共享的多层MLP串联而成， 其中自注意力层的 操作模式， 如公式所示: 其中， Q(Query),K(Key),V(Value)三个矩阵均来自统一输入， 即特征嵌入模块的具有 局部信息的向量序列F， 首先计算Q和K之间的点乘， 然后防止其结果过大， 除以一个尺度标 准 其中 为一个query和key维度的向量， 再利用softmax函数将结果归一化为概率 分布， 其中softmax函数表示找出数组所有元素中值最大的元素， 最后再乘以矩阵V就得到权　利　要　求　书 1/3 页 2 CN 115471423 A 2了权重求和的表示。 5.根据权利要求3所述的一种基于生成对抗网络及自注意力机制的点云去噪方法， 其 特征在于， 所述 点云生成模块， 具体为： 所述点云生成模块以融合了局部和整体信息的点云特征向量O为输入， 经过四层权重 共享的MLP， 使用GELU的非线性和残差连接， 对信息进一 步整合； 所述点云生成模块学习到每个点的坐标偏移， 将点移动到相对位置， 将有噪声的点云 中的点恢复到底层表面， 点云生成模块的最终输出 是每个点的修 正后的坐标y； 所述点云生成模块的生成点云方式， 如公式所示： Y＝MLP(O)+M 其中M为带有噪声的输入点云数据的坐标信 息， O代表生成器模块中的自注意力模块的 输出， 最终输出Y表示去噪后的生成器模块 生成的点云数据的坐标信息 。 6.根据权利要求1所述的一种基于生成对抗网络及自注意力机制的点云去噪方法， 其 特征在于： 在步骤三中构建判别器模块， 具体为： 判别器模块是一个二分类器， 采用三层卷积层和三层全连接层串联作为判别器模块， 输入为生成器模块 生成的点云数据Y和无噪声的原 始点云数据X； 设置判别器模块最后一层全连接的输出个数为1， 判别器模块判断输入的点云数据是 否由生成器模块 生成， 全连接层的输出 是一个小于1的概 率值； 当判别器模块的输出接近1时则表示当前输入的点云数据是无噪声的原始点云数据， 而当判别器模块输出接 近0时则表示当前输入是由生成器模块 生成的点云数据。 7.根据权利要求1所述的一种基于生成对抗网络及自注意力机制的点云去噪方法， 其 特征在于： 在步骤四中， 通过大量训练和优化超参数， 得到训练完成的判别器模块和生 成器 模块， 具体为： 生成对抗网络的损失函数由判别器模块的损失函数和生成器模块的损 失函数两部分 加权组成； 判别器模块的损失函数(对抗损失)计算， 如公式所示： LD＝∑log(D(X))+∑log(1‑D(Y)) X代表无噪声的原始点云数据， D(X)代表向判别器模块中输入X所得的概率值， 而Y则代 表从生成器模块中生成的点云数据， D(Y)代表向判别器模块中输入Y所得的概率值， LD则是 最终的判别器模块的对抗损失； 生成器模块的损失函数(CD损失)计算， 如公式所示： 使用双向倒角距离(CD损失)表示生成损失函数， 其中X和Y分别代表的是无噪声的原始 点云数据和生成器模块生成的点云数据， x和y分别代表无噪声的原始 点云数据和生成器模 块生成的点云数据中一个点的坐标， LG为生成损失， 计算生成器模块生成的点云数据与无 噪声原始点云数据之间的差异； 联合判别器模块损失和生成器模块损失得到总的损失函数， 公式如下： LLOSS＝α LD+β LG 其中α和β 是网络初始化时自行定义的参数， 可以根据实际情况调整比重 大小， LLOSS代表权　利　要　求　书 2/3 页 3 CN 115471423 A 3