(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210538076.4 (22)申请日 2022.05.18 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号哈尔滨理工大 学 (72)发明人 陆相竹　孟上九　王淼　孙义强　 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的高分辨率遥感影像建 筑物提取方法 (57)摘要 一种基于深度学习的高分辨率遥感影像建 筑物提取方法， 属于图像提取方法领域。 目前用 于建筑物提取的深度学习方法中存在着缺少端 到端模型设计、 提取精度需要进一步提高等问 题。 一种基于深度学习的高分辨率遥感影像建筑 物提取方法， 基于基础网络结构U ‑Net网络模型 加入特征增强结构， 构成编码器 ‑特征增强 ‑解码 器的网络结构模型； 之后， 将激活函数ReLU替换 为ELU； 将U ‑Net++网络和扩张卷积相结合， 并引 入残差网络， 获取联系上下文的特征信息。 本发 明设计并实现增加特征增强和改变激活函数的 U‑Net网络， 提高了建筑物提取精度。 设计的与混 合空洞卷积相结合的U ‑Net++网络模型能够实现 针对少量遥感样本的建 筑物提取。 权利要求书3页 说明书9页 附图6页 CN 114973011 A 2022.08.30 CN 114973011 A 1.一种基于深度学习的高分辨率遥感影像建筑物提取方法， 其特征在于： 所述方法通 过以下步骤实现： 基于基础网络结构U ‑Net网络模型加入特征增强结构， 构成编码器 ‑特征增强 ‑解码器 的网络结构模型； 之后， 对加入了特征增强结构的网络结构模 型的激活函数进 行改进： 将激 活函数ReLU替换为ELU； 设计与混合空洞卷积相结合的U ‑Net++网络模型， 进行建筑物提取； 即： U ‑Net++网络和 扩张卷积相结合， 并引入残差网络， 获取联系上下文的特征信息； 进 行遥感影像建筑物提取 的过程， 包括训练阶段与测试阶段； 训练阶段： 利用反向传播与随机梯度下降算法对改进后的模型进行训练， 之后， 对训练 后的模型进行验证与精度评价， 根据验证结果反向传播， 调整模型参数； 之后， 重复训练与 调整参数， 直至模型趋 于稳定； 测试阶段： 使用测试集遥感影像数据对训练完毕的模型行进行测试； 将它们依次输入 到模型中进行建筑物提取， 得到预测结果， 根据地 面真值数据对提取 结果进行精度评价。 2.根据权利要求1所述的一种基于深度学习的高分辨率遥感影像建筑物提取方法， 其 特征在于： 所述的基于基础网络结构U ‑Net网络模型加入特征增强结构， 构成编码器 ‑特征 增强‑解码器的网络结构模型的步骤中， (1)所述的U ‑Net网络由编码器、 解码器和跳跃连接组成， 编码器下采样经过两次卷积 后再次下采样， 解码器上采样 中使用反卷积并与对应大小的下采样特征跳跃连接， 然后经 过两次卷积后再反卷积； (2)所述的基于基础网络结构U ‑Net网络模型加入特征增强结构的步骤中， 编码器 ‑特 征增强‑解码器结构主要包括： 编码 器部分、 特征增强部 分、 解码器部分； 该网络是一个端到 端的网络模型， 使用的激活函数为ReLU， 该网络模型在训练过程中， 从输入端输入影像数 据， 在输出端输出预测结果， 中间部分的所有操作都位于神经网络内部， 不将其分成多个模 块进行处 理； 其中， 编码器 ‑特征增强 ‑解码器网络结构模型在基础网络模型编码器 ‑解码器结构的 基础上加入了特 征增强结构， 所述的特 征增强结构具体如下： 在网络结构的中间部分添加了空洞卷积以代替池化操作； 以空洞卷积为基础， 在网络 结构的中间部分添加了特征增强结构， 特征增强结构是一个串联与并联共存的网络结构， 它将经过 空洞率不一样的空洞卷积运算所得到的特征图使用串联和并联的方式连接； 强部 分的特征图， 其通道数和尺寸大小取决于编码器中的运算， 该结构 中一共有四种空洞卷积 运算， 空洞率的大小分别为1、 2、 4、 8， 在大小为3 ×3的标准卷积上进 行扩张后可分别得到大 小为3×3、 5×5、 9×9、 17×17的空洞卷积， 对应每个特征图的感受野将分别是3、 7、 15、 31， 特征增强 中最后输出特征图在第一个中间特征图上感受野大小为31 ×31； 由空洞卷积操作 获得的特征图， 不会降低分辨率， 由于具有不同空洞率的空洞卷积， 因此通过该结构获得多 尺度的特征信息， 通过跳跃连接的方式将多尺度特征进行相加 合并， 从而实现了特征信息 的增强。 3.根据权利要求1或2所述的一种基于深度 学习的高分辨率遥感影像建筑物提取方法， 其特征在于： 所述的对加入了特征增强结构的网络结构模型的激活函数进行改进的步骤 为， 在编码 器‑特征增强 ‑解码器网络结构的基础上， 对网络模型的激活函数进 行了替换， 即权　利　要　求　书 1/3 页 2 CN 114973011 A 2将使用的激活函数ReLU替换为激活函数ELU， 从而 得到了激活函数为ELU、 特征增强的U ‑Net 网络模型； ELU为指数线性单 元， 表达式如下： ELU函数对ReLU激活函数的负值部分进行了相应的指数修正， 减少了梯度之间 的差距， 使得当输入值为负数时， 其对应区域的稳定性明显增强； 将编码部分、 特征增强部分、 解码 部分三部分结合在一 起， 形成编码器 ‑特征增强‑解码器的网络结构； 改进后的编码器 ‑特征增强 ‑解码器的网络结构模型一共为4层， 从编码器端输入影像， 然后经过了卷积运算和池化运算， 紧接着进入特征增强部 分， 进行了空洞卷积运算， 该 空洞 卷积通过串联模式和并联模式将不同空洞率的空洞卷积连接起来， 获得不同尺度大小的特 征图， 保留了详细信息， 并对不同尺度的特征图相加以实现特征信息的增强； 特征增强后的 特征图接着进入解码器部分， 经过转置卷积运算、 图像拼接运算和卷积运算， 最后利用 Sigmoid函数将特 征图的范围缩小， 输出建筑物提取的结果图。 4.根据权利要求3所述的一种基于深度学习的高分辨率遥感影像建筑物提取方法， 其 特征在于： 设计与混合空洞卷积相结合的U ‑Net++网络模型， 进行建筑物提取的步骤中， (1)所述的U ‑Net++是在U‑Net网络的基础 上通过引入嵌套的和密集的跳跃连接进一步 减少编码 器和解码 器之间的语义差距； U ‑Net++把不同网络层跳跃连接起来， 将深层特征进 行上采样引入浅层特征， 或者将浅层特征进行下采样引入深层特征， 以此弥补编码器与解 码器之间的语义丢失； (2)所述的空洞卷积用一个扩大了的稀疏矩阵来替代传统的卷积核， 加强上下文的语 义联系； (3)与混合空洞卷积相结合的U ‑Net++网络模型为： 在FCN中使用空洞卷积， 利用扩大的稀疏矩阵来代替传统的卷积核， 以增加卷积的感受 野， 联系图像上 下文的特 征信息； 将U‑Net++网络特征中编码器特征与下一层编码器上采样特征进行融合， 融合后的特 征与下一层的上采样特征继续融合， 形成迭代， 直到下一层没有 上采样模块； 每一模块的输 出结果如下： 上式中， xi， j表示特征提取模块输出， 其 中， i表示编码器下采样的层序， j表示同一层模 块的序号， j＝0表示编码器特征提取模块； c( ·)表示卷积操作； u( ·)表示上采样； [ ·]表 示特征通道连接； 在每个卷积层之后添加Dr opout层， 训练 时让神经网络中的每一个中间层 神经元以一定的概 率置为0， 不 参与前向传播和反向回传； 使用Focal  Loss作为损失函数， 降低负 样本在训练中所占的权 重， 其公式为： 权　利　要　求　书 2/3 页 3 CN 114973011 A 3