(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210208048.6 (22)申请日 2022.03.03 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 殷玮伶　王立君　戚金清　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 隋秀文 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/44(2022.01) G06V 10/771(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于遥感卫星影 像的道路提取方法 (57)摘要 本发明属于计算机道路提取领域， 提出了一 种基于遥感卫星影像的道路提取方法， 该基于遥 感卫星影像的道路提取方法包括特征编码器、 迭 代特征增强子网络和多任务解码器。 迭代特征增 强子网络 单元包含一语义引导特征加强模块、 一 方向感知特征聚合模块和两侧边 分支； 语义引导 特征增强模块包括特征选择和特征融合； 方向感 知特征聚合模块包括多个分支的残差结构， 每个 分支包括一个方向感知可形变卷积和一个ReLU 单元； 提出的语义引导特征加强模块和方向感知 特征聚合模块以及方向感知可形变卷积， 更好的 利用道路方向来自动对齐卷积核感受野和道路 区域； 解决了遥感卫星图像中自动化道路提取任 务的连通性问题， 经该方法输出的结果具有高度 精确性和高效性。 权利要求书2页 说明书6页 附图3页 CN 114596503 A 2022.06.07 CN 114596503 A 1.一种基于遥感卫星影像的道路提取方法， 其特征在于， 该基于遥感卫星影像的道路 提取方法包括特 征编码器、 迭代特 征增强子网络和多任务 解码器； 具体提取步骤如下； 步骤1： 遥感卫星影像转化为RGB图像输入至特征编码器进行特征提取， 输出分辨率为 原始输入图像下采样4 倍大小的特 征图， 获取道路语义特 征和道路方向特 征； 步骤2： 步骤1提取的特征送入迭代特征增强子网络； 迭代特征增强子网络包括多个特 征增强单元， 每个特征增强单元中包含一语义引导特征加强模块、 一方向感知特征聚合模 块和两个侧边分支； 输入道路语义特征和道路方向特征至语义引导特征加强模块， 获得增强的道路方向特 征； 增强的道路方向特征分为两支路， 一支路用于特征融合， 另一支路输入至一侧边分支获 得初步道路方向预测结果， 该侧边分支由两个卷积层组成； 语义引导特征增强模块包括特征选择部分和特征融合部分； 特征选择部分包括卷积 层、 激活函数层和沙漏形子网络； 特征选择部分中， 采用级联方式合并输入道路语义特征和道路方向特征， 合并后的特 征送入卷积层和激活函数层以获得 单通道特 征置信度； B＝Sigmo id(Ψ1(cat(Fe,Fo),Θ1))    (1) 其中， B为单通道特征置信度， cat( ·,·)表示沿着通道方向级联， Ψ1(·,Θ1)表示参 数为Θ1的卷积层； Fe表示道路语义特 征； Fo表示道路方向特 征； 生成的单通道特征置信度分别对道路语义特征和道路方向特征数值域中进行特征选 择， 输入至沙漏形子网络； 沙漏形子网络对特征选择后的特征先进行下采样， 再进行上采 样； Fa＝Ψ2((1‑B)·Fe+B·Fo,Θ2)    (2) 其中Ψ2(·,Θ2)表示参数为Θ2的卷积层； Fa为经过特征选择所生成的特 征； 特征融合部分利用融合掩模， 将输入的道路语义特征、 道路方向特征和经特征选择部 分的结果进行加权特 征融合， 获得增强的道路方向特 征； F′o＝(1+M)·Fo+(1+M)·Fe,    (3) M＝Sigmo id(D(E(Fa))) 其中， D(·)和E(·)分别代表沙漏形子网络中的编码部分和解码部分， F ′o表示经增强 的道路方向特 征， M表示融合掩 模； 初步道路方向预测结果同道路语义特征输入方向感知特征聚合模块， 生成加强的道路 语义特征； 加强的道路语义特征分为两支路， 一支路用于特征融合， 另一支路输入至另一个 侧边分支， 产生初步的道路分割结果， 用于监 督网络学习； 方向感知特征聚合模块根据初步道路方向预测结果调 整感受野的形状和方向， 聚焦于 用于道路提取 的信息区域； 方向感知特征聚合模块包括多个分支的残差结构， 每个分支包 括一个方向感知可形变卷积和一个ReLU单元； 不同的分支采用不同大小和形状的卷积核； 所有分支得到的特 征与输入的道路语义特 征加权组合输出 经加强后的道路语义特 征； F′e＝Fe+λ·∑iΦ0(Fe, α, θi)    (4) 其中， Fe表示道路语义特征， F ′e表示经加强后的道路语义特征； α表示侧边分支由道路 方向特征得到的道路方向， i表示分支的序号， Φ0表示参数为θi的方向感知可形变卷积层， λ 为残差结构的超参数， 用于平衡聚合特 征和原始特征的权重；权　利　要　求　书 1/2 页 2 CN 114596503 A 2方向感知可形变卷积的卷积核根据初步道路方向预测结果自动调整感受野； 方向感知 可形变卷积层的输出为； 其中X表示输入特征图； Y(p)表示位置p处的输出值； R表示感受野； α(p)表示位置p处的 预测道路方向角， r(p, α )表示应用于坐标p＝[px,py]处的旋转平移； W(pn)卷积核感受野的 权重； 融合增强的方向特征、 加强的道路语义特征、 原始道路语义特征和原始道路方向特征， 融合后的特 征输入下一个特 征增强单 元； 步骤3： 最终子网络的输出特征送入至多任务解码器， 获得道路提取结果和道路方向预 测结果。 2.根据权利要求1所述的基于遥感卫星影像的道路提取方法， 其特征在于， 所述不同大 小和形状的卷积核分别为5 ×1、 1×5和3×3。 3.根据权利要求1或2所述的基于遥感卫星影像的道路提取方法， 其特征在于， 所述r (p, α )为非整数时， 采用双线性插值对输入特 征图X进行采样。权　利　要　求　书 2/2 页 3 CN 114596503 A 3