(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210921648.7 (22)申请日 2022.08.02 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区 (72)发明人 李万清　李枨　刘俊　林永杰　 张俊峰　寿俐鑫　袁友伟　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/762(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于语义分割的待行区检测方法 (57)摘要 本发明公开了一种基于语义分割的待行区 检测方法， 涉及深度学习中的语义分割领域。 本 发明可用于对交通非现场执法影像中的左转待 行区或右转待行区进行检测， 该方法通过对图像 进行像素级预测， 得到代表待行区两侧曲线形式 车道线的像素点， 然后通过聚类及拟合算法得到 曲线模型， 最后连接曲线两端获得待行区区域。 本发明对复杂环境下的待行区检测具有很好的 效果， 且对待行区检测的准确性较高。 权利要求书3页 说明书15页 附图5页 CN 115223112 A 2022.10.21 CN 115223112 A 1.一种基于语义分割的待行区检测方法， 用于对交通非现场执法影像中的左转待行区 或右转待行区进行检测， 其特 征在于， 包括： S1、 获取经过标注的训练数据集， 其中每一个 图像样本中包含一张由执法摄像头俯拍 的包含待行区的图像， 图像中待行区两侧弯曲虚线形式的待行区车道线均带有标注点； 训 练数据集中的图像样本 分属于不同的路口场景， 且所有图像样本按照拍摄时间分为白天拍 摄的白天图像子集和晚上拍摄的夜晚图像子集； S2、 针对训练数据集中的每个 图像样本， 综合车辆数量越少越优先和白天图像优先于 夜晚图像两个保留原则， 结合图像的灰度值和图像中车辆的数量对同一个路口场景下的所 有图像样本进行筛 选过滤， 针对每 个路口场景分别剔除超过阈值数量的图像样本； S3、 以最小化损失函数为目标， 利用经过S2筛选过滤后的训练数据集训练待行区检测 网络； 所述待行区检测网络由编码器、 多重信息传递模块和解码器组成； 所述编码器中采用基于ResNet50主干 网络的特征金字塔作为基础特征提取网络， 从原 始输入图像中提取 得到4张不同尺寸的特 征图； 所述多重信 息传递模块中， 需要分别对所述编码器输出的每一个特征图迭代进行多次 信息传递操作， 每一次信息传递操作均需要通过从上到下、 从左到右、 从右到左、 从下到上4 个方向上对特征图进行切片， 切片之间的信息相互传递， 且在迭代进行信息传递操作过程 中控制信息传递的步长递增， 保证 每个切片都能接收到整个特 征图的信息； 所述解码器接收所述多重信息传递模块输出的4张不同尺寸的特征图， 按照尺寸从小 到大的顺序依 次对特征图进行上采样并与更大尺寸的特征图融合， 直至4张特征图全部融 合在一起后上采样恢复到原 始输入图像大小； 所述损失函数为分割损失和分类损失的加权和； S4、 将包含待行区的待检测图像输入经过训练后的待行区检测网络中， 得到待检测图 像中所有被识别为待行区车道线的像素点， 然后对这些像素点基于点间距进行聚类， 属于 同一条车道线的像素点被聚为一类； 然后对每一类像素点分别进行曲线拟合， 得到每一条 待行区车道线的拟合曲线段， 将同一个待 行区两侧的车道线对应的拟合曲线段端点进 行连 接， 得到待行区检测结果。 2.如权利要求1所述的基于语义分割的待行区检测方法， 其特征在于， 所述训练数据集 中， 每一张图像样本中的待行区车道线均用标注工具进行打点标注， 且每条待行区车道线 上的标注点均需要还原车道线对应的曲线段。 3.如权利要求1所述的基于语义分割的待行区检测方法， 其特征在于， 所述S2的具体方 法如下： S21、 将训练数据集中的每个图像样本由RGB图像转换为灰度图像， 然后计算每个图像 样本中所有像素的灰度均值， 再分别针对白天图像子集和夜晚 图像子集计算每个子集中所 有图像样本的灰度均值的平均值， 作为对应子集的平均亮度； 以两个子集的平均亮度的平 均值作为区分白天和黑夜的亮度区分阈值； S22、 利用经过训练的目标检测模型对训练数据集中的每个图像样本进行车辆检测， 得 到每个图像样本中的车辆数量， 然后计算训练数据集中所有图像样本中的平均车辆数量， 最后计算每个图像样本的车辆权重为该图像样本中的车辆数量与所述平均车辆数量的比权　利　要　求　书 1/3 页 2 CN 115223112 A 2值乘上所述白天图像子集的平均亮度； S23、 根据亮度区分阈值以及车辆权重， 计算训练数据集中每个图像样本的质量权重＝ 255+λ*α *gray ‑β *carWeight， 式中gray表示当前计算的图像样本中所有像素的灰度均值， carWeight表示当前计算的图像样本对应的车辆权重， α和β 分别是两个权重， λ为与所述亮 度区分阈值bound和gray决定的权值， 若gray≥bou nd则 λ＝ λ1， 若gray＜bou nd则 λ＝ λ2， λ1+ λ2＝1且 λ 1＞ λ2； S24、 针对训练数据集中每一个路口场景下的所有图像样本， 将其按照各自的质量权重 进行排序， 若一个路口场景下 的图像样本数量超过阈值数量， 则按照质量权重从大到小的 顺序保留满足阈值数量的图像样本， 若一个路口场景下 的图像样本数量未超过阈值数量， 则保留所有图像样本 。 4.如权利要求3所述的基于语义分割的待行区检测方法， 其特征在于， 所述权重α和β 分 别为1和2， 所述权值 λ 1和 λ2分别为0.6和0.4。 5.如权利要求1所述的基于语义分割的待行区检测方法， 其特征在于， 所述多重信 息传 递模块中， 需对所述编码器输出的每一个特征图X迭代进行N次信息传递操作， 且每一次信 息传递操作中需分别进行从上到下、 从左到右、 从右到左、 从下到上这4个方向来对特征图 进行水平或垂直方向上的切片并在切片之间进行信息的相互传递； 其中： 在从下到上方向上对输入特征图X进行水平切片且切片之间进行垂直信息传递， 任意 第n轮迭代过程中切片之间进行垂直信息传递时的计算公式如下： 在从右到左方向上对输入特征图X进行垂直切片且切片之间进行水平信息传递， 任意 第n轮迭代过程中切片之间进行 水平信息传递时的计算公式如下： 式中： Fp,l,q表示一组卷积核， p、 l、 q分别代表输入通道数、 输出通道数、 内核宽度； 符号 “·”为卷积运算符； f是非线性激活函 数ReLU； 表示特征图X在第n次迭代时的值， k、 i、 j 分别代表通道、 行(H方向)和列(W方向)的索引； 表示经过信息传递处理后的 n表 示当前迭代次数， sn表示第n次迭代中信息传递的步长， L在垂直信息传递和 水平信息传递时分别为输入特 征图X的宽度W和高度H； 在从上到下方向上对输入特征图X沿水平对称面进行垂直方向的镜像翻转后进行水平 切片， 且切片之间进行与从下到上 方向相同的垂直信息传递； 在从左到右方向方向上对输入特征图X沿垂直对称面进行水平方向的镜像翻转后进行 垂直切片， 且切片之间进行与从右到左方向方向相同的水平信息传递。权　利　要　求　书 2/3 页 3 CN 115223112 A 3