(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210336720.X (22)申请日 2022.03.31 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 张晖　滕婷婷　赵海涛　朱洪波　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 王慧 (51)Int.Cl. G06V 20/54(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06T 17/05(2011.01) (54)发明名称 面向智慧交通的复杂多目标自适应检测方 法 (57)摘要 本发明公开了一种面向智慧交通的复杂多 目标自适应检测方法， 首先构建面向三维场景的 目标检测模型， 然后将时间类、 天气类这两个维 度的场景作为先验知识， 根据当前时间类、 天气 类选择相对应的面向三维场景的目标检测模型， 用以目标检测， 最后提出了一种阈值自适应调整 机制， 将得到的多个模型的检测结果进行自适应 融合并输出待检测目标的最终类别及其对应的 概率。 本发 明能广泛应用于机器视觉领域中全天 时、 全天候环 境下先验驱动的多目标自适应精准 检测， 有非常广阔的应用前 景。 权利要求书3页 说明书8页 附图3页 CN 114842427 A 2022.08.02 CN 114842427 A 1.一种面向智慧 交通的复杂多目标自适应 检测方法， 其特 征在于， 包括 步骤如下： S1， 基础模型选用YOLOv3， 给定时间类、 天气类、 目标类进行训练， 得到面向三维场景的 目标检测模型； S2， 根据当前时间类、 天气类， 选择相对应的面向三维场景的目标检测模型； 利用面向 三维场景 的目标检测模型检测图片 中的目标物体， 确定目标检测模型个数， 完成多维度模 型的选择； 采用阈值自适应调整机制作为多维度模型检测结果融合的标准； S3， 以阈值自适应调整机制为基准， 进行多维度模型融合， 输出待检测目标的最终类别 及其对应的概 率。 2.根据权利要求1所述的面向智慧交通的复杂多目标自适应检测方法， 其特征在于， 所 述步骤S1中， 构建面向三维场景的目标检测模型的具体实现过程如下： S101， 构建三维场景空间 所述三维场景分别为： 时间类、 天气类、 目标类， 其中时间类分为凌晨/傍晚/...m1类， 天气类分为晴天/阴天/ …m2类， 目标类 分为机动车、 非机动车、 行人、 其它 …m3+1类， 此处的 机动车、 非机动车、 行 人…一共有m3类， 另外1类只指其它； S102， 选取样本数据 给定时间类、 天气类、 目标类， 选择相应的样本数据； S103， 样本标注 采用数据标注工具label img， 对收集到的样本数据进行样本标注； S104， 模型训练 将标注整 理好后的数据 集选用YOLOv3模型训练， 得到m1 ×m2×m3个面向三维场景的目 标检测模型。 3.根据权利要求1所述的面向智慧交通的复杂多目标自适应检测方法， 其特征在于， 所 述步骤S2中， 多维度模型的选择实现过程如下： 将时间、 天气这两个维度的场景作为先验知识， 在需要对当前拍摄的图片中的目标物 体进行检测时， 首先通过智慧交通系统中的中心服务器分别调用日历、 气象监测点得知当 前的时间、 天气 状况， 然后根据当前的时间类、 天气 类选择相对应的已经训练好的面向三 维 场景的目标检测模型， 最后用得到的面向三维场景的目标检测模型检测图片中的目标物 体； 其中选择的模型个数为m3个。 4.根据权利要求1所述的面向智慧交通的复杂多目标自适应检测方法， 其特征在于， 所 述步骤S2中， 阈值自适应调整机制的实现过程如下： 定义两个阈值： 误检阈值d1和交并比阈值Uth， 误检阈值d1的计算公式如下： d1＝F(BEV)＝d+δ ×BEV 其中， d为 误检基础阈值， δ 为系数， BEV为基准环境变化 量； 交并比阈值Uth的计算公式如下： Uth＝H(BEV)＝U ‑ε×BEV 其中， U为交并比基础阈值， ε为系数； 定义基准环境变化 量：权　利　要　求　书 1/3 页 2 CN 114842427 A 2其中， N表示个数， Current表示当前场景， 指待检测图像； Base表示基准场景， 指白天且 晴天场景的图像； R、 G、 B表 示一幅图像中颜色空间的三个分量红色、 绿色、 蓝色， 取值范围为 [0,255]， 取整数； i表示R、 G、 B三个分量的取值， 分别表示 当前场景R、 G、 B三个分量取值为i的个数， 分别表示基准场景R、 G、 B三个分量取值为i的个数， NCurrentRGB+NBaseRGB表示当前场景和基准场景中R、 G、 B三个分量 的总个数。 5.根据权利要求书1所述的面向智慧交通的复杂多目标自适应检测方法， 其特征在于， 所述步骤S3中， 多维度模型融合的实现过程如下： S3.1， 令步骤S2选择得到的面向三维场景的目标检测模型中的模型个数为3个， 这三个 模型分别对当前样本进 行检测， 在待检测目标上标注出预测框、 相应的类别以及概率； 对于 待检测目标识别的类别结果输出分别为j1/其它、 j2/其它、 j3/其它， 其中j1表示待检测目标 的类别为目标类中 的机动车、 非机动车、 行人中 的任意一类， j2表示待检测目标的类别为目 标类中的机动车、 非机动车、 行人中 的任意一类， j3表示待检测目标的类别为目标类中 的机 动车、 非机动车、 行人中的任意一类， 但j1、 j2、 j3三者互不相同， 用预测框框选出的目标物体 属于j1、 j2、 j3的概率分别为 S3.2， 对步骤S3.1中的三个模型预测目标输出的预测框进行融合， 并将输出结果叠加 在一幅图片上， 分为以下三种情况： A .如果一个预测框e没有与之相交叠的预测框， 则判断预测框e上的类别概率 k取整数， 与误检阈值d1之间的大小： 若 则该预测框没有误检， 输出仍然为 其标注的相应 类别及概 率 若 则该预测框误检， 然后删除该 预测框； B.如果有两个 预测框e、 f相互交叠， 则计算两个 预测框的交并比Uef， 并与交并比阈值Uth 进行比较， 此时分为两种情况： B11.若Uef≥Uth 则将这两个预测框e、 f合并为一个预测框， 如果预测框e、 预测框f上对应的类别结果分 别为其它、 其它， 其它 、 j2， j1、 其它， 则融合后的预测框 输出类别分别为 其它、 j2、 j1； 如果预测框e、 预测框f上对应的类别结果为j1、 j2， 则比较类别j1和类别j2的修正概率， 当两个预测框融合时， j1、 j2的修正概率定义分别如下： 其中， 分别是相应模型输出的目标j1和j2的个数；权　利　要　求　书 2/3 页 3 CN 114842427 A 3