(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221096478 8.2 (22)申请日 2022.08.12 (71)申请人 奥比中光科技 集团股份有限公司 地址 518063 广东省深圳市南 山区粤海街 道学府路63号高新区联合总部大厦 11-13楼 (72)发明人 杨晓立　赵鑫　余宇山　叶乐佳　 (74)专利代理 机构 深圳汉世知识产权代理事务 所(特殊普通 合伙) 44578 专利代理师 冷仔 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 20/64(2022.01) (54)发明名称 一种立体匹配方法、 装置及电子设备 (57)摘要 本申请涉及计算机视觉技术领域， 尤其涉及 一种立体匹配方法、 装置及电子设备。 该立体匹 配方法包括： 获取左、 右相机采集的左图像和右 图像， 并分别对 所述左图像及所述右图像进行下 采样特征提取得到相应的左图特征及右图特征； 计算左图特征和所述右 图特征在不同视差处的 相关性， 得到代价空间； 对所述代价空间进行上 采样至目标分辨率； 其中， 所述目标分辨率为可 变分辨率； 根据上采样后的所述代 价空间估计立 体匹配视差， 得到所述目标分辨率下的目标视 差。 本申请实施例可以输出任意分辨率的视差 图， 从而给实际应用带来很大的便利。 权利要求书2页 说明书10页 附图9页 CN 115393621 A 2022.11.25 CN 115393621 A 1.一种立体匹配方法， 其特 征在于， 包括： 获取左、 右相机采集的左图像和右图像， 并分别对所述左图像及所述右图像进行下采 样特征提取得到相应的左图特 征及右图特 征； 计算左图特 征和所述右图特 征在不同视 差处的相关性， 得到代价空间； 对所述代价空间进行 上采样至目标分辨 率； 其中， 所述目标分辨 率为可变分辨 率； 根据上采样后的所述代价空间估计立体匹配视差， 得到所述目标分辨率下的目标视 差。 2.如权利要求1所述的立体匹配方法， 其特征在于， 所述根据上采样后的所述代价空间 估计立体匹配视 差， 得到所述目标分辨 率下的目标视 差， 包括： 基于上采样后的代价空间估计立体匹配视差， 并利用初始视差和初始隐藏特征或上一 次迭代得到的视差和隐藏特征对所述立体匹配视差进 行多次迭代计算， 得到所述目标分辨 率下的目标视 差； 其中， 所述初始视差及所述初始隐藏特征为所述迭代计算中进行第 一次迭代运算所使 用， 所述初始视差为第一次立体匹配得到的视差， 所述初始隐藏特征为左图特征、 右图特征 或一个全部为 零的特征中任一特 征。 3.如权利要求2所述的立体匹配方法， 其特 征在于， 所述迭代计算过程包括： 根据初始视差或上一 次迭代得到的视差对所述右图特征进行图像仿射变换， 得到理想 左图特征； 将所述理想左图特 征和所述左图特 征进行融合， 得到融合特 征； 根据所述融合特征、 所述左图特征和初始隐藏特征或上一 次迭代得到的隐藏特征计算 本次迭代的 隐藏特征和本次迭代的视差； 其中， 所述隐藏特征为根据所述融合特征、 所述左 图特征和所述初始隐藏特征或所述上一次迭代得到的隐藏特征并结合双目立体视觉的物 理限制得到反馈信息 。 4.如权利要求2所述的立体匹配方法， 其特 征在于， 所述迭代计算过程包括： 根据初始视差或上一 次迭代得到的视差对所述左图特征进行图像仿射变换， 得到理想 右图特征； 将所述理想右图特 征和所述右图特 征进行融合， 得到融合特 征； 根据所述融合特征、 所述右图特征和初始隐藏特征或上一 次迭代得到的隐藏特征计算 本次迭代的 隐藏特征和本次迭代的视差； 其中， 所述隐藏特征为根据所述融合特征、 所述左 图特征和所述初始隐藏特征或所述上一次迭代得到的隐藏特征并结合双目立体视觉的物 理限制得到反馈信息 。 5.如权利要求2所述的立体匹配方法， 其特 征在于， 所述迭代计算过程包括： 查询初始视差或上一 次迭代得到的视差在所述代价空间上相对应的代价参数， 将所述 代价参数作为反馈特 征； 根据所述反馈特征、 所述左图特征或所述右图特征和初始隐藏特征或上一 次迭代得到 的隐藏特征计算本次迭代的 隐藏特征和本次迭代的视差； 所述隐藏特征为根据所述反馈特 征、 所述左图特征或所述右图特征和所述初始隐藏特征或所述上一次迭代得到的隐藏特征 并结合双目立体视 觉的物理限制得到反馈信息 。 6.如权利要求5所述的立体匹配方法， 其特征在于， 所述查询上一 次迭代得到的视差在权　利　要　求　书 1/2 页 2 CN 115393621 A 2所述代价空间上相对应的代价 参数， 将所述代价 参数作为反馈特 征， 包括： 根据初始视差或上一 次迭代得到的视差和所述左图像中像素的横坐标， 计算所述右图 像中对应 像素的横坐标； 根据所述右图像中对应 像素的横坐标， 确定查询索引集 合； 通过所述查询索引集合在所述代价空间上取相对应的代价参数， 将所述代价参数作为 反馈特征。 7.如权利要求5所述的立体匹配方法， 其特征在于， 所述查询上一 次迭代得到的视差在 所述代价空间上相对应的代价 参数， 将所述代价 参数作为反馈特 征， 包括： 根据初始视差或上一 次迭代得到的视差和所述右图像中像素的横坐标， 计算所述左图 像中对应 像素的横坐标； 根据所述左图像中对应 像素的横坐标， 确定查询索引集 合； 通过所述查询索引集合在所述代价空间上取相对应的代价参数， 将所述代价参数作为 反馈特征。 8.如权利要求1至7任一项所述的立体匹配方法， 其特征在于， 所述根据上采样后的所 述代价空间估计立体匹配视 差， 包括： 对上采样后的所述代价空间进行softargmin操作或在通道维度上进行全连接操作以 估计所述 立体匹配视 差。 9.一种立体匹配装置， 其特 征在于， 包括： 获取模块， 用于获取左、 右相机采集的左图像和右图像； 特征提取模块， 用于分别对所述左图像及所述右图像进行下采样特征提取得到相应的 左图特征及右图特 征； 相关模块， 用于计算所述左图特征和所述右图特征在不同视差处的相关性， 得到代价 空间； 上采样模块， 用于对所述代价空间进行上采样至目标分辨率； 其中， 所述目标分辨率为 可变分辨 率； 视差计算模块， 用于根据上采样后的所述代价空间估计立体匹配视差， 得到所述目标 分辨率下的目标视 差。 10.如权利要求9所述的立体匹配装置， 其特征在于， 还包括左、 右相机， 所述左、 右相机 用于采集目标区域的所述左图像、 右图像； 或， 还包括投影模组及左、 右相机， 所述投影模组用于向目标区域投影图案化光束， 所述 左、 右相机用于 接收经所述目标区域反射回的图案化 光束并生成左、 右图像。 11.一种电子设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至8 任一项所述的立体匹配方法。 12.一种计算机存储介质， 所述计算机存储介质存储有计算机程序， 其特征在于， 所述 计算机程序被处 理器执行时实现如权利要求1至8任一项所述的立体匹配方法。权　利　要　求　书 2/2 页 3 CN 115393621 A 3