(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211136922.6 (22)申请日 2022.09.19 (71)申请人 云南省烟草烟叶公司 地址 650217 云南省昆明市经济技 术开发 区西邑村182号 (72)发明人 何彬　高宪辉　张龙　周渭皓　 陈敬悦　史绍新　刘磊　尹晓东　 赵庆华　尤谦谦　李艳红　段丽　 杨艳波　张海　马云海　章维敏　 张云伟　吴天南　郑娇　栾菲菲　 孙浩巍　张轲　王春琼　 (74)专利代理 机构 北京八月瓜知识产权代理有 限公司 1 1543 专利代理师 秦莹(51)Int.Cl. G06V 10/764(2022.01) G06V 10/56(2022.01) G06V 10/26(2022.01) G06V 10/82(2022.01) G06V 10/28(2022.01) G06T 7/90(2017.01) (54)发明名称 烤后烟烟叶色度指标数字化方法、 装置及电 子设备 (57)摘要 本说明书实施例提供了一种烤后烟烟 叶色 度指标数字化方法、 装置及电子设备， 其中， 方法 包括： 对烤后烟烟叶图片进行标注， 基于深度 自 学习网络进行训练， 将烤后烟烟叶图片输入语义 分割模型， 根据输出进行烟叶背景及烟叶放置平 台上其他杂物的处理； 将处理后的烤后 烟烟叶图 片利用网格分割将烟叶区域分成若干小块， 并逐 一比较各小块之间颜色差异性， 将颜色差异在预 定差异阈值之内的类型占总类型的百分比作为 烟叶颜色均匀度的量化值； 将 颜色HSV空间中的S 值和V值作为烟叶颜色饱和度和光泽强度的量化 值； 将烤后烟烟叶的颜色均匀度、 颜色饱和度和 光泽强度三个影 响因素的量化值构成三元组， 利 用三元组表示烟叶色度指标的数字化结果。 权利要求书5页 说明书9页 附图7页 CN 115496944 A 2022.12.20 CN 115496944 A 1.一种烤后烟 烟叶色度指标 数字化方法， 其特 征在于， 包括： 对烤后烟烟叶图片进行标注， 基于标注的烤后烟烟叶图片基于深度自学习网络进行训 练， 得到语义分割模 型， 将烤后烟烟叶图片 输入所述语义分割模型， 根据所述语义分割模型 的输出进行烟叶背景及 烟叶放置平台上其 他杂物的处 理， 获取处 理后的烤后烟 烟叶图片； 将所述处理后的烤后烟烟叶图片利用网格分割将烟叶区域分成若干小块， 并逐一比较 各小块之 间颜色差异性， 将颜色差异在预定差异阈值之内的类型占总类型的百分比作为烟 叶颜色均匀度的量 化值； 利用颜色HSV空间中的S值和V值的实际意义与颜色均匀度和光泽强度对应， 将所述颜 色HSV空间中的S值和V值作为烟叶颜色饱和度和光 泽强度的量 化值； 将所述烤后烟烟叶的颜色均匀度、 颜色饱和度和光泽强度三个影响因素的量化值构 成 三元组， 利用所述 三元组表示烟叶色度指标的数字化结果。 2.根据权利要求1所述的方法， 其特征在于， 对烤后烟烟叶图片进行标注， 基于标注的 烤后烟烟叶图片基于深度自学习网络进行训练， 得到语义分割模型， 将烤后烟烟叶图片输 入所述语义分割模型， 根据所述语义分割模型的输出进行烟叶背 景及烟叶放置平台上其他 杂物的处 理， 获取处 理后的烤后烟 烟叶图片具体包括： 对所述烤后烟烟叶图片的图片特征区域和背景进行像素级标注， 在每张待训练 的所述 烤后烟烟叶图片上用自定义多边形曲线标注烟叶部 分和背景部分， 生成带有烟叶区域像素 位置信息的像素级标签； 采用基于mobilenetv2的DeepLab  v3+语义分割网络， 根据标注好标签的所述烤后烟烟 叶图片进行训练， 分割所述烤后烟烟叶图片中的烟叶部分， 其中， 所述基于mobilenetv2的 DeepLab v3+语义分割网络共186层， 每次通过卷积层进行卷积操作后根据公式1进行批归 一化， 然后输入激活层， 根据公式2使用截断整流线性单元为激活函数， 解码器用转置卷积 将编码器输出结果还原 为输入特征图的大小， 并对比原图进 行中心裁剪， 通过如公 式3所示 的softmax激活函数后输出通道数为标签个数的分割结果， 再将 输出输入 下一个卷积层， 最 终得到的语义分割结果为一个类别种类为标签种类的类别矩阵， 即矩阵的元素为不同种类 的标签名或者标签的标识字符串， 即分别是烟叶部分 的标签“StopSeg”和背景部分 的标签 “back”； 其中， x(k)和y(k)分别为原始输入数据和输出数据， μ(k)和σ(k)分别是输入数据均值和 标 准差， β(k)和γ(k)分别为可学习的平移参数和缩放参数， 上标k表 示数据的第k维， ε是防止 分 母为0的一个小量； 其中， cei ling为设定的阈值； 权　利　要　求　书 1/5 页 2 CN 115496944 A 2其中， zi为第i个节点的输出值， C为标签种类的个数； 针对背景利用语义分割模型输出的类别矩阵， 提取元素为 “back”的元素位置， 对应到 原图像素矩阵中， 将对应位置像素值置0， 进 行初步处理， 根据公 式4将初步处理的烤后烟烟 叶图片转为单通道灰度图像， 再转为二值图像求取连通区域， 在灰度图像转二值图像时确 定合适的像素阈值以将像素二值化， 根据公式5采用计算前景背景类间方差的方法寻找像 素阈值， 计算时在灰度图像中遍历 像素值， 将高于 当前像素值部 分作为前景部分， 其余为背 景部分， 依次计算类间方差后取最大方差对应的像素值作为阈值将灰度图像转为二值图 像， 在二值图像中求取连通区域， 选取8连通的方式， 即元素为 1的像素点上下左右及斜方向 共8个方向像素值均为1， 则认为该区域为一个连通区域， 求取所有的连通区域后选择最大 的连通区域， 其余区域像素值置0， 经过两次处理后的图片背 景部分像素值为0， 没有烟叶放 置平台上残留的碎叶等杂质的影响； I＝0.30R+0.59G+0.1 1B                       公式4； 其中， R,G,B为彩色图片的三 通道矩阵， I为合并后的单通道 矩阵； std＝num1×(ave1‑ave)2+num2×(ave2‑ave)2         公式5； 其中， std为类间方差， num1为前景部分像素个数， num2为背景部分像素个数， ave1为前 景部分平均灰度值， ave2为背景部分平均灰度值， ave为总的平均灰度值。 3.根据权利要求1所述的方法， 其特征在于， 将所述处理后的烤后烟烟叶图片利用网格 分割将烟叶区域分成若干小块， 并逐一比较各小块之间颜色差异性， 将颜色差异在预定差 异阈值之内的类型占总类型的百分比作为烟叶颜色均匀度的量 化值具体包括： 将所述处理后的烤后烟烟叶图片分割成若干网格子图， 将分割出来的子图片像素矩阵 采用A×1的元胞数组存储， 其中， A为烤后烟 烟叶图片的分割数量； 排除背景部分的子 图片， 即删除像素矩阵为零矩阵的子图， 对应元胞数组中的0元素， 对所有子图像素矩阵求取RGB三通道平均值， 其中存在烟叶部 分和背景部分共存的子图， 在 像素矩阵中表现为存在0元 素， 根据公式6求取均值时需要只针对其中0元 素： 其中， N表示第i个子图片像素矩阵中非零元 素的总数； RGB均值作为3 ×1的三元组同样存入元胞数组中， 假设经过上述处理后元胞数组中元 素个数为M， 对所有元素之间两两组合构成色差对比组， 每组中使用CIEDE2000公式计算色 差ΔE， 然后计算整个色差集合E中元素的极差， 选择极差的三分之一作为阈值， 如公式7所 示， 颜色均匀度即为色差组中小于阈值的个数比上总的组合个数： 4.根据权利要求1所述的方法， 其特征在于， 利用颜色HSV空间中的S值和V值的实际意 义与颜色均匀度和光泽强度对应， 将所述颜色HSV空间中的S值和V值作为烟叶颜色饱和度 和光泽强度的量 化值具体包括： 由颜色RGB三元组参与计算， 并根据公式8和公式9计算S和V值：权　利　要　求　书 2/5 页 3 CN 115496944 A 3