(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211113773.1 (22)申请日 2022.09.14 (71)申请人 江苏科技大学 地址 212003 江苏省镇江市京口区梦溪路2 号 (72)发明人 张正言　惠京禹　黄炜嘉　邓小乔　 李锋　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 常虹 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/77(2022.01) G06V 10/36(2022.01) G06V 10/26(2022.01)G06V 10/774(2022.01) G06V 10/10(2022.01) G06V 10/50(2022.01) G06V 10/764(2022.01) G06N 5/00(2006.01) G06N 20/10(2019.01) (54)发明名称 基于跨尺度局部差异深度子空间特征的表 情识别方法和系统 (57)摘要 本发明公开了一种基于跨尺度局部差异深 度子空间特征的表情识别方法和系统， 其通过多 个高斯滤波器来获取不同尺度空间的图像， 然后 对不同尺度空间的图像进行分块， 提取图像的局 部差异， 由此得到训练集的跨尺度局部差异矩 阵， 来训练第一阶段的多个卷积核， 并再次提取 经第一阶段卷积后的图像的跨尺度局部差异矩 阵， 来训练第二阶段的多个卷积核， 由此学习到 两个阶段的卷积核。 待识别图像经过两个阶段的 卷积后， 经非线性处理和直方图统计， 得到图像 特征， 以此来进行分类识别。 该方法融合图像不 同尺度的局部差异来提取特征， 且网络结构简 单， 无需大量训练样本， 对硬件 要求低。 权利要求书4页 说明书11页 附图2页 CN 115546862 A 2022.12.30 CN 115546862 A 1.一种基于跨尺度局部 差异深度子空间特 征的表情识别方法， 其特 征在于， 包括 步骤： S1、 用S‑1个不同的高斯滤波器分别对训练样本图像I进行滤波， 并与I构成S个尺度空 间的图像Ps， s＝1,2,3, …,S： S2、 将每个尺度空间的图像划分为M个大小为(2r+1) ×(2r+1)的子块， 第s个尺度空间 的图像Ps中第m个子块中的像素为Ps,m(u,v)， m＝1,2,3, …,M， u,v＝1,2, …,2r,2r+1； 对训练样本图像I的S个尺度空间的图像， 计算第m个子块的均值： 计算每个尺度下每个子块的局部差异子矩阵Ds,m＝{Ds,m(u,v)}， 其中Ds,m(u,v)＝Ps,m (u,v)‑ωm； S个尺度在第m个子块的局部 差异拼接为 跨尺度局部 差异子矩阵： DL,m＝[D1,m D2,m…DS,m] 将DL,m转换为跨尺度局部 差异子向量 M个跨尺度局部 差异子向量 拼接为训练样本图像I的跨尺度局部 差异矩阵： S3、 训练集中的N个样本图像均按照步骤S2和 S3获取跨尺度局部差异矩阵， 构成训练集 对应的跨尺度局部 差异矩阵： 其中 为第n个样本图像In的跨尺度局部差异矩阵， n＝1,2,3, …,N， N为训练集中样本 图像的数量； S4、 求解第一最大化问题： 得到C1个维度为(2r+1)2的向量ul， l＝1,2, …,C1， C1为第一阶段卷积核的数量， || ·||1 表示L1范数， 表示C1×C1的单位矩阵； 将ul映射为(2r+1) ×(2r+1)的矩阵， 作为第一阶段第l个卷积核的参数矩阵 其中mat2r+1(·)表示映射 函数， 上标数字1表示第一阶段的卷积核； S5、 训练集中每个图像In分别与C1个第一阶段的卷积核进行卷积， 得到第一阶段的N × C1个输出图像 S6、 第一阶段输出的每个图像 均按照步骤S2和S3获取跨尺度局部差异矩阵， 构成第 一阶段对应的跨尺度局部 差异矩阵Y： 权　利　要　求　书 1/4 页 2 CN 115546862 A 2其中 为第一阶段输出的第i个图像， i ＝1,2,…,N×C1； S7、 求解第二最大化问题： 得到C2个维度为(2r+1)2的向量vp， p＝1,2, …,C2， C2为第二阶段卷积核的数量， 表示 C2×C2的单位矩阵； 将vp映射为(2r+1) ×(2r+1)的矩阵， 作为第二阶段第p个卷积核的参数矩阵 上标数字2表示第二阶段的卷积核； S8、 将第一 阶段输出的N ×C1个图像分别与C2个第二阶段的卷积核进行卷积， 得到第二 阶段的N×C1×C2个输出图像 S9、 对于训练样本集中的每个图像In， 得到C1组、 每组C2个图像， 对每组中的C2个图像采 用二进制哈希编码进行非线性处 理， 得到图像Fn,l： 其中H(·)为Heavisi de阶跃函数， 其输入为正时值为1， 否则为零； 为第二阶 段输出图像 在(x,y)处的像素值； Fn,l(x,y)为图像Fn,l在(x,y)处的像素值； S10、 使用大小为q1×q2的窗口， 以重叠比λ在图像Fn,l上滑动， 得到B个子图Fn,l,b， b＝1, 2,...,B， 计算每 个子图的直方图， 拼接为 直方图向量fn,l： fn,l＝[Hist(Fn,l,1),Hist(Fn,l,2),...,Hist(Fn,l,B)] Hist(·)表示直方图统计； S11、 对于训练样本集中的每个图像In， 连接C1个直方图向量， 得到图像In对应的图像特 征fn： S12、 采用 训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类 器； S13、 对待识别图像与C1个第一阶段的卷积核进行卷积， 得到第一阶段的C1个输出图像， 对C1个输出图像分别与C2个第二阶段的卷积核进行卷积， 得到第二阶段的C1×C2个输出图 像， 对C1×C2个输出图像按照步骤S10 ‑S12进行处理， 得到待识别图像的图像特征； 将待识别 图像的图像特 征输入训练后的表情分类 器， 得到表情识别结果。 2.根据权利要求1所述的基于跨尺度局部差异深度子空间特征的表情识别方法， 其特 征在于， 所述 步骤S4中采用PCA ‑L1算法求 解第一最大化问题。 3.根据权利要求1所述的基于跨尺度局部差异深度子空间特征的表情识别方法， 其特 征在于， 所述 步骤S12中的表情分类 器为基于SVM的分类 器。 4.根据权利要求1所述的基于跨尺度局部差异深度子空间特征的表情识别方法， 其特 征在于， 所述 步骤S12中的表情分类 器为基于决策树的分类 器。 5.一种基于跨尺度局部 差异深度子空间特 征的表情识别系统， 其特 征在于， 包括： 高斯滤波模块(1)， 用于采用S ‑1个不同的高斯滤波器分别 对训练样本图像I进行滤波，权　利　要　求　书 2/4 页 3 CN 115546862 A 3