(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211130909.X (22)申请日 2022.09.16 (71)申请人 上海仙视电子科技有限公司 地址 200120 上海市浦东 新区南汇新城镇 环湖西二路8 88号866室 (72)发明人 李顺　王晓帆　 (74)专利代理 机构 北京汇捷知识产权代理事务 所(普通合伙) 11531 专利代理师 唐丽莎 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/16(2022.01) G06V 40/18(2022.01) (54)发明名称 一种感官联动情景式数码相框交互方法与 系统 (57)摘要 本发明涉及数码相框交互的技术领域， 揭露 了一种感官联动情景式数码相框交互方法与系 统， 所述方法包括： 对二值化的人脸图像中的面 部姿态进行检测， 若检测到倾斜的面部， 则对数 码相框中的图片进行旋转处理， 并检测图片尺寸 与数码相框显示屏尺寸， 对尺 寸小于数码相框显 示屏尺寸的图片进行全屏显示； 基于瞳孔检测算 法检测到瞳孔的位置； 利用基于瞳孔位置的电子 图片兴趣区域检测算法确定人眼所注视的区域， 若用户长时间注视， 则对注视区域进行放大处 理； 数码相框自动选取与图片放大区域场景相似 的图片进行推送。 本发明所述方法实现实现基于 面部姿态感知的数码相框图片自适应旋转处理， 以及基于眼部瞳孔感知 的观看者兴趣焦点图片 区域放大处理。 权利要求书5页 说明书16页 附图2页 CN 115509351 A 2022.12.23 CN 115509351 A 1.一种感官 联动情景式数码相框交 互方法， 其特 征在于， 所述方法包括： S1： 数码相框利用摄像头拍摄得到人脸图像， 并对人脸图像进行预处理， 得到预处理后 的人脸图像， 所述预处 理方法包括 二值化处理以及人眼区域图像提取； S2： 对二值化的人脸图像 中的面部姿态进行检测， 若检测到倾斜的面部， 则对数码相框 中的图片进行旋转处理， 并检测图片尺寸与数码相 框显示屏尺寸， 对尺寸小于数码相 框显 示屏尺寸的图片进行全屏显示， 其中所述 面部姿态检测以及图片旋转处 理流程， 包括： 对二值化的人脸图像中的面部姿态进行检测， 所述 面部姿态检测流 程为： S21： 选取 人眼区域图像的所有像素点， 得到人眼区域图像的像素点 集合： {(xj， yj)|j∈[1， N]} 其中： (xj， yj)表示人眼区域图像中第j个像素点的坐标， N表示人眼区域图像中像素点的总 数； S22： 构建摄 像头拍摄模型： 其中： (fX， fY)表示摄像头的焦距， fX表示摄像头在水平方向 的焦距， fY表示摄像头在竖直方向 的焦距， (cX， cY)分别为对应水平方向以及竖直方向的焦点； (x′， y′)表示拍摄物体在图像中的像素坐标， (X， Y， Z)表示拍摄物体在世 界坐标系的坐 标； 表示旋转矩阵， 表示平移矩阵， 所述模型中旋 转矩阵以及平 移矩阵为待求 解变量； S23： 将所采集的人眼区域图像像素点集合以及对应的世界坐标系下的坐标代入摄像 头拍摄模型中， 得到人眼区域图像的旋转矩阵r ′： 其中： α 表示面部姿态的俯仰角， 所述俯仰角反映面部的仰视或俯视； β 表示面部姿态的偏航角， 所述偏航角反映面部的左右转头； γ表示面部姿态的滚转角， 所述滚转角反映面部的左右摆头； S24： 求解得到面部姿态的滚转角γ： 权　利　要　求　书 1/5 页 2 CN 115509351 A 2若γ＞15 °， 则表示用户面部向右倾 斜， 数码相框自动将所显示图片逆时针旋转γ °； 若y＜‑15°， 则表示用户面部向左倾 斜， 数码相框自动将所显示图片顺时针旋转γ °； 所述数码相框实时检测待显示电子图片的尺寸格式， 若对尺寸小于数码相框显示屏尺 寸的图片进行全屏显示， 所述全屏显示的流程为： 将待显示电子图片放大到与数码相 框显 示屏尺寸， 利用最临近点插值 算法对放大后电子图片中的缺失像素进行填充； S3： 基于瞳孔检测算法检测到人眼区域图像中瞳孔的位置； S4： 利用基于瞳孔位置的电子图片兴趣区域检测算法确定人眼所注视的区域， 当用户 注视该区域的时间超过 预设阈值， 则对该区域的图片进行放大处 理； S5： 数码相框自动选取与图片放大区域场景相似的图片进行推送。 2.如权利要求1所述的一种感官联动情景式数码相框交互方法， 其特征在于， 所述S1步 骤中数码相框利用摄 像头拍摄得到人脸图像， 包括： 所述数码相框包括显示屏、 摄像头以及无线通信模块， 其中所述显示屏用于显示电子 图片， 摄像头用于拍摄并捕捉人眼图像， 无线通信模块用于从云端获取电子图片数据、 将捕 捉到的人眼图像上传到计算机终端； 数码相 框的四个顶点位置具有红外光源， 可发出红外 光； 用户可自行控制摄像头是否开启， 当用户选择开启摄像头， 位于数码相框四个顶点的 红外光源则发出红外光， 数码相 框利用摄像头拍摄得到人脸图像， 所拍摄的人脸图像为时 序图像， 人脸图像 集合为{It|t∈[t0， te]}， 其中It为任意t时刻所拍摄的人脸图像， t0表示摄 像头拍摄的初始时刻， te表示摄像头拍摄的截止时刻， 相邻时刻的时间 间隔为Δt。 3.如权利要求2所述的一种感官联动情景式数码相框交互方法， 其特征在于， 所述S1步 骤中对人脸图像进行二 值化处理， 得到二 值化的人脸图像， 包括： 所述任意人脸图像It的二值化处理流程为： S11： 对人脸图像It的所有像 素点进行灰度化处理， 得到像素点的灰度值， 并将像素点的 灰度值作为像素值， 得到灰度化处 理后的人脸图像， 所述灰度化处 理的公式为： 其中： It， g(x， y)表示人脸图像It中第x行第y列像素点It(x， y)的灰度值， 即像素点It(x， y)的 像素值； Rt(x， y)， Gt(x， y)， Bt(x， y)分别表示像素点 It(x， y)在R， G， B颜色通道上的值； S12： 对灰度化处 理后的人脸图像进行 灰度拉伸处 理， 所述灰度拉伸处 理的公式为： 其中： gt(x， y)表示灰度拉伸后像素点 It(x， y)的像素值； I′t， min(x， y)表示灰度化处理后的人脸图像I ′t的最小像素值， I ′t， max(x， y)表示灰度化 处理后的人脸图像I ′t的最大像素值； S13： 初始化阈值 S14： 将灰度拉伸后人脸图像I ″t的像素划分为前景像 素以及背景像 素， 其中像素值小于权　利　要　求　书 2/5 页 3 CN 115509351 A 3