(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211062718.4 (22)申请日 2022.09.01 (71)申请人 江西中业智能科技有限公司 地址 330000 江西省南昌市青云谱区昌南 工业园区昌南园五路5号1号楼4 401室 (72)发明人 李介　刘向宇　张恒星　 (74)专利代理 机构 南昌旭瑞知识产权代理事务 所(普通合伙) 36150 专利代理师 刘红伟 (51)Int.Cl. G06F 40/242(2020.01) G06F 40/284(2020.01) G06F 40/166(2020.01) G06F 40/30(2020.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种图文情感推断方法、 系统、 存储介质及 设备 (57)摘要 本发明提供一种图文情感推断方法、 系统、 存储介质及设备， 可对用户评论中的文本及图像 信息进行分析， 进行多模态特征融合， 在技术层 面可以更好的获取到用户评论的情感特征， 在行 业应用方面， 通过提高分析用户情感的准确率， 可以更好的有助于商家给客户提供个性化服务， 提高用户在消费过程中的满意度， 解决了目前， 基于计算机技术主要是处理用户文本信息； 当用 户进行输入图片、 表情， 或者文本和图片相结合 的方式时， 基于文本的单模态模型无法进行处 理， 存在一定的使用局限问题， 进而导致获取到 的用户特征不全面， 从而误判用户当前情感倾 向， 降低用户体验， 实用程度较 差问题。 权利要求书2页 说明书9页 附图4页 CN 115526166 A 2022.12.27 CN 115526166 A 1.一种图文情感推断方法， 其特 征在于， 所述方法包括： 获取用户评论信息， 所述评论信息 至少包括文本信息以及图像信息； 获取社会热点评论， 根据所述社会热点评论建立极性词典表； 去除所述文本信 息中的停用词和标点符号得到纯文本信 息， 并对所述纯文本信 息进行 分词以分别得到单词和句段信息； 将所述单词导入所述极性词典表进 行查询以获取所述单 词的向量， 并对所述句段进行文字 向量处理， 之后依 次将所述单词向量融合还原至所述句 段向量进行分词前 的初始位置中， 得到所述纯文本信息的矩阵向量， 并确定为所述文本信 息生成模型 前的初始输入信息； 将所述文本信息以及图像信息分别输入至预训练的文本特征向量生成模型以及图像 特征向量生成模型当中， 以获取文本特 征向量以及图像特 征向量； 对所述文本特征向量以及图像特征向量进行特征融合以获取联合特征向量， 并将所述 联合特征向量输入至预训练的情感分析模型当中， 以获取 所述用户的感情倾向。 2.根据权利要求1所述的一种图文情感推断方法， 其特征在于， 所述去除所述文本信 息 中的停用词和标点符号得到纯文本信息， 并对所述纯文本信息进 行分词以分别得到单词和 句段信息的步骤 包括： 获取所述纯文本信 息中各所述单词前后句段中预设长度的文字信 息， 并将个所述单词 前后句段中预设长度的文字信息， 确定为各所述单词位于所述纯文本信息中的位置信息， 之后对所述纯文本信息进行分词以分别得到单词和句段信息 。 3.根据权利要求1所述的一种图文情感推断方法， 其特征在于， 所述将所述文本信 息以 及图像信息 分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中， 以获取文本特 征向量以及图像特 征向量的步骤 包括： 获取所述文本信息的所述初始输入信息， 并将所述初始输入信息输入至BILSTM模型中 进行训练， 得到文本特 征向量模型。 4.根据权利要求2所述的一种图文情感推断方法， 其特征在于， 所述将所述文本信 息以 及图像信息 分别输入至预训练的文本特征向量生成模型以及图像特征向量生成模型当中， 以获取文本特 征向量以及图像特 征向量的步骤 还包括： 将所述图像信息中的图像裁剪至预设尺寸， 确定为所述图像信息的初始输入图像， 将 所述初始输入图像输入至卷积神经网络中进行训练， 得到图像特 征向量模型。 5.根据权利要求1所述的一种图文情感推断方法， 其特征在于， 所述对所述文本特征向 量以及图像特 征向量进行 特征融合以获取 联合特征向量的步骤之前包括： 判断获取所述联合特征向量前是否同时输入有所述文本特征向量和所述图像特征向 量； 若是， 则将所述文本特征向量和所述图像特征向量进行特征融合以获取联合特征向 量， 并确定为所述用户评论信息的特 征表示； 若否， 则将所述文本特征向量或所述图像特征向量输出特征向量长度视为固定值， 并 确定为所述用户评论信息的特 征表示。 6.根据权利要求1所述的一种图文情感推断方法， 其特征在于， 将所述联合特征向量输 入至预训练的情感分析模型当中， 以获取 所述用户的感情倾向的步骤之前包括： 对搜集的所述用户评论信 息进行情感标注， 并将所述情感标注对应的所述用户评论信权　利　要　求　书 1/2 页 2 CN 115526166 A 2息输入分类 器进行分类训练， 构建预训练的情感分析模型。 7.一种图文情感推断系统， 其特 征在于， 所述系统包括： 获取模块， 用于获取用户评论信息， 所述评论信息 至少包括文本信息以及图像信息； 模型建立模块， 用于获取 社会热点评论， 根据所述社会热点评论建立极性词典表； 文本处理模块， 用于去 除所述文本信息中的停用词和标点符号得到纯文本信息， 并对 所述纯文本信息进行分词以分别得到单词和句段信息； 将所述单词导入所述极性词典表进 行查询以获取所述单词的向量， 并对所述句段进行文字 向量处理， 之后依 次将所述单词向 量融合还原至所述句段向量进行分词 前的初始位置中， 得到所述纯文本信息的矩阵向量， 并确定为所述文本信息生成模型 前的初始输入信息； 第一训练模块， 用于将所述文本信 息以及图像信 息分别输入至预训练 的文本特征向量 生成模型以及图像特 征向量生成模型当中， 以获取文本特 征向量以及图像特 征向量； 第二训练模块， 用于对所述文本特征向量以及图像特征向量进行特征融合以获取联合 特征向量， 并将所述联合特征向量输入至预训练的情感分析模型当中， 以获取所述用户的 感情倾向。 8.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1－6任一所述的图文情感推断方法。 9.一种图文情 感推断设备， 其特征在于， 包括存储器、 处理器以及存储在存储器上并可 在处理器上运行的计算机程序， 所述处理器执行所述程序时实现如权利要求 1－6任一所述 的图文情感推断方法。权　利　要　求　书 2/2 页 3 CN 115526166 A 3