(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111650030.3 (22)申请日 2021.12.3 0 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 汤景凡　崔硕　张旻　姜明　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 朱月芬 (51)Int.Cl. G06F 40/284(2020.01) G06F 40/242(2020.01) G06T 9/00(2006.01) G06K 9/62(2022.01) G10L 15/26(2006.01)G10L 25/63(2013.01) (54)发明名称 一种基于知识图谱和跨模态注意力的多模 态反讽检测方法 (57)摘要 本发明公开了一种基于知识图谱和跨模态 注意力的多模态反讽检测方法。 本发明根据Bert 模型构建跨模态注意力特征向量， 以及运用多模 态知识图谱来获取外部信息， 并对外部信息进行 筛选。 跨模态注意力构建的是音频信息与文本句 信息以及情感值向量三者的关系， 通过音频信息 向量与情感值向量之间的联系与影响来计算注 意力， 以此来关注句中的矛盾表达。 而外部知识 信息的筛选， 则是运用文本抽取的信息与知 识图 谱检索的外部信息相似度进行。 最后将获取的各 个类型的特征向量， 输入到分类层进行分类。 本 发明能够很好解决了不同模态信息的融合问题， 能够关注句内的矛盾也能提取不同模态的不一 致性特征， 能够提高反讽检测任务的准确性。 权利要求书3页 说明书5页 附图3页 CN 114330334 A 2022.04.12 CN 114330334 A 1.一种基于知识图谱和跨模态注意力的多模态反讽检测方法， 其特征在于包括如下步 骤： 步骤(1)根据输入的文本信息T构建初始化词嵌入向量Token  Embedding和位置编码向 量Position  Embedding， 并将词嵌入向量和位置向量作为Bert预训练模型的输入， 训练后 得到句子向量Ht； 步骤(2)对输入的音频信息V依据文本信息T进行切分， 并对切分后的每一段音频信息 运用OpenSmi le进行编码， 得到音频信息特 征向量Hv； 步骤(3)对输入的视频帧信息G运用ResNet进行编码， 并通过全连接层进行维度变换， 得到视频帧特 征向量Hg； 步骤(4)对输入的文本信息T根据外部情感词典， 查询文本信息T中每个词的情 感值， 并 构建情感值特 征向量Hs； 步骤(5)根据步骤(1)(2)(4)所获取的三种向量， 构建跨模态注意力， 获得跨模态注意 力向量Hatt； 步骤(6)将视频帧信息G输入到多模态知识图谱中， 获取与视频帧信息G有关的外部知 识信息， 构建外 部知识向量并进行筛 选， 得到与上 下文相关的外 部知识向量Hk； 步骤(7)将 跨模态注意力向量Hatt、 视频帧信息向量Hg与相关的外部知识向量Hk连接， 输 入到分类 器SoftMax中， 来判断输入信息是否为讽刺信息 。 2.根据权利要求1所述的一种基于知识图谱和跨模态注意力的多模态反讽检测方法， 所述步骤(1)具体实现过程如下： 1‑1构建bert预训练模型输入的Token  Embedding， 所以输入构建为[CLS]+文本信息+ [SEP]的形式； 给定输入文本信息T＝{t1， t2， ...， tn}， 其中n表示文本信息的长度， 并构建初 始化嵌入向量To ken Embedding： X＝([CLS]， t1， t2， ...， tn， [SEP])  (1) 1‑2构建bert预训练模型输入的Position  Embedding， 随机初始化学习获得句中每个 词的顺序特 征， 其表达式为： PE＝(E0， E1，…， En，…， En+1)    (2) 其中， E0， E1， ...， En+1分别表示公式(1)X中[CLS]， t1， t2， ...， tn和[SEP]的位置编码； X与 PE对应， E0是[CLS]对应的位置编码； t1， t2， ...， tn和是E1， ...， En对应的位置编码； En+1是 [SEP]对应的位置编码； 1‑3将构建好的Token  Embedding和Position  Embedding连接后输入到bert模型， 并取 [CLS]和[SEP]之间的特征向量作为文本信息T的隐层特征 向量， 记为Ht∈Rd×n， 其过程总结 为下式： Ht＝Bert(X； PE)＝{h1， h2， ...hn}   (3)。 3.根据权利要求2所述的一种基于知识图谱和跨模态注意力的多模态反讽检测方法， 所述步骤(2)具体实现过程如下： 2‑1依据文本信息对音频与视频做对齐操作， 即可获取与文本对应的音频段和视频帧； 音频信息表示 为V＝{v1， v2， ...， vn}， 视频帧信息表示 为G＝{g1， g2， ...， gn}； 2‑2将音频信息V通过OpenSmile进行特征提取得到音频信息特征向量， 其过程表示如 下：权　利　要　求　书 1/3 页 2 CN 114330334 A 24.根据权利要求3所述的一种基于知识图谱和跨模态注意力的多模态反讽检测方法， 所述步骤(3)具体实现过程如下： 3‑1将对齐处理后的视频帧信息G通过ResNet进行特征提取得到每一帧信息特征向量， 其过程表示如下： 3‑2将HG通过全连接层FC的方式进行 特征变换， 得到 视频帧特 征向量Hg∈Rd×n： 5.根据权利要求4所述的一种基于知识图谱和跨模态注意力的多模态反讽检测方法， 所述步骤(4)具体实现过程如下： 4‑1对于输入的文本信息T＝{t1， t2， ...， tn}， 通过情感词典查询每个词的情感值 的绝 对值大小， 记作senti_vec并将查询结果记为： S＝{s1， s2， ...， sn}. 4‑2将S同样运用ber t进行编码， 得到情感值特 征向量Hs∈Rd×n表达式如下： 6.根据权利要求5所述的一种基于知识图谱和跨模态注意力的多模态反讽检测方法， 所述步骤(5)具体实现过程如下： 为了融合音频信息与文本信息， 构建跨模态 注意力向量， 其表达式为： 其中WK、 WQ、 WV为注意力机制需要学习的参数， d为词嵌入向量Token  Embedding 的维度， Hs、 Hv与Ht分别为上述计算的特 征向量。 7.根据权利要求1所述的一种基于知识图谱和跨模态注意力的多模态反讽检测方法， 所述步骤(6)具体实现过程如下： 6‑1将视频帧信息输入到外部多模态知识图谱MMKG中， 检索后得到多个外部知识， 即多 个三元组{e1， e2， ...， en}， 其中ei表示第i个三元组， 并运用bert进行编码， 其过程表达如 下： 其中 表示第i个三元组的编码， 和 为第i个三元组中的实体， 为俩 实体间的关系； 6‑2对外部知识向量进行筛选； 首先， 运用当前主流的三元组抽取模型， 对本文信息T进 行三元组抽取， 得到文本信息的三元组为{e1， e2， ...， ek}； 经bert编码后得到文本信息的三 元组向量， 其表达式如下： 其中 表示第i个三元组的编码， 和 为第i个三元组中的实体， 为俩实 体间的关系； 6‑3计算 中的三元组向量与 中的三元组向量的相似度， 以筛选部分外部知识向权　利　要　求　书 2/3 页 3 CN 114330334 A 3