(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211207005.2 (22)申请日 2022.09.29 (71)申请人 维沃移动通信有限公司 地址 523863 广东省东莞 市长安镇维沃路1 号 (72)发明人 李焕　 (74)专利代理 机构 北京博雅睿泉专利代理事务 所(特殊普通 合伙) 11442 专利代理师 吴秀娥 (51)Int.Cl. G06F 40/58(2020.01) G06K 9/62(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01)G06V 20/62(2022.01) G06F 40/289(2020.01) G06F 40/30(2020.01) G10L 15/00(2013.01) G10L 15/02(2006.01) (54)发明名称 文本显示方法、 装置、 电子设备及可读存储 介质 (57)摘要 本申请公开了一种文本显示方法、 装置、 电 子设备及可读存储介质， 属于视频处理技术领 域， 该方法包括： 在播放第一视频的情况下， 获取 所述第一视频的音频信息； 获取所述音频信息中 背景语音信息的第一音调特征和第一源文本信 息； 通过注释嵌入层获取所述第一音调特征对应 的音调特征矩阵， 及通过第一注 意力网络获取所 述第一源文本信息对应的文本特征矩阵； 通过第 二注意力网络将所述音调特征矩 阵和所述文本 特征矩阵进行融合， 得到融合特征矩阵， 并通过 全连接层基于所述融合特征矩 阵确定出所述第 一源文本信息的第一翻译文本信息； 确定所述音 频信息中主语音信息的第二翻译文本信息； 显示 所述第一翻译 文本信息和第二翻译 文本信息 。 权利要求书3页 说明书18页 附图7页 CN 115455996 A 2022.12.09 CN 115455996 A 1.一种文本 显示方法， 其特 征在于， 所述方法包括： 在播放第一视频的情况 下， 获取所述第一视频的音频信息； 获取所述音频信息中背景语音信息的第一音调特 征和第一源文本信息； 通过注释嵌入层获取所述第 一音调特征对应的音调特征矩阵， 及通过第 一注意力网络 获取所述第一源文本信息对应的文本特 征矩阵； 通过第二注意力网络将所述音调特征矩阵和所述文本特征矩阵进行融合， 得到 融合特 征矩阵， 并通过全连接层基于所述融合特征矩阵确定出所述第一源文本信息的第一翻译文 本信息； 确定所述音频信息中主语音信息的第二翻译 文本信息； 显示所述第一翻译 文本信息和第二翻译 文本信息 。 2.根据权利要求1所述的方法， 其特征在于， 所述通过第 二注意力网络将所述音调特征 矩阵和所述文本特 征矩阵进行融合， 得到融合特 征矩阵， 包括： 通过第二注意力网络将所述文本特征矩阵和所述全连接层的第一参数矩阵进行矩阵 相乘， 得到文本特 征变换矩阵； 将所述音调特征矩阵和所述全连接层的第 二参数矩阵进行矩阵相乘， 得到第 一音调特 征变换矩阵； 将所述音调特征矩阵和所述全连接层的第 三参数矩阵进行矩阵相乘， 得到第 二音调特 征变换矩阵； 将所述文本特征变换矩阵和所述第 一音调特征变换矩阵进行矩阵相乘， 得到注意力矩 阵； 将所述注意力矩阵和所述第二音调特 征变换矩阵进行矩阵相乘， 得到融合特 征矩阵。 3.根据权利要求1所述的方法， 其特征在于， 在所述获取所述第一视频的音频信息之 后， 包括： 对所述音频信息进行语音识别， 得到目标源文本信息； 提取所述目标源文本信息的目标音调特 征； 根据所述目标音调特征、 所述目标源文本信息和预设背景语音识别模型， 确定出所述 音频信息中是否包括背景语音信息； 在所述音频信 息中包括背景语音信 息的情况下， 获取所述音频信 息中背景语音信 息的 第一音调特 征和第一源文本信息 。 4.根据权利要求1所述的方法， 其特 征在于， 在所述 播放第一视频的情况 下， 还包括： 获取所述音频信息对应的视频帧； 对所述视频帧进行图片文字识别， 获得第三源文本信息； 在所述第三源文本信息的语种为目标语种的情况下， 对所述第三源文本信息进行翻 译， 获得第三翻译 文本信息； 显示所述第三翻译 文本信息 。 5.根据权利要求4所述的方法， 其特征在于， 所述对所述第三源文本信息进行翻译， 获 得第三翻译 文本信息， 包括： 对所述第三源文本信 息进行翻译， 得到与 所述第三源文本信 息对应的至少一个第四翻 译文本信息；权　利　要　求　书 1/3 页 2 CN 115455996 A 2获取设定的映射数据； 其中， 所述映射数据反映不同第 四翻译文本信息和实体信息之 间的对应关系； 根据所述第 三源文本信 息在所述视频帧中的关联实体信 息和所述映射数据， 从所述至 少一个第四翻译 文本信息中确定出 所述第三翻译 文本信息 。 6.根据权利要求4所述的方法， 其特征在于， 在获取所述音频信息对应的视频帧之后， 还包括: 在所述音频信 息的语种为目标语种的情况下， 对所述视频帧的第 一预设区域进行图片 文本识别， 获得第一识别结果； 在所述第一识别结果表示未识别到文本信 息的情况下， 确定 需要对所述音频信 息进行 翻译； 在所述第一识别结果表示识别到文本信 息、 且所述文本信 息的语种为目标语种的情况 下， 确定需要对所述音频信息进行翻译； 在需要对所述音频信 息进行翻译的情况下， 获取所述音频信 息中背景语音信 息的第一 音调特征和第一源文本信息 。 7.一种文本 显示装置， 其特 征在于， 所述装置包括： 第一获取模块， 用于在播 放第一视频的情况 下， 获取所述第一视频的音频信息； 第二获取模块， 用于获取所述音频信 息中背景语音信 息的第一音调特征和第 一源文本 信息； 第三获取模块， 用于通过注释嵌入层获取所述第一音调特征对应的音调特征矩阵， 及 通过第一注意力网络获取 所述第一源文本信息对应的文本特 征矩阵； 第一确定模块， 用于通过第 二注意力网络将所述音调特征矩阵和所述文本特征矩阵进 行融合， 得到融合特征矩阵， 并通过全连接层基于所述融合特征矩阵确定出所述第一源文 本信息的第一翻译 文本信息； 第二确定模块， 用于确定所述音频信息中主语音信息的第二翻译 文本信息； 显示模块， 用于 显示所述第一翻译 文本信息和第二翻译 文本信息 。 8.根据权利要求7 所述的装置， 其特 征在于， 所述第一确定模块， 具体用于： 通过第二注意力网络将所述文本特征矩阵和所述全连接层的第一参数矩阵进行矩阵 相乘， 得到文本特 征变换矩阵； 将所述音调特征矩阵和所述全连接层的第 二参数矩阵进行矩阵相乘， 得到第 一音调特 征变换矩阵； 将所述音调特征矩阵和所述全连接层的第 三参数矩阵进行矩阵相乘， 得到第 二音调特 征变换矩阵； 将所述文本特征变换矩阵和所述第 一音调特征变换矩阵进行矩阵相乘， 得到注意力矩 阵； 将所述注意力矩阵和所述第二音调特 征变换矩阵进行矩阵相乘， 得到融合特 征矩阵。 9.根据权利要求7所述的装置， 其特征在于， 所述装置还包括第一识别模块、 提取模块 和第三确定模块， 所述第一识别模块， 用于对所述音频信息进行语音识别， 得到目标源文本信息； 所述提取模块， 用于提取 所述目标源文本信息的目标音调特 征；权　利　要　求　书 2/3 页 3 CN 115455996 A 3