(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211388530.9 (22)申请日 2022.11.08 (71)申请人 深圳擎盾信息科技有限公司 地址 518000 广东省深圳市粤海街道麻岭 社区科研路9号比克 科技大厦1201B (72)发明人 王加伟　杜向阳　 (74)专利代理 机构 深圳众鼎汇成知识产权代理 有限公司 4 4566 专利代理师 朱业刚 (51)Int.Cl. G06F 40/232(2020.01) G06F 40/268(2020.01) G06K 9/62(2022.01) G06N 3/08(2006.01) (54)发明名称 融合多源特征的合同文本纠错方法、 系统、 设备及介质 (57)摘要 本发明涉及人工智能技术领域， 尤其涉及一 种融合多源特征的合同文本纠错方法、 系统、 设 备及介质。 该方法将待识别文本的字向量、 位置 向量、 拼音向量和字形向量相加后， 输入编码模 型中得到融合特征， 将融合特征输入字预测模型 中， 得到每个字所在位置对应的概率序列， 针对 任一字， 从概率序列中筛选出概率值最大的前K 个预设字， 在该字与前K个预设字均不相同时， 确 定该字所在位置为纠错位置， 采用概率序列中概 率值最大的预设字替换该字， 得到纠错文本， 以 拼音向量和字形向量作为额外信息参与特征融 合， 提高了融合特征的表征能力， 采用预设字与 当前字比对的方式确定纠错位置， 避免非错误字 被误识别， 导致过度纠正， 进而提高了合同文本 识别的准确率。 权利要求书3页 说明书12页 附图4页 CN 115438650 A 2022.12.06 CN 115438650 A 1.一种融合多源特 征的合同文本纠错方法， 其特 征在于， 所述 合同文本纠错方法包括： 提取待识别文本中每个字的字向量、 位置向量、 拼音向量和字形向量， 将所述字向量、 所述位置向量、 所述拼音向量和所述字形向量相加后输入训练好的编 码模型中进行特征提 取， 得到融合特 征； 将所述融合特征输入训练好的字预测模型中， 得到每个字所在位置对应的概率序列， 所述概率序列包括至少两个预设字及其对应的概 率值； 针对任一字， 从对应所述字所在位置的概率序列中筛选出概率值最大的前K个预设字， K为小于预设字的数量且大于零的整数； 在检测到所述字与所述前K个预设字均不相同时， 确定所述字所在位置为纠错位置， 采 用所述概率序列中概 率值最大的预设字替换 所述字， 得到纠错文本 。 2.根据权利要求1所述的合同文本纠错方法， 其特征在于， 所述提取待识别文本 中每个 字的拼音向量包括： 针对所述待识别文本中的任一字， 将对应所述字的拼音按照字母拆分， 得到至少一个 拼音字母； 将所述拼音字母输入训练好的字母向量嵌入 模型， 得到对应拼音字母的字母子向量； 在所述拼音拆分为一个拼音字母时， 确定所述拼音字母对应的字母子向量为对应所述 拼音的拼音子向量； 在所述拼音拆分为至少两个拼音字母时， 将每个拼音字母对应的字母子向量线性相 加， 确定相加结果 为对应所述 拼音的拼音子向量； 将所有字的拼音子向量按照文本顺序拼接， 确定拼接结果 为所述拼音向量。 3.根据权利要求1所述的合同文本纠 错方法， 其特征在于，  所述提取待识别文本中每 个字的字形向量包括： 针对所述待识别文本中的任一字， 将所述字按照笔画进行切分， 得到至少一个切分笔 画； 将所述切分笔画输入训练好的笔画向量嵌入模型， 得到对应所述切分笔画的笔画子向 量； 在所述字切分为一个切分笔画时， 确定所述切分笔画对应的笔画子向量为对应所述字 的字形子向量； 在所述字切分为至少两个切分笔画时， 将每个切分笔画对应的笔画子向量线性相加， 确定相加结果 为对应所述字的字形子向量； 将所有字的字形子向量按照文本顺序拼接， 确定拼接结果 为所述字形向量。 4.根据权利要求1所述的合同文本纠错方法， 其特征在于， 所述训练好的编码模型包括 训练好的注意力层和训练好的残差连接层； 所述将所述字向量、 所述位置向量、 所述拼音向量和所述字形向量相加后输入训练好 的编码模型中进行 特征提取， 得到融合特 征包括： 确定所述字向量、 所述位置向量、 所述拼音向量和所述字形向量的相加结果为输入向 量， 将所述输入向量输入所述训练好的注意力层， 得到查询向量、 键值向量和值向量； 将所述查询向量、 所述键值向量和所述值向量代入预设的自注意力函数计算， 确定计 算结果为加权向量；权　利　要　求　书 1/3 页 2 CN 115438650 A 2将所述输入向量和所述加权向量输入所述训练好的残差连接层， 得到所述融合特 征。 5.根据权利要求1至4任一项所述的合同文本纠 错方法， 其特征在于， 所述编码模型和 所述字预测模型的训练过程包括： 按照预设条件从获取的历史文本中选择待处理字， 对所述待处理字进行掩码处理， 得 到掩码字， 确定包含掩码字的历史文本为样本文本， 提取所述样本文本的样 本字向量、 样本 位置向量、 样本拼音向量和样本 字形向量； 将所述样本字向量、 所述样本位置向量、 所述样本拼音向量和所述样本字形向量相加 后输入所述编码模型， 得到样本融合特 征； 将所述样本 融合特征输入所述字预测模型中， 得到所述待处理字所在位置的样本概率 序列， 确定所述样本概率序列中最大概率值对应的预设字为预测字， 所述样本概率序列包 括至少两个预设字及其对应的概 率值； 根据所述预测字、 所述待处理字和预设损失函数， 计算字预测损失， 以所述字预测损失 为依据， 对所述编码模型和所述字预测模型进行训练， 得到所述训练好的编码模型和所述 训练好的字预测模型。 6.根据权利要求5所述的合同文本纠错方法， 其特征在于， 所述按照预设条件从获取的 历史文本中选择待处 理字， 对所述待处 理字进行掩码处 理， 得到掩码字包括： 将所述历史文本 中所有字与 预设字典比较， 筛选出至少两个属于非实体字类别的字作 为参考字， 所述预设字典包括实体字类别和所述非 实体字类别； 针对任一参考字， 按照预设的第一概率对是否进行掩码处理进行采样， 若采样结果为 进行掩码处 理， 确定所述 参考字为待处 理字； 针对任一待处理字， 采用预设的第二概率对预设的掩码类型进行采样， 根据采样结果 从所述预设字典中确定对应所述待处 理字的替换字； 采用所述 替换字替换 所述待处 理字， 得到所述掩码字 。 7.根据权利要求5所述的合同文本纠错方法， 其特 征在于， 所述编码模型和所述字预测模型的训练过程还 包括： 针对任一待处理字， 获取所述待处理字对应的真实拼音， 将所述样本融合特征输入训 练好的拼音预测模型， 得到对应所述待处理字的拼音概率序列， 所述拼音概率序列包括至 少两个预设拼音及其对应的概 率值； 确定所述 拼音概率序列中最大概 率值对应的预设拼音为预测拼音； 相应地， 所述根据所述预测字、 所述待处理字和预设损失函数， 计算字预测损失， 以所 述字预测损失为依据， 对所述编码模型和所述字预测模型进行训练， 得到所述训练好的编 码模型和所述训练好的字预测模型包括： 根据所述预测拼音、 所述真实拼音和所述损失函数， 计算 拼音预测损失； 根据所述预测字、 所述待处 理字和所述损失函数， 计算所述字预测损失； 以所述字预测损失和所述拼音预测损失之和为依据， 对所述编码模型和所述字预测模 型进行联合训练， 得到所述训练好的编码模型和所述训练好的字预测模型。 8.一种融合多源特 征的合同文本纠错系统， 其特 征在于， 所述 合同文本纠错系统包括： 特征融合模块， 用于提取待识别文本 中每个字的字向量、 位置向量、 拼音向量和字形向 量， 将所述字向量、 所述位置向量、 所述拼音向量和所述字形向量相加后输入训练好的编码权　利　要　求　书 2/3 页 3 CN 115438650 A 3