(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111654035.3 (22)申请日 2021.12.3 0 (71)申请人 中科国力 （镇江） 智能技 术有限公司 地址 212000 江苏省镇江市高新 技术产业 开发区经十二路6 68号 (72)发明人 李敬鑫　 (74)专利代理 机构 南京知识律师事务所 32 207 代理人 高娇阳 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 16/332(2019.01) G06F 16/33(2019.01) (54)发明名称 一种基于条件变分自编码器的问题扩展方 法 (57)摘要 本发明公开了一种基于条件变分自编码器 的问题扩展方法， 包括以下步骤： CVAE的编码端 使用了BERT获取均值μ和方差σ2； 使用得到的 均值μ和方差σ2构造掩码z； CVAE的解码端使用 了Transformer， 用Transformer的解码器来进行 预测输出， 将标准问题传入Transformer编码器 获得输出； 将一个扩展问题嵌入表示与掩码z合 并， 传入Transformer的解码器， 进行自注意力计 算， 然后与Transformer编码器的输出做普通注 意力计算； 对Transformer解码器生成的问题句 子进行扩展， 生成任意数量的k个问题句子。 本发 明可以针对原标准问题进行复述或扩 展。 权利要求书2页 说明书6页 附图1页 CN 114330664 A 2022.04.12 CN 114330664 A 1.一种基于条件变分自编码器的问题扩展方法， 其特 征在于： 包括以下步骤： 步骤1)： CV AE的编码端 使用了BERT获取均值 μ和方差σ2； 步骤2)： 使用得到的均值 μ和方差σ2构造掩码z； 步骤3)： CVAE的解码端使用了Trans former， 用Trans former的解码器来进行预测输出， 将标准问题传入Transformer编码器获得输出； 步骤4)： 将一个扩展问题的嵌入表示与掩码z合并， 传入Transformer的解码器， 进行自 注意力计算， 然后与Transformer编码器的输出做普通注意力计算； 步骤5)： 对Transformer解码器生成的问题句子进行扩展， 生成任意数量的k个问题句 子。 2.根据权利要求1所述的一种基于条件变分 自编码器的问题扩展方法， 其特征在于： 所 述的步骤1)实现的具体步骤 包括： 步骤11)输入为一个标准问题与该问题的一个扩展问， 通过嵌入查找来获得输入的词 嵌入表示， 位置嵌入表示， 以及句子嵌入表示； 步骤12)将获得的所有嵌入表示一起输入BERT， 即通过12层编码器， 在每一层编码器都 采用了自注意力机制来学习信息， 然后通过一个全连接层将之前学习到的信息处理后传递 给下一层编码器； BERT会在句子前加一个[CLS]标志， 最后一层的[CLS]作为整个序列或整 句话的语义信息； [CLS]的信息经线性变换后得到均值 μ和方差σ2。 3.根据权利要求1所述的一种基于条件变分 自编码器的问题扩展方法， 其特征在于： 所 述的步骤2)实现的具体步骤 包括： 步骤21)由步骤1)获得了均值 μ和方差σ2， 从N( μ， σ2)中采样一个z， 相当于从N(0， 1)中随 机采样一个β， 然后使用重参数技巧让z＝ μ+β *σ， 这样就得到掩码z； 步骤22)掩码z与Transformer的解码器输入相合并， 合并后的信息作为输入一起传到 Transformer的解码器。 4.根据权利要求1所述的一种基于条件变分 自编码器的问题扩展方法， 其特征在于： 所 述的步骤3)实现的具体步骤 包括： 步骤31)Transformer编码器的输入是一个标准问题， 通过嵌入查找获得其词嵌入表 示， 然后添加位置信息再传入编码器； 步骤32)经 过自注意力机制， 然后用残差网络和层正则处 理后获得多头注意力的输出； 步骤33)经过全连接层， 获得编码器的输出； 步骤34)Transformer解码器的输入是一个扩展问题， 通过嵌入查找获得其词嵌入表 示， 然后添加位置信息， 得到扩展问题的嵌入表示信息 。 5.根据权利要求1所述的一种基于条件变分 自编码器的问题扩展方法， 其特征在于： 所 述的步骤4)实现的具体步骤 包括： 步骤41)将上一步获得的扩展问题的嵌入表示信息与模块B获得的掩码z相合并， 合并 后的信息传入Transformer的解码器； 步骤42)经 过自注意力机制， 然后用残差网络和层正则处 理后获得多头注意力的输出； 步骤43)经过普通注意力机制， 然后用残差网络和层正则处理后获得普通注意力的输 出； 步骤44)经过全连接层， 获得Transformer解码器的输出。权　利　要　求　书 1/2 页 2 CN 114330664 A 26.根据权利要求1所述的一种基于条件变分 自编码器的问题扩展方法， 其特征在于： 所 述的步骤5)实现的具体步骤 包括： 步骤51)在Transformer解码器预测第一个的输出时进行TopK处理， 获得概率最大的k 个字； 步骤52)分别将k个字作为预测句子的起始单词， 然后依次经过Transformer的解码器 进行预测输出后面的字， 最终得到k个扩展问题句子 。权　利　要　求　书 2/2 页 3 CN 114330664 A 3