(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111544622.7 (22)申请日 2021.12.16 (71)申请人 上海工业自动化仪表研究院有限公 司 地址 200233 上海市徐汇区漕宝路10 3号 (72)发明人 王高翃　 (74)专利代理 机构 苏州所术专利商标代理事务 所(普通合伙) 32473 代理人 孙兵 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) H04L 9/40(2022.01) (54)发明名称 基于神经网络隐LSTM模型的二进制流信息 分析方法 (57)摘要 本发明提供一种基于神经网络隐LSTM模型 的二进制流信息分析方法， 涉及数据流信息分析 技术领域。 该方法包括： 确定嵌入空间的维数m， 取二进制流中的每r位数据为一个字母， 并确定 相应的2^r个字母在嵌入空间的对应嵌入向量； 确定观测空间的维数n； 确定隐状态空间的维数 L； 建立LSTM模型， 并初始化模型参数； 建立状态 空间到观测空间的状态转移模型； 设计LSTM模型 的模型整体损失函数； 在模型参数训练完成以 后， 保存模型的嵌入参数、 LSTM参数和状态转移 参数。 本发 明通过将二进制流信息视为一种需要 处理和分析的语 言结构， 结合隐马克可夫模型的 想法和循环神经网络的应用， 实现了对二进制流 信息的分析， 提升 了信息分析的准确性。 权利要求书2页 说明书5页 附图1页 CN 114219077 A 2022.03.22 CN 114219077 A 1.一种基于神经网络隐LSTM模型的二进制流信息分析方法， 其特征在于， 在神经网络 中将二进制流看作为时序数据， 利用LSTM模型对所述时序数据进行训练， 所述方法包括如 下步骤： 确定嵌入空间的维数m， 取二进制流中的每r位数据为一个字母， 并确定相应的2^r个字 母在嵌入空间的对应嵌入向量； 确定观测 空间的维数n， 观测 空间的维数由观测状态的情况和观测状态的颗粒度来确 定， 所述观测状态为二进制流中的单个位的数据或者二进制流的单个字母 所传输的信息的 状态； 确定隐状态空间的维数L， 所述 隐状态空间是所述观测 空间的状态转移所依赖的状态 概率空间， 同时也是LSTM模型输出的概 率空间； 建立LSTM模型， 并初始化模型参数， 所述LSTM模型的输入为二进制流转化的嵌入向量 序列， 输出序列的激活使用softmax函数， 以模拟输出状态的概 率分布； 建立状态空间到观测空间的状态转移模型； 设计LSTM模型的模型整体损失函数， 模型整体损失函数通过比较输出状态和实际观测 到的状态标签来 获取， 在确定模 型和参数后， 通过前向传递计算模型整体损失函数， 并对模 型参数进行训练； 在模型参数训练完成以后， 保存模型的嵌入参数、 LSTM参数和状态转移参数， 以供模型 在对二进制流信息进行分析时使用。 2.根据权利要求1所述的基于神经网络隐LSTM模型的二进制流信息分析方法， 其特征 在于， r为8或者16 。 3.根据权利要求2所述的基于神经网络隐LSTM模型的二进制流信息分析方法， 其特征 在于， 所述二进制流的字母到嵌入空间的嵌入由一个2^r* m维的矩阵表 示， 所述矩阵的每一 列为对应字母的嵌入向量。 4.根据权利要求3所述的基于神经网络隐LSTM模型的二进制流信息分析方法， 其特征 在于， 嵌入空间的参数矩阵为如下中的一者： 随机初始化参数矩阵中的参数， 并且在训练过 程中持续优化参数矩阵； 或者引用特定的初始化参数作为参数矩阵中的参数， 并且在训练 过程中冻结参数矩阵。 5.根据权利要求1所述的基于神经网络隐LSTM模型的二进制流信息分析方法， 其特征 在于， 观测状态分为具有攻击威胁的数据、 不具有攻击威胁的正常数据两类， 若观测状态的 颗粒度为字母级， 则观测空间的维数为2； 若观测状态的颗粒度为单个位级， 则观测空间的 维数为2^r。 6.根据权利要求5所述的基于神经网络隐LSTM模型的二进制流信息分析方法， 其特征 在于， 若观测状态的颗粒度为字母级， 则另外引入其他的观测状态， 所述其他的观测状态包 括可疑数据。 7.根据权利要求1所述的基于神经网络隐LSTM模型的二进制流信息分析方法， 其特征 在于， 所述隐状态空间的维数通过如下中的一者确定： 通过训练中经验的调优所得； 或者通 过基于二进制流信息分析的机理模型中隐含状态与观测状态的关系来获得。 8.根据权利要求1所述的基于神经网络隐LSTM模型的二进制流信息分析方法， 其特征 在于， 状态空间到观测空间的状态转移模型中的状态转移函数为线性的， 所述状态转移函权　利　要　求　书 1/2 页 2 CN 114219077 A 2数由一个L*n的线性状态转移矩阵来描述， 所述线性状态转移矩阵中的每项的值均为非负 数， 并且每行向量的和为1。 9.根据权利要求1所述的基于神经网络隐LSTM模型的二进制流信息分析方法， 其特征 在于， 所述模型整体损失函数为交叉熵函数或者相关状态在观测空间的距离 。 10.根据权利要求1所述的基于神经网络隐LSTM模型的二进制流信 息分析方法， 其特征 在于， 在模型参数训练完成以后， 模型通过持续的训练更新进 行优化， 并在不同的使用场景 中进行迁移学习， 模 型的更新优化过程中， 冻结嵌入参数、 LSTM模型参数或状态 转移参数中 的任意部分； 模型参数的迁移学习， 将已有的隐LSTM模型中的嵌入模型和LSTM模型进行迁 移， 并根据使用场景设计新的观测空间、 状态转移模型和损失函数， 在迁移学习的过程中， 嵌入参数和LSTM模型参数保持冻结。权　利　要　求　书 2/2 页 3 CN 114219077 A 3