(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210723928.7 (22)申请日 2022.06.24 (71)申请人 在线途游 （北京） 科技有限公司 地址 100012 北京市朝阳区红军营南路3 6 号暖山生活B座 申请人 北京云游互动网络科技有限公司 (72)发明人 韩腾辉　尹珺　弓睿　林逸　 杨利华　 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/22(2019.01) G06F 16/25(2019.01) G06F 16/18(2019.01) (54)发明名称 一种实时数据分析方法及系统 (57)摘要 本发明公开了一种实时数据分析方法及系 统， 方法包括： 获取日志的当前表结构； 基于日志 的现有表结构 对所述当前表结构进行判断， 判断 是否存在新增字段； 根据所述当前表结构存在新 增字段的条件， 获取分布式锁， 并根据分布式锁 的节点， 利用存储端API完成现有表结构的修改。 本申请中， 根据日志的当前表结构， 结合日志的 现有表结构 对当前表结构 进行新增字段的判断， 并根据基于当前表结构存在新增字段， 获取分布 式锁， 利用获取到分布式锁的节点， 通过存储端 API完成现有表结构的新增字段修改， 从而完成 表结构的自适应修改。 权利要求书2页 说明书8页 附图2页 CN 114969083 A 2022.08.30 CN 114969083 A 1.一种实时数据分析 方法， 其特 征在于， 包括： 获取日志的当前表结构； 基于日志的现有表结构对所述当前表结构进行判断， 判断是否存在新增字段； 根据所述当前表结构存在新增字段的条件， 获取分布式锁， 并根据分布式锁的节点， 利 用存储端API完成现有表结构的修改。 2.根据权利要求1所述的方法， 其特 征在于， 还 包括： 通过元数据配置平台配置用户配置， 利用Flink处理引擎基于用户配置对日志进行选 择性接收。 3.根据权利要求2所述的方法， 其特征在于， 所述利用Flink处理引擎基于用户配置对 日志进行选择性接收， 包括： Flink处理引擎自定义数据源， 利用数据源从RDB数据库中读取用户配置； 数据源将 读取到的用户配置广播至Fl ink处理引擎的各任务管理平台； 各任务管理平台根据广播的用户配置逐行判断当前日志； 其中， 任务管理平台根据用 户配置对日志进行选择性接收。 4.根据权利要求1所述的方法， 其特 征在于， 通过数据级别配置平台配置事件级别配置， Flink处理引擎基于事件级别配置对日志 进行分级存 储。 5.根据权利要求4所述的方法， 其特征在于， 所述通过数据级别配置平台配置事件级别 配置， 包括： 配置数据级别配置平台， 并将事 件级别配置持久化至RDB数据库。 6.根据权利要求4所述的方法， 其特征在于， 所述Flink处理引擎基于事件级别配置对 日志进行分级存 储， 包括： Flink处理引擎的转换算子包括RichMapFunction和CheckpointFunction； 其中， RichMapFunction用于在实时分析系统启动时初始化资源； 利用CheckpointFunction完成 事件级别配置的定时更新； Flink处理引擎逐行处理日志， 并根据更新的事件级别配置， 将不同级别的日志进行分 级存储。 7.根据权利要求6所述的方法， 其特 征在于， 所述分级存储包括将日志输出至不同侧输出流， 输出流包括用于存储实时日志的实时 存储引擎， 和用于存储非实时日志的非实时存储引擎； 其中， 实时存储引擎包括KUDU， 非实 时存储引擎包括OBS。 8.根据权利要求7 所述的方法， 其特 征在于， Flink处理引擎逐行处理日志， 并根据更新的事件级别配置， 及根据每日存储在Redis 中的实时日志条 数超出阈值时， 将超出的实时日志存 储至非实存储引擎OBS。 9.根据权利要求1所述的方法， 其特 征在于， 根据Flink处理引擎的指标收集上报平台实时上报任务执 行状态指标至数据库； 通过Grafana读取数据库中的任务执行状态指标， 并根据读取的任务执行状态指标完 成数据流状态展示及异常告警。 10.一种实时数据分析系统， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114969083 A 2获取模块， 获取日志的当前表结构； 判断模块， 基于日志的现有表结构对所述当前表结构进行判断， 判断是否存在新增字 段； 修改模块， 根据 所述当前表结构存在新增字段的条件， 获取分布式锁， 并根据分布式锁 的节点， 利用存 储端API完成现有表结构的修改。权　利　要　求　书 2/2 页 3 CN 114969083 A 3