鞠道霈 奇安信科技集团股份有限公司安全大数据中心数据运营部 从基础大数据 到安全业务大数据的演进目录 1.安全数据来源与利用方法现状 •安全数据来源主要分类与特性 •安全数据的利用思路与应用路线 •MASSIF框架 2.数据价值转换的阶段特性 •基础大数据到安全业务大数据的演进方式 •安全数据各阶段特性与业务价值转换 •安全业务大数据的持续运营实现与应用场景目录安全数据来源 ——基础大数据 大体量数据 中小体量数据•数量级大，数量大（条数多） •非关系型数据库存储，离线数据 挖掘应用较多 •数据采集点类型少 •数据信噪比平衡问题难以解决 •专用安全数据少，流量数据与业 务数据类型居多， C端数据除外 •典型：全流量镜像数据，运营商 核心网设备数据 •数据量级相对较小，条数经预处 理（合并，压缩）降低 •关系型数据库存储，分析方法与 表结构强相关 •数据采集点类型多 •专门用途设备日志居多 •典型：单一业务系统日志，安全 设备日志抽样深度分析（恶意样 本提取） 具体业务全量分析 （DNS解析记录） 离线分析＞实时分析 全量日志分析 多种类数据关联分析 实时分析＞历史分析•数量抽离 •规则细化安全数据基本利用思路与定义 大体量 安全数据 中小体量 安全数据安全业务 大数据•样本特征 •模式训练 •异常挖掘 •匹配场景 •事件关联 •特殊样本 安全数据 =用于安全分析的基础数据与安 全设备产生的日志数据来自于基础大数据，安 全分析人员 可感知、可 理解或安全防护设备可 机读，具备安全管理 辅 助决策业务属性的可用 安全数据安全数据运维工具级应用 分布式搜索 索引器 自动化负 载均衡转 发器•本质是日志集成搜索系统 •对大数据架构日志系统支持乏力 •商业化软件成本高 •封闭式架构扩展性较差 •基于搜索结果进行分析，分析行为后置 •字段提取、合并、统计与建模行为分离 •分析能力取决于分析师个人能力或外部团队支持 企业内部运维级安全数据分析体系受限于——“后置”安全数据运营平台系统级应用 告警驱动 事件驱动 （前、中、后） 场景驱动 (多元化 ) 基于日志数据解析 基于预置判定规则 基于分散数据检索基于设备数据采集 基于数据可视图表 基于预置关联分析 算法 安全数据分析 风险监控与评估分析 安全运营平台 安全信息和事件管理平台 日志审计平台 /工具 设备数据采集与回传工具数据存储与计算平台安 全 协 同 ？ 受限于——“预置”MASSIF框架—— MICRO（微观） & MESO（中观） 安全数据核心价值转换 ——数据“活动” 基础大数据基础安全 大数据安全 大数据安全业务 大数据 可操作性具 备 可感知性具 备 可理解性具 备 可交付性具 备 数据管理 关注数据形态组织 关注数据内禀属性 提高数据处理效率 增强数据组织能力转换数据价值形态 分析面向业务交付使 动使 活安全数据 原始来源可感知事件 （Micro）中观（ Meso） 模型驱动场景可决策 安全场景 数 据 形 态分析 对象