https://openlookeng.io
开源openLooKeng 共建大数据繁荣生态
2022 年5月https://openlookeng.io
Content
openLooKeng 是什么?
openLooKeng 的典型应用场景
openLooKeng 架构解析和关键特性
openLooKeng 开源策略及伙伴帮助计划https://openlookeng.io
openLooKeng 打破数据和应用壁垒,快速实现数据价值
数据虚拟化引擎 openLooKeng交互式查询 批查询
SQL, HQL,
Flink
SQL, J
ava API
...
Remote
clusterMulti -region
跨地域多Multi -syntax
数据语法多Multi -source
数据源多 OLTP OLAP Hadoo
pNoSQLOLTP OLAP Hadoo
pRemote
clusterNoSQL交互式查询 批查询
开发语言多、组件多、开发门槛高用数难1
数据分散,管理复杂,流动性差,查询效率低找数难2
跨源分析需要数据搬迁,效率不佳取数难3统一入口, 化繁为简, 单引擎支持多场景用数极简1
全局数据虚拟视图,高性能查询找数极速2
高效跨源 /跨域协同计算, 数据消费免搬迁取数高效3https://openlookeng.io
openLooKeng 统一高效的数据虚拟化引擎,让大数据变简单
跨域协同计算, 广域网的部署,局域网的体验内核增强,高性能查询统一入口, 化繁为简, 单一引擎支持多场景
跨源关联分析,数据消费零搬移
启发式 索引
动态过滤
算子下推
AA 高可用JDBC ODBC SQL REST统一数据访问接口
统一数据源连接框架引擎内核
数据中心 A 数据中心 B 数据中心 C
openLooKeng
融合分析
Data Source Connector Data Center Connector
……MySQL
PostgreSQLKafka
HBaseHive
CarbonData ORCParquethttps://openlookeng.io
openLooKeng :统一高效的数据虚拟化引擎
互联网 金融
安平 政府
基础设施 鲲鹏 昇腾数据集成、开发、作业调度
数据管理
与分析数据使能
openLooKeng 统一接口( SQL 2003 )
MySQL Hive Spark批| 流
即席ES HBase 3rdParty
电力 3大运营商
社区其他开源技术
https://openlookeng.io
openLooKeng 面对行业应用四大场景持续发力
痛点1:两个烟囱,两份数据,管理复杂HIVE
专题数据MySQL
批处理 交互式分析
专题数据批处理 SQL 交互式分析 SQL单引擎覆盖批 /交互式融合分析场景
ETL
痛点2:大数据量和高时效性的双重挑战难以满足实时数据分析场景
风险决策平台
实时计算决策服务
离线分析和挖掘平台决策分析平台
ES
HiveHBaseT+1 批量数据历史存档业务和规则管
理平台
T+1
批量数据流处理流事件
行业分析平台
全量数据导入跨数据源关联分析场景
HQL ANSI SQL
数据源
Hive数据源
MPPDB
痛点3:引擎接口不统一,编程模型复杂分析/查询
DC1
数据源
Hive SparkSQL前置机ISV分析平台分析/查询
DC2
数据源
Hive SparkSQL前置机ISV分析平台分析/查询跨域协同分析场景
共享交换平台
痛点4:工作流人工处理,难以支撑 T+0 分析https://openlookeng.io
Content
openLooKeng 是什么?
openLooKeng 的典型应用场景
openLooKeng 架构解析和关键特性
openLooKeng 开源策略及伙伴帮助计划https://openlookeng.io
即席服务提供秒级查询能力
业务场景 /需求
➢交互式 查询场景,目标是为 数据分析人员提供方便快
捷的即席查询能力 ,性能要求 较高, 秒级 查询
HDFS
大数据集群XXX 即席查询客户端
【效果】XXX 即席查询平台采用
openLooKeng 后:当前业务平滑过渡,
实现查询加速,查询响应提升至 秒级,平
均性能提升 2~10+倍,用户查询效率大大
提升HDFSHIVE/SparkXXX 即席查询客户端
大数据集群交互式分析性能慢 ⅹopenLooKeng
秒级交互式 分析√当前业务痛点
➢通过Hive 引擎来构建 即席查询 任务 ,查询时间 太长
(5分钟~2小时)性能不满足客户需求openLooKeng 价值
➢openLooKeng 提供秒级查询 能力,结果 准确率高,增
强了用户对海量数据的 分析能力
✓中间结果多次落盘
✓调度效率低✓启发式索引 +执行计划 Cache ,效率高
✓基于内存计算,无落 盘0100200300400
123456789101112131415161718192021222324POC查询性能对比
Lookeng(s) Hive(s)
安恒 罗旦 openLooKeng合作交流_引擎介绍 2022
文档预览
中文文档
31 页
50 下载
1000 浏览
0 评论
0 收藏
3.0分
温馨提示:本文档共31页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 SC 于 2023-03-04 11:18:06上传分享