信息来源

自我介绍

梁李印

滴滴出行-大数据架

1. 2010~2014年阿里巴巴Hadoop集群（云梯）负责人之一

2. 2014~2016年负责阿里云分布式图计算框架研发

3. 2017年加入滴滴，目前负责实时计算

滴滴有着丰富的实时数据及计算场景

1. 滴滴核心业务是一个在线交易系统

2. 滴滴有丰富的实时轨迹数据

3. 滴滴率先完成了数据链路实时化改造

存在问题

缺乏一站式实时计算平台是业务痛点之一

01 实时计算服务体系

实时计算服务体系

1. 流计算+实时存储or消息队列

2. 流计算+实时OLAP

Spark Streaming模型

1.Micro-Batch模式、秒级延时

2.使用场景：数据清洗、数据通道、数据ETL等

3.对于熟悉Spark批处理的RD非常容易上手

Flink Streaming模型

独立构建流计算集群

1. 避免离线业务干扰

2. 与在线业务、Kafka、MQ等相同机房，延时低

3. 提供部分虚拟机作为公共测试任务机器

4. 按照计算队列（queue）分配资源和计费

流计算资源隔离机制

Web化管控流计算任务

1. 通过网页提交及管理任务

2. 没有客户机的烦恼

3. 内置参数调优及最佳实践

流计算任务级监控大盘

1. 重要指标实时可视化监控

2. 存活报警、基于指标的报警

流计算任务诊断体系

1. 通过Spark或Flink UI查看日志（定制优化版本）

2. 通过ES检索日志（日志实时上报ES）

3. 通过Hive或Spark分析日志（日志已上报HDFS）

4. HiveSparkStreamingES未来提供在线Local调试模式

流计算业务规模

1. 集群规模：约500台机器，平均CPU利用率：20%

2. 流计算任务数：约600

3. 服务于快车、专车、顺风车、安全部、运维部等各个业务部门

Druid模型

1. 实时数据存储及多维度聚合计算引擎

2. 低延时数据写入（直接消费kafka），数据实时可见

3. 快速交互式查询（99%查询1秒内返回）

4. 支持SQL及DSL两种查询语言

5. 历史节点客户端适用场景：实时报表、实时监控

Druid集群建设

1. 异地双活部署

2. 通过网关建设实现多集群对业务透明

Druid数据接入体系

1. Web化操作

2. 选择kafka集群、选择kafka topic、选择维度列、指标列和时间列

Druid数据查询体系

1. 支持Web化构建监控指标及监控视图

2. 支持拖拽式分析数据

3. 支持Web写Druid SQL分析数据

4.支持通过RESTful API查询Druid（业务方自建平台）

Druid业务规模

1. 集群规模：120台（双活集群）

2. 接入数据源：250+

3. 每天查询量：百万级别

4. 支撑了公司核心的业务监控

实时计算服务体系总结

1. 独立建设流计算集群

2. 支持NodeLabel资源隔离体系

3. Spark Streaming应用于高吞吐场景

4. Flink Streaming应用于低延时场景

5. Druid异地双活集群，支撑了核心业务监控与报警

02 实时计算平台简介

平台定位

1. 一站式实时计算开发套件

2. 流计算任务开发及管控

3. 开放实时报表/监控能力，用户自助服务

4. 实时数据分析及可视化能力

流计算任务开发

流计算任务开发规划

实时报表及监控开发

实时数据分析及可视化

实时计算平台总结

1. 一站式实时计算开发套件

2. 流计算开发、监控与构建、实时数据分析与可视化

3. 实时计算服务唯一入口

02 实时计算应用案例

实时数据清洗&通道

业务实时监控与报表

1.清洗后的数据进入Druid

2.80%查询通过Druid SQL

3.通过DSL描述更复杂的计算，如PostAggregator、分位数、直方图、

Javascript等

智能客服大屏

采用流计算实时监控

1. 在流计算中执行聚合计算

2. 适用于较复杂的聚合逻辑

3. 应用于网关请求监控、过车指标分析等场景

网关日志监控

实时业务-乘客位置语义推送

1.订单流和乘客流实时join

2.乘客位置变化推送给司机端，准确率94%

3.减少司乘沟通成本，提升接驾效率

实时规则引擎

1. 实时精准运营

2. 精准发放优惠劵

3. 研发中

实时计算应用案例总结

1. 实时数据清洗、数据通道、数据ETL

2. 核心业务指标实时报表及监控

3. 实时日志监控及报表

4. 实时业务

04 实时计算发展规划

业务规划

其实电信 尤其是实时计费方面系统，订单，资费

也滴滴业务很多类似 尤其运维部署方面更加多年优势 但是最后差别很大

区别就是 跟租房和买房装修投入不一样

在遇到技术问题采取解决方式不一样。