前言：
如今姐妹们对“kylin 大数据架构”大体比较注重，同学们都需要剖析一些“kylin 大数据架构”的相关知识。那么小编同时在网摘上搜集了一些有关“kylin 大数据架构””的相关内容，希望朋友们能喜欢，小伙伴们一起来了解一下吧！一、技术选型
针对实际业务场景，选择合适的技术。
数据采集传输：Flume，Kafka，Logstash，DataX，Sqoop数据存储：HDFS，HBase，Hive，MySQL，S3数据计算：MapReduce，Tez，Spark，Storm，Flink数据查询：Drill，Presto，Impala，Kylin
二、系统架构图
日志文件 | MySQL数据表 -->分别由Flume| Sqoop 处理 --> Kafka | HDFS 存储落地；
资源管理由Yarn统一调度；
Hive | Presto | Kylin 负责数据查询;
Oozie | Azkaban 任务调度器；
最后实现可视化展示；
三、系统数据流程
Web/App埋点行为数据 -->log日志服务器 -->logFile格式 -->Flume生产 -->Kafka可以接实时数据、或者Elasticsearch存储 -->Flume消费 -->HDFS存储
业务交互 -->Nginx实现负载均衡 --> Spring Boot业务服务器 -->MySQL 业务数据库 -->Sqoop -->HDFS -->Hive数仓 --> 把结果存储到MySQL
（此处已添加圈子卡片，请到今日头条客户端查看）
版权声明：
本站文章均来自互联网搜集，如有侵犯您的权益，请联系我们删除，谢谢。
标签： #kylin 大数据架构 #mysql大数据设计
