龙空技术网

一张图带你认识「日志处理--Flume、Kafka、监控ELK」

快乐生活你我 1009

前言:

今天朋友们对“elk监控服务器”大体比较着重,看官们都需要学习一些“elk监控服务器”的相关知识。那么小编在网上收集了一些对于“elk监控服务器””的相关知识,希望兄弟们能喜欢,你们快快来学习一下吧!

服务介绍

随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博,微盘,云存储,弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志。

技术架构

简单介绍一下服务的技术架构:

这是一个最简单最普通的架构:

(1)Flume:分布式的日志收集系统,它将各个服务器中的数据收集起来并送到指定的地方去。

(2)Kafka:接收用户日志的消息队列

(3)Logstash:做日志解析,统一成json输出给Elasticsearch

(4)Elasticsearch:实时日志分析服务的核心技术,一个schemaless,实时的数据存储服务,通过index组织数据,兼具强大的搜索和统计功能。

(5)Kibana:基于Elasticsearch的数据可视化组件,超强的数据可视化能力是众多公司选择ELK stack的重要原因。

标签: #elk监控服务器 #flume如何实时收集日志