前言:
今天朋友们对“elk监控服务器”大体比较着重,看官们都需要学习一些“elk监控服务器”的相关知识。那么小编在网上收集了一些对于“elk监控服务器””的相关知识,希望兄弟们能喜欢,你们快快来学习一下吧!服务介绍
随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博,微盘,云存储,弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志。
技术架构
简单介绍一下服务的技术架构:
这是一个最简单最普通的架构:
(1)Flume:分布式的日志收集系统,它将各个服务器中的数据收集起来并送到指定的地方去。
(2)Kafka:接收用户日志的消息队列
(3)Logstash:做日志解析,统一成json输出给Elasticsearch
(4)Elasticsearch:实时日志分析服务的核心技术,一个schemaless,实时的数据存储服务,通过index组织数据,兼具强大的搜索和统计功能。
(5)Kibana:基于Elasticsearch的数据可视化组件,超强的数据可视化能力是众多公司选择ELK stack的重要原因。
标签: #elk监控服务器 #flume如何实时收集日志