前言:
此刻我们对“centos6kafka”大概比较看重,朋友们都需要了解一些“centos6kafka”的相关文章。那么小编在网络上网罗了一些有关“centos6kafka””的相关资讯,希望大家能喜欢,小伙伴们快快来学习一下吧!Apache Kafka是由Apache软件基金会开发的一个开源消息系统项目,由Scala写成。Kafka最初是由LinkedIn开发,并于2011年初开源。
该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
Kafka是一个分布式的、分区的、多复本的日志提交服务。它通过一种独一无二的设计提供了一个消息系统的功能。
日前,Apache Kafka 2.0.0 正式发布,超过30%的世界500强公司已经在使用Kafka。
Kafka的特性:
(1)高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作;
(2)可扩展性:kafka集群支持热扩展;
(3)持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失;
(4)容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败);
(5)高并发:支持数千个客户端同时读写;
(6)支持实时在线处理和离线处理:可以使用Storm这种实时流处理系统对消息进行实时进行处理,同时还可以使用Hadoop这种批处理系统进行离线处理;
Kafka的使用场景:
(1)日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer,例如hadoop、Hbase、Solr等。
(2) 消息系统:解耦和生产者和消费者、缓存消息等。
(3)用户活动跟踪:Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到hadoop、数据仓库中做离线分析和挖掘。
(4) 运营指标:Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告。
(5)流式处理:比如spark streaming和storm
(6)事件源
Kafka的基本配置和运行:
Kafka支持Linux和WIndows环境,本文运行环境使用Linux(CentOS)。
Kafka官方地址为:
Kafka官方文档非常的详细,提供的快速入门也很友好,虽然是英文的,但是看命令就能明白,快速入门地址为:。下面内容基本摘自官方快速入门,建议对比英文原版了解更多。
1. 下载代码
首先从下面地址下载 Kafka,当前最新的版本为 2.0.0。
下载完成后,解压压缩包并进入Kafka目录:
2. 启动服务器
启动ZooKeeper
Kafka使用ZooKeeper,所以您需要先启动一个ZooKeeper服务器,如果您还没有。您可以使用随Kafka一起打包的便捷脚本来获取一个快速但是比较粗糙的单节点ZooKeeper实例。
这个 zookeeper中主要就3个配置:
我们需要记住zookeeper的端口 2181,在后面会用到。
Kafka基本配置
Kafka在config目录下提供了一个基本的配置文件。为了保证可以远程访问Kafka,我们需要修改两处配置。
打开config/server.properties文件,在很靠前的位置有listeners和 advertised.listeners两处配置的注释,去掉这两个注释,并且根据当前服务器的IP修改如下:
当前服务器IP为192.168.16.150,你需要修改为外网或局域网可以访问到的服务器IP。
启动Kafka
接下来启动Kafka服务:
创建 Topic
使用下面的命令创建 Topic。
除了命令方式外,使用后面介绍的Kafka-manager可以更方便的创建。
启动一个消费者
在一个新的终端执行下面的命令。
这个消费者就是简单的将消息输出到控制台。
启动生产者
启动后,可以输入内容,然后回车。
此时你应该可以在上一个消费者中看到有消息输出。
到此关于Kafka的基本命令就结束了。
对编程感兴趣,想了解更多的编程知识,关注头条号一起玩转编程
更多编程资讯、干货持续更新中~
标签: #centos6kafka