kafka安装使用教程-kafka入门-利志分享

kafka安装使用教程

阅读：821 分享次数：0

1：下载kafka

wget https://archive.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz
    tar -zxvf kafka_2.12-2.2.0.tgz 
    cd kafka_2.12-2.2.0/
	
2：启动服务
运行kafka需要使用zookeeper，所以你需要先启动zookeeper，如果你没有zookeeper，你可以使用kafka自带打包和配置好的zookeeper。启动命令如下：

> bin/zookeeper-server-start.sh config/zookeeper.properties
    OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
	
启动kafka服务

bin/kafka-server-start.sh config/server.properties &
	
等所有服务启动成功了，则表示kafka可以使用了。

3：使用kafka，创建一个主题（topic）
创建一个名为“test”的Topic，只有一个分区和一个备份：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
	
创建好之后，可以通过运行以下命令，查看已创建的topic信息：

bin/kafka-topics.sh --list --zookeeper localhost:2181
	test
	
4：发送消息
Kafka提供了一个命令行的工具，可以从输入文件或者命令行中读取消息并发送给Kafka集群。每一行是一条消息。
运行producer（生产者）,然后在控制台输入几条消息到服务器。

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
	
5：消费消息
Kafka也提供了一个消费消息的命令行工具，将存储的信息输出出来。

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
	
6：设置多个broker集群
到目前，我们只是单一的运行一个broker，线上一般都是多个broker。对于Kafka，一个broker仅仅只是一个集群的大小，所有让我们多设几个broker。

cp config/server.properties config/server-1.properties 
    cp config/server.properties config/server-2.properties
	
现在编辑这些新建的文件，设置以下属性

config/server-1.properties: 
        broker.id=1 
        listeners=PLAINTEXT://:9093 
        log.dir=/tmp/kafka-logs-1
    
    config/server-2.properties: 
        broker.id=2 
        listeners=PLAINTEXT://:9094 
        log.dir=/tmp/kafka-logs-2
		
broker.id是集群中每个节点的唯一且永久的名称，我们修改端口和日志目录是因为我们现在在同一台机器上运行，我们要防止broker在同一端口上注册和覆盖对方的数据。

我们上面已经运行了zookeeper和刚才的一个kafka节点，所有我们只需要在启动2个新的kafka节点。

bin/kafka-server-start.sh config/server-1.properties &
    bin/kafka-server-start.sh config/server-2.properties &
	
现在，我们创建一个新topic，把备份设置为：3

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
	
好了，现在我们已经有了一个集群了，我们怎么知道每个集群在做什么呢？运行命令“describe topics”

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
    Topic:my-replicated-topic    PartitionCount:1    ReplicationFactor:3    Configs:
    Topic: my-replicated-topic    Partition: 0    Leader: 1    Replicas: 1,2,0    Isr: 1,2,0
	
输出解释：第一行是所有分区的摘要，其次，每一行提供一个分区信息，因为我们只有一个分区，所以只有一行。

"leader"：该节点负责该分区的所有的读和写，每个节点的leader都是随机选择的。
"replicas"：备份的节点列表，无论该节点是否是leader或者目前是否还活着，只是显示。
"isr"：“同步备份”的节点列表，也就是活着的节点并且正在同步leader。

感觉本站内容不错，读后有收获？

我要小额打赏，鼓励作者写出更好的教程

扫码关注公众号：talk_lizhi