利志分享
fast_forward
view_headline
开发工具箱
go教程
clickhouse教程
kafka教程
python教程
shell教程
原创杂文
打赏
开发工具箱
go教程
clickhouse教程
kafka教程
python教程
shell教程
原创杂文
打赏
kafka入门
kafka安装使用教程
kafka的架构设计
Kafka 消费组 Rebalance机制
全网最通俗易懂的Kafka图解入门
深入kafka的幂等性和事务
kafka深入
聊聊kafka的生成和消费的问题
go的kafka生产和消费
全网最通俗易懂的Kafka图解新建Topic,写入消息的原理
关于Kafka,你必须要知道的offset知识。
Kafka的Producer实现原理剖析
一次线上kafka磁盘扩容引发的事故分析
目录
kafka入门
kafka安装使用教程
kafka的架构设计
Kafka 消费组 Rebalance机制
全网最通俗易懂的Kafka图解入门
深入kafka的幂等性和事务
kafka深入
聊聊kafka的生成和消费的问题
go的kafka生产和消费
全网最通俗易懂的Kafka图解新建Topic,写入消息的原理
关于Kafka,你必须要知道的offset知识。
Kafka的Producer实现原理剖析
一次线上kafka磁盘扩容引发的事故分析
kafka安装使用教程
阅读:3536
分享次数:0
1:下载kafka wget https://archive.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz tar -zxvf kafka_2.12-2.2.0.tgz cd kafka_2.12-2.2.0/ 2:启动服务 运行kafka需要使用zookeeper,所以你需要先启动zookeeper,如果你没有zookeeper,你可以使用kafka自带打包和配置好的zookeeper。启动命令如下: > bin/zookeeper-server-start.sh config/zookeeper.properties OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N 启动kafka服务 bin/kafka-server-start.sh config/server.properties & 等所有服务启动成功了,则表示kafka可以使用了。 3:使用kafka,创建一个主题(topic) 创建一个名为“test”的Topic,只有一个分区和一个备份: bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 创建好之后,可以通过运行以下命令,查看已创建的topic信息: bin/kafka-topics.sh --list --zookeeper localhost:2181 test 4:发送消息 Kafka提供了一个命令行的工具,可以从输入文件或者命令行中读取消息并发送给Kafka集群。每一行是一条消息。 运行producer(生产者),然后在控制台输入几条消息到服务器。 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 5:消费消息 Kafka也提供了一个消费消息的命令行工具,将存储的信息输出出来。 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning 6:设置多个broker集群 到目前,我们只是单一的运行一个broker,线上一般都是多个broker。对于Kafka,一个broker仅仅只是一个集群的大小,所有让我们多设几个broker。 cp config/server.properties config/server-1.properties cp config/server.properties config/server-2.properties 现在编辑这些新建的文件,设置以下属性 config/server-1.properties: broker.id=1 listeners=PLAINTEXT://:9093 log.dir=/tmp/kafka-logs-1 config/server-2.properties: broker.id=2 listeners=PLAINTEXT://:9094 log.dir=/tmp/kafka-logs-2 broker.id是集群中每个节点的唯一且永久的名称,我们修改端口和日志目录是因为我们现在在同一台机器上运行,我们要防止broker在同一端口上注册和覆盖对方的数据。 我们上面已经运行了zookeeper和刚才的一个kafka节点,所有我们只需要在启动2个新的kafka节点。 bin/kafka-server-start.sh config/server-1.properties & bin/kafka-server-start.sh config/server-2.properties & 现在,我们创建一个新topic,把备份设置为:3 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic 好了,现在我们已经有了一个集群了,我们怎么知道每个集群在做什么呢?运行命令“describe topics” bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0 输出解释:第一行是所有分区的摘要,其次,每一行提供一个分区信息,因为我们只有一个分区,所以只有一行。 "leader":该节点负责该分区的所有的读和写,每个节点的leader都是随机选择的。 "replicas":备份的节点列表,无论该节点是否是leader或者目前是否还活着,只是显示。 "isr":“同步备份”的节点列表,也就是活着的节点并且正在同步leader。
感觉本站内容不错,读后有收获?
attach_money
我要小额打赏,鼓励作者写出更好的教程
扫码关注公众号:talk_lizhi