| 失效链接处理 |
|
kafka学习(fn) PDF 下蝲
本站整理下蝲Q?/strong>
链接Q?a target="_blank">https://pan.baidu.com/s/1dFiGtWODstoCKSpn55Pz3g
提取码：(x)dk23
相关截图Q?/strong>
主要内容Q?/strong>
1、Kafka?/div>
Kafka是一个开源的分布式消息引?消息中间Ӟ同时Kafka也是一个流处理q_。Kakfa支持以发?订阅的方式在应用间传递消息，同时q基于消息功能添加了(jin)Kafka Connect、Kafka Streams以支持连接其他系l的数据(Elasticsearch、Hadoop{?
Kafka最核心(j)的最成熟的还是他的消息引擎，所以Kafka大部分应用场景还是用来作为消息队列削峰^谗另外，Kafka也是目前性能最好的消息中间件?/div>
2、Kafka架构
在Kafka集群(Cluster)中，一个Kafka节点是一个BrokerQ消息由Topic来承载，可以存储?个或多个Partition中。发布消息的应用为Producer、消Ҏ(gu)息的应用为ConsumerQ多个Consumer可以?j)成Consumer Group共同消费一个Topic中的消息?/div>
概念/对象 单说?/div>
Broker Kafka节点
Topic 主题Q用来承载消?/div>
Partition 分区Q用于主题分片存?/div>
Producer 生者，向主题发布消息的应用
Consumer 消费者，从主题订阅消息的应用
Consumer Group 消费者组Q由多个消费者组?/div>
3、准备工?/div>
Kafka服务?/div>
准备3台CentOS服务器，q|好?rn)态IP、主机名
Kakfa集群需要依赖ZooKeeper存储Broker、Topic{信息，q里我们部v三台ZK
192.168.218.101 Kafka节点1 zk
192.168.218.102 Kafka节点2 zk
192.168.218.103 Kafka节点3 zk
安装部v好kafka之后Q查看kafka_2.11-1.1.0/config/server.propertiesQ配|以下内?/div>
讄broker.idq里是用于投选DQ每个节点的数字不一?/div>
讄kafka日志存放目录
讄监听端口
以上讄除了(jin)broker.id 监听端口ip需要修改，其余不用修改?/div>
附：(x)kafka常用配置
4 启动kafka
/bin/kafka-server-start.sh config/server.properties &
在k8s集群中启动kafka的pod,启动三台Qbroker-0/broker-1/broker-2
1、kafka服务启动Q?/kafka-server-start.sh ../config/server.properties
-daemon表示?rn)默方式启?/div>
2、查看有哪些主题Q?./kafka-topics.sh --list –zookeeper chen-1:2181,chen-2:2181,chen-3:2181
3、创建topicQ?/kafka-topics.sh --create --zookeeper chen-1:2181,chen-2:2181,chen-3:2181 --replication-factor 1 --partitions 1 --topic chen
4、查看topic的详l信息：(x)./kafka-topics.sh –zookeeper chen-1:2181,chen-2:2181,chen-3:2181 -describe -topic chen
5、kafka生者客L(fng)命o(h)Q?/kafka-console-producer.sh --broker-list chen-1:9092 --topic chen 生者端可以产生数据供消费者消?/div>
6、kafka消费者客L(fng)命o(h)Q?/kafka-console-consumer.sh --bootstrap-server chen-2:9092
--topic chen
./kafka-console-consumer.sh --bootstrap-server chen-3:9092 --from-beginning --topic chen
--from-beginning参数可以从头开始消Ҏ(gu)?/div>
此时q入zookeeper客户端，可看到在zk中已l存储了(jin)和kafka相关的数?/div>
__consumer_offsets表示记录消费的偏U量
7、删除topicQ?/kafka-topics.sh --zookeeper zk服务IP:2181 --delete --topic WordCountQ注Q不能真正删除topic只是把这个topic标记为删除（marked for deletionQ，要彻底把topic删除必须把kafka中与当前topic相关的数据目录和zookeeper中与当前topic相关的\径一q删除。）(j)
5 消费者组QConsumer GroupQ?/div>
消费者组是Kafka实现单播和广播两U消息模型的手段。同一个topicQ每个消费者组都可以拿到相同的全部数据?/div>
讄consumer.properties文g
|
| Java1234官方?5Q?/td> | 
|
| Java1234官方?5Q?/td> | 838462530 |
苏公|安?32061202001004?/p>
