kafka学习总结三

bin/kafka-topics.sh  --bootstrap-server  hadoop102:9092  --create   --topic   atguigu2   --partitions  4  --replication-factor 4

2.常用命令行
  1）主题  kafka-topic.sh
      1.--bootstrap-server  hadoop102:9092,hadoop103:9092
      2.--topic  first
      3.--create
      4.--delete
      5.--alter
      6.--list
      7.--describe
      8.--partitions
      9.--replication-factor
 2)生产者  kafka-console-producer.sh
      1.--bootstrap-server  hadoop102:9092,hadoop103:9092
      2.--topic  first
 3)消费者  kafka-console-consumer.sh
      1.--bootstrap-server  hadoop102:9092,hadoop103:9092
      2.--topic  first

外部共享，hadoop和kafka共享zk

一.概述
1.定义
   1）传统定义
      分布式：发布订阅，消息队列
      发布订阅:分为多种类型，订阅者根据需求，选择性订阅
   2）最新定义
      流平台（存储，计算）
2.消息队列应用场景
   1）缓存消峰
   2）解耦
   3）异步通信
3.两种模式
   1）点对点
      1.一个生产者
      2.一个消费者
      3.一个topic
      4.会删除数据
      5.使用场景不多
   2）发布订阅
      1.多个生产者
      2.多个消费者
      3.消费者和生产者相互独立
      4.多个topic
      5.不会删除数据
4.架构
  1）生产者
     100T数据
  2)broker
      1.broker对应服务器，hadoop100,hadoop101,hadoop102
      2.topic 主题  对数据分类
      3.分区
      4.可靠性  副本
      5.leader,follower
      6.生产者和消费者 只针对leader操作

3）消费者
  （1）消费者和消费者相互独立
  （2）消费者组（某个分区，只能由一个消费者消费）
4）zookeeper
  （1）broker.ids  0 1 2
  （2）leader