kafka-eagle部署

• 1.下载 + 解压 +环境准备

  http://download.kafka-eagle.org/
  tar -zxvf 压缩包
  环境准备 ：Java环境 + mysql数据库
  

• 2.配置环境变量

  export JAVA_HOME=jdk目录
  export KE_HOME=/安装目录/kafka-eagle
  export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin
  

• 3.修改配置文件 /conf/system-config.properties
  • 修改说明：
  • 1.注释掉cluster2和cluster3的相关内容
  • 2.修改kafka只监控cluster1集群即可 --第一行
  • 3.-- cluster1.kafka.eagle.sasl.protocol 修改为 SASL_PLAINTEXT
  • 4.修改ke的jdbc用mysql
  • 5.配置ke连接的mysql的信息

#####################################
# multi zookeeper & kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=bd-01:2181,bd-02:2181,bd-03:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181
 
######################################
# broker size online list
######################################
cluster1.kafka.eagle.broker.size=20
 
######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25
######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048
 
######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
#cluster2.kafka.eagle.offset.storage=zk
 
######################################
# kafka metrics, 15 days by default
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=15
 
 
######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=true
 
######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin
 
######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.kafka.eagle.sasl.client.id=
cluster1.kafka.eagle.sasl.cgroup.enable=false
cluster1.kafka.eagle.sasl.cgroup.topics=
 
#cluster2.kafka.eagle.sasl.enable=false
#cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
#cluster2.kafka.eagle.sasl.mechanism=PLAIN
#cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
#cluster2.kafka.eagle.sasl.client.id=
#cluster2.kafka.eagle.sasl.cgroup.enable=false
#cluster2.kafka.eagle.sasl.cgroup.topics=
 
######################################
# kafka ssl authenticate
######################################
#cluster3.kafka.eagle.ssl.enable=false
#cluster3.kafka.eagle.ssl.protocol=SSL
#cluster3.kafka.eagle.ssl.truststore.location=
#cluster3.kafka.eagle.ssl.truststore.password=
#cluster3.kafka.eagle.ssl.keystore.location=
#cluster3.kafka.eagle.ssl.keystore.password=
#cluster3.kafka.eagle.ssl.key.password=
#cluster3.kafka.eagle.ssl.cgroup.enable=false
#cluster3.kafka.eagle.ssl.cgroup.topics=
 
######################################
# kafka sqlite jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://192.168.8.81:3306/kafka_eagle?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456
 
######################################
# kafka mysql jdbc driver address
######################################
#kafka.eagle.driver=com.mysql.jdbc.Driver
#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#kafka.eagle.username=root
#kafka.eagle.password=123456

• kafka开启jmx端口

vi /opt/kafka/bin/kafka-server-start.sh 
在export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"下方
添加一行export JMX_PORT="9999"然后重启kafka

• 5.使用运维

  ke.sh start	           启动Kafka Eagle系统
  ke.sh stop	           停止Kafka Eagle系统
  ke.sh restart	       重启Kafka Eagle系统
  ke.sh status	           查看Kafka Eagle系统运行状态
  ke.sh stats	           统计Kafka Eagle系统占用Linux资源情况
  ke.sh find [ClassName]  查看Kafka Eagle系统中的类是否存在