福和思

foxhello

0%

kafka 安装使用

发表于 分类于 ， 阅读次数：

kafka专题

kafka安装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
## 下载后解压安装
tar -xzf kafka_2.13-3.2.1.tgz
cd kafka_2.13-3.2.1

## 启动zookeeper、kafka
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties

## 创建topic并检查
bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092
### 查看所有topic
bin/kafka-topics.sh  --bootstrap-server localhost:9092 --list

## 生产者-消费者
bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

kafka 可视化界面管理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
tar zxvf kafka-eagle-bin-3.0.0.tar.gz 
cd kafka-eagle-bin-3.0.0
tar zxvf efak-web-3.0.0-bin.tar.gz 
cd efak-web-3.0.0

vi /etc/profile
export KE_HOME=~/soft/kafka-eagle-bin-3.0.0/efak-web-3.0.0
export PATH=.:$PATH:$KE_HOME/bin
source /etc/profile

vi system-config.properties 
## 修改相关配置
efak.zk.cluster.alias=cluster1
cluster1.zk.list=localhost:2181
efak.url
efak.password

./ke.sh start
localhost:8048
admin/123456

问题1: 不能看到消息内容
进入topic后，有个眼睛，预览功能

springboot 整合

鉴权

运维

问题1: 如何保证消息不丢失
问题2: 如何保证不重复消费
问题3:

附录

  1. kafka 官网
  2. kafka-eagle 官网
  3. kafka-eagle github
  4. Kafka三种可视化监控管理工具Monitor/Manager yahoo/Eagle
  5. Kafka-Manager github
  6. springboot整合kafka
  7. spring-kafka版本支持