本文目录一览：
docker-compose多服务器部署KRaft模式的kafka集群
1、为了部署Kafka服务，你需要在每个服务器上创建特定目录，开放必要的端口，如9099093（用于Kafka）和9091（在914131上）。每个服务器上都有对应的docker-compose.yml文件，配置Kafka实例、数据目录和网络连接。特别注意内网IP的使用，若无法内网通信，可使用外网IP。
2、前两个配置监听器协议与地址，而KAFKA_CFG_ADVERTISED_LISTENERS则指定客户端连接集群的地址，通常应设置为集群的外网地址，确保外网可连接。选择bitnami版本的镜像，因其较为精简且支持基本功能。部署时，可手动创建Docker网络并指定网络运行容器，或利用DockerComposeFile更便捷地进行配置。
3、在Kraft模式下，Kafka集群将依赖自身的内部元数据管理，而不需要外部Zookeeper服务。通过以上步骤，你可以在Golang中使用Sarama包生产Kafka消息，并通过Docker部署一个采用Kraft模式的Kafka集群。这有助于构建高效、可扩展的消息处理系统。
4、对于Kafka 0版本，启动时需要以用户1001来运行容器，以确保所有权限和安全性的正确设置。这可以通过在dockercompose文件中设置用户参数来实现。启动Kafka集群：使用dockercompose命令启动Kafka集群。例如，运行dockercompose up d命令以后台模式启动所有服务。
5、为了配置启动Kafka 0集群，请先对环境进行设置，确保每台Kafka主机的hosts文件得到正确配置。接着，需对Kafka配置文件进行调整。明确各Kafka主机的端口对应关系至关重要。
利用docker和docker-compose部署单机kafka
部署单机 Kafka 的方式包括使用 Docker 和 Docker Compose，尽管 Docker 组合使用 Docker Compose 不是必需的，但本文主要探讨两者之间的差异和优势。使用 Docker 部署 Kafka 相当直接。只需执行两条命令即可完成 Kafka 服务器的部署。由于 Kafka 需要与 Zookeeper 协作工作，因此需要部署 Zookeeper。
在/home/kafka目录下运行docker-compose up -d启动Kafka服务，同时在914131的/kafka-ui目录下启动UI服务。你可以通过docker ps和docker log检查服务状态和日志。最后，通过Spring Boot应用连接到914131的9092端口，使用配置的vuser和vuserpwd123进行访问。
对于Kafka 0版本，启动时需要以用户1001来运行容器，以确保所有权限和安全性的正确设置。这可以通过在dockercompose文件中设置用户参数来实现。启动Kafka集群：使用dockercompose命令启动Kafka集群。例如，运行dockercompose up d命令以后台模式启动所有服务。
使用GitHub下载或clone包含dockercompose配置文件的Kafka+Zookeeper项目源代码。配置dockercompose文件：调整dockercomposesinglebroker.yml文件，确保KAFKA_ADVERTISED_HOST_NAME设置为localhost，以便Kafka服务能够正确广播其地址。
kafka消费者如何在linux命令行后台执行?
1、**基础环境准备**：在Ubuntu 203 LTS虚拟机上安装Docker。检查Docker是否已安装，若未安装，使用命令安装Docker。确保Linux发行版支持Kafka部署。 **安装Zookeeper**：Zookeeper是Kafka依赖的服务，为Kafka提供分布式协调服务。通过Docker拉取并安装Zookeeper集群。执行命令自动拉取Zookeeper镜像。
2、**检查Kafka服务**：`check_kafka`函数用于验证进程ID文件是否存在且进程是否仍在运行。如果服务未运行，则执行启动操作。 **启动Kafka服务**：`start_kafka`函数使用`nohup`命令在后台启动Kafka，同时将输出重定向至日志文件。启动成功后，脚本会记录进程ID。
3、安装完成后，启动zookeeper和kafka服务。编写启动和停止脚本，并确保服务能够在系统启动时自动运行。使用Kafka非常简单。在shell中，你可以创建topic，启动消费者进程来监听特定topic，开启生产进程推送消息到指定topic。消息传输后，消费者进程会接收到信息。
4、在Linux系统中，要了解某一进程所占用的内存，首先可以通过执行ps命令来查找目标进程，例如输入ps -ef | grep kafka，这将显示出kafka进程的详细信息，从中找到进程id，如2913。
5、创建一个需要增加备份因子的topic列表的文件，文件格式是json格式的。使用kafka官方提供的工具拿到上面topic的partions 分布情况，并重定向到文件中。修改ressgintopic.conf 文件的，手动分配新增加的partion 备份因子。
6、RAID可以在其他方面提供支持，如提高数据读写速度和容错能力。Kafka的集群参数配置 关键参数：如消息留存时间和磁盘容量等，需要根据业务需求进行计算和配置。这些参数的设置将直接影响到Kafka集群的性能和稳定性。 JDK版本：推荐使用JDK8及以上版本运行Kafka，以确保兼容性和性能。
