kafka管理界面 kafka-eagle admin 2023-09-01 16:06:02 篇首语:本文由小编为大家整理,主要介绍了kafka管理界面 kafka-eagle相关的知识,希望对你有一定的参考价值。 参考技术A 给kafka配一个web版的管理页面或仪表盘,管理起来更加方便 解压缩包重命名目录 配置环境变量 更新环境变量 修改Kafka-Eagle配置文件 启动kafka-eagle 启动成功打印日志如下; 如果出现错误,请查看日志日志是否出问题 tailf ../log/log.log 如果没问题,则直接登录 Kafka系统默认是没有开启JMX端口的,所以Kafka Eagle的监控趋势图默认采用不启用的方式,即kafka.eagle.metrics.charts=false。如果需要查看监控趋势图,需要开启Kafka系统的JMX端口,设置该端口在$KAFKA_HOME/bin/kafka-server-start.sh脚本中,设置内容如下: Kafka Eagle系统会自动获取这个JMX端口,采集结果如下: Kafka--07---kafka集群中的controllerrebalanceHW 和 Kafka-eagle监控平台 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 kafka集群中的controller、rebalance、HW1.controller1.1 集群中谁来充当controller每个broker启动时会向zk创建⼀个临时序号节点,获得的==序号最⼩==的那个broker将会作为集群中的controller 1.2 controller的主要作用 2.rebalance机制2.1 前提2.2 触发的条件2.3 分区分配的策略 3.HW 和 LEOLEO:HW :规则 Kafka-eagle监控平台kafka-eagle官⽹http://www.kafka-eagle.org/# 搭建平台的使⽤ kafka集群中的controller、rebalance、HW 1.controller 1.1 集群中谁来充当controller 每个broker启动时会向zk创建⼀个临时序号节点,获得的序号最⼩的那个broker将会作为集群中的controller 1.2 controller的主要作用 当集群中有⼀个副本的leader挂掉,需要在集群中选举出⼀个新的leader,选举的规则是从isr集合中最左边获得。当集群中有broker新增或减少,controller会同步信息给其他broker当集群中有分区新增或减少,controller会同步信息给其他broker 2.rebalance机制 2.1 前提 消费组中的消费者没有指明分区来消费 2.2 触发的条件 当消费组中的消费者和分区的关系发⽣变化的时候 消费者挂了新增消费者 2.3 分区分配的策略 range: 根据公示计算得到每个消费消费哪⼏个分区:前⾯的消费者是分区总数/消费 者数量+1,之后的消费者是分区总数/消费者数量轮询:⼤家轮着来sticky:粘合策略, 如果需要rebalance,会在之前已分配的基础上调整,不会改变之 前的分配情况。如果这个策略没有开,那么就要进⾏全部的重新分配。建议开启。 3.HW 和 LEO LEO: 是某个副本最后消息的消息位置(log-end-offset) HW : HW俗称⾼⽔位,HighWatermark的缩写,取⼀个partition对应的ISR中最⼩的LEO(log-endoffset) 作为HWconsumer最多只能消费到HW所在的位置 规则 HW是已完成同步的位置。消息在写⼊broker时,且每个broker完成这条消息的同步后,hw才会变化。在这之前消费者是消费不到这条消息的。在同步完成之后,HW更新之后,消费者才能消费到这条消息,这样的⽬的是防⽌消息的丢失。 Kafka-eagle监控平台 kafka-eagle官⽹ http://www.kafka-eagle.org/# 搭建 官网下载压缩包 http://download.kafka-eagle.org/分配⼀台虚拟机虚拟机中安装jdk解压缩kafka-eagle的压缩包给kafka-eagle配置环境变量 export KE_HOME=/usr/local/kafka-eagleexport PATH=$PATH:$KE_HOME/bin 需要修改kafka-eagle内部的配置⽂件: vim system-config.properties 修改⾥⾯的zk的地址和mysql的地址进⼊到bin中,通过命令来启动 ./ke.sh start 平台的使⽤ 以上是关于kafka管理界面 kafka-eagle的主要内容,如果未能解决你的问题,请参考以下文章 ardc投屏显示电脑未被授权怎么解决 mac 怎么用远程桌面连接windows 您可能还会对下面的文章感兴趣: 相关文章 浏览器打不开网址提示“ERR_CONNECTION_TIMED_OUT”错误代码的解决方法 如何安装ocx控件 VMware的虚拟机为啥ip地址老是自动变化 vbyone和EDP区别 linux/debian到底怎么重启和关机 苹果平板键盘被弄到上方去了,如何调回正常? 机器学习常用距离度量 如何查看kindle型号