负载均衡和故障转移问题

老师，如何判断某个节点负载了？如何判断某个节点挂了呢？

a小灰辉z 2021-09-01

源自：Flume从0到高手一站式养成记 3-3 Flume高级组件之Sink Processors

11

收起

1回答

徐老师 2021-09-01 11:37:37

针对课程中讲的负载方案，sink组内会把数据发送给bigdata02和bigdata03，那么可以查看bigdata02和bigdata03的hdfssink路径，每一个hdfssink都会产生一个临时文件，只要是有两个临时文件，就说明负载均衡了。

判断某个节点是否挂了，需要监控flume的agent进程（其实就是一个java进程），课程4-3小节中讲了如何监控flume的进程

提问者 a小灰辉z #1

好的谢谢老师

2021-09-01 11:48:34
徐老师回复提问者 a小灰辉z #2

不客气。。

2021-09-01 11:49:24

相似问题

sink负载均衡和故障转移使用疑惑

k8s负载均衡器问题

服务端负载均衡和客户端负载均衡

关于自定义负载均衡/灰度发布/如何平滑的下线一个服务-的问题

负载均衡问题

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载