sink负载均衡和故障转移使用疑惑

两个sink是在同一个flume上配置如果bigdata04挂了不是还是解决不了故障和负载均衡问题么？

收起

1回答

徐老师回答被采纳获得+3积分 2020-09-05 21:32:00

是的，目前这种架构解决不了你说的这种问题

不过等后面学了kafka以后就可以了，可以在两台机器上启动两个flume Agent读取kafka中的同一个topic的数据，这样就算有一台机器挂了，也不会影响整个流程的，这种架构就不存在这种问题了

GRdreamflying 提问者 #1

那这种单机的负载和故障转移有什么作用使用的意义是啥？工作中什么场景有用到

2020-09-06 07:24:07
徐老师回复提问者 GRdreamflying #2

现在这种架构里面的故障转移和负载均衡还是可以实现对应的功能的，只是针对前面第一个agent而言还是存在单点故障具体应用场景是这种的，以故障转移来说，第一个agent 1后面接了两个agent2 agent3之后，如果由于网络原因导致agent2中的sink连不上hdfs(假设用的是hdfssink)，那么此时agent3可以接管过来往hdfs里面写数据如果没有用到这种故障转移的方案，agent1如果在连接hdfs的时候只要出现点问题就会导致数据写不上去，现在这种方案agent1直接通过网络端口往后面传输数据，出现传输失败的概率是极低的，这样就把出现问题的概率转嫁到agent2和agent3上了负载均衡也是同理，将agent1中向外写数据的压力转嫁给了agent2和agent3，其实这个时候还可以在agent2和agent3内部使用过滤器拦截器做一些数据处理，也不会出现性能压力

2020-09-06 07:56:55
GRdreamflying 提问者回复徐老师 #3

第一个agent能不能使用lvs+ha的方式解决单点故障问题

2020-09-06 08:21:08