老师，您视频里说数据是100条100条的的写入的，为什么我这里好像是实时的呀？

蒋昌魁 2023-07-19

源自：Flume从0到高手一站式养成记 2-3 案例：采集网站日志上传至HDFS

10

收起

1回答

提问者蒋昌魁 2023-07-19 16:48:13

我自己尝试了下，在配置文件中加入hdfs.batchSize的值，但是依然是实时的，感觉这个参数似乎失效了一样

徐老师 #1

我在视频里面说的是avrosink是每次输出100条数据，不够的话不输出。没有说hdfssink。

hdfs中的batchsize其实控制的是hdfssink每次向hdfs中写数据时的最大数据条数，也就是说每次向hdfs文件中写数据，最多是batchsize条数，如果实际数据条数小于batchsize，则按照实际的数据条数写数据。

2023-07-19 20:47:46
提问者蒋昌魁回复徐老师 #2

哦，avrosink我在配置中也没有设置batchsize，但是我这里结果输出的时候似乎是实时的，并没有每次只输
出100条数据，老师您看下为什么是实时输出呢？

2023-07-20 09:25:06
提问者蒋昌魁回复徐老师 #3

两个不同的配置文件，具体内容分别如下：

2023-07-20 09:30:37

点开查看后面4条评论

相似问题

这里不太懂老师的写法

写页面时不能缩放吗，只可以是100%写吗

删除一条新插入的数据后，下次再插入一条新的数据，主键自增为什么发生变化了？

这里怎么就是2了？有一条数据的parentId不为空啊？

本节课的.slider-item-container为什么宽度是100%

登录后可查看更多问答，登录/注册

大数据工程师 2024 版

参与学习 1151 人
提交作业 5960 份
解答问题 1144 个

不用Java初级内容充数！不用与大数据岗位无关内容占课时！我们做的就是“精华版”大数据课程

本课精华内容

问答作业

老师，每个比较大的文件都会分割成块保存在DataNode中，那就说一个datanode坏了导致整个文件不可用，这样不就减低了可靠性吗？

54 2

对多个executor并行处理，对数据进行去重，这样会不会有重复数据

31 1

数据倾斜问题

78 5

并行度调优疑问

29 9

yum install -y ntpdate执行报错

17 20

查看更多本课问答

请稍等 ...

意见反馈帮助中心 APP下载