sink为hdfs时，生成的文件名能否自己命名

hdfs://192.168.182.100:9000/flume/studentDir/stu-.1588407260986.tmp

按照老师讲的只能前缀后缀

hdfs.filePrefix	FlumeData	Name prefixed to files created by Flume in hdfs directory
hdfs.fileSuffix

中间的时间戳是自动生成的能否把时间戳替换成自己制定的内容

收起

1回答

徐老师回答被采纳获得+3积分 2021-03-30 07:13:22

中间的时间戳去不掉，目前只能控制前缀和后缀。
因为hdfssink会在一个目录下生成多个文件，不能都使用相同的文件名，最直接的就是根据时间戳区分文件名，如果使用其他规则会更加麻烦

徐老师 #1

如果自己指定文件名的中间内容的话，还需要写一套规则保证生成的多个文件名不重复。后期mapreduce或者其他计算程序读取hdfs数据的时候只需要指定具体的hdfs目录即可，不需要精确到文件名，所以说和文件名关系不大，文件名中使用时间戳也就没有什么影响了

2021-03-30 07:17:50