生成数据和课程不一致

为什么我目录下会同时生成一个有tmp一个没有的两个文件而且内容看了都是一样的

收起

1回答

徐老师回答被采纳获得+3积分 2020-09-05 21:18:01

.tmp结尾的文件是flume正在写数据的文件

当达到hdfssink组件中配置的文件切割时机，或者flume agent重启之后，.tmp文件会被重命名，去掉.tmp后缀

你现在有没有匹配这些情况的？

你可以尝试重新指定一个hdfs路径，重新启动flume agent ，看看还有没有这种问题，再有的话你把flume的具体配置发一下，以及操作流程我看看有没有问题，如果还解决不了我给你远程看一下

GRdreamflying 提问者 #1

ETL sqoop这些采集工具和flume对比有啥优劣？

2020-09-06 09:24:19
徐老师回复提问者 GRdreamflying #2

sqoop主要是实现关系型数据库(例如：MySQL)和Hadoop(HDFS)之间的数据导入和导出操作，就是将mysql中的数据导入到hdfs(为了便于使用大数据的计算和存储能力)，或者是把hdfs中的结果数据导出到mysql(为了方便前端查询，在页面出效果) flume的侧重于采集日志，flume的功能比较强大，里面内置支持很多的souce和sink。

2020-09-06 09:29:44
GRdreamflying 提问者回复徐老师 #3

sqoop后面课程或者公众号会推相关使用的文章么

2020-09-06 09:32:29