关于getmerge和重定向
老师,这个getmerge 可以讲一讲你的看法吗,我只是查到了这个可以合并文件到本地,与重定向这个有什么区别吗
#!/bin/bash # 获取昨天日期字符串 yesterday=$1 if [ "$yesterday" = "" ] then yesterday=`date +%Y%m%d --date="1 days ago"` fi logPath=/d2/${yesterday} dest=/data/logs/$logPath if [ -e ${dest} ] then echo exist. else hdfs dfs -mkdir -p ${dest} fi fileName=$3 FILE=${fileName}.log if [ -e fileName ] then echo exist! else hdfs dfs -ls ${logPath} hdfs dfs -getmerge -nl ${logPath}/*.log ${dest}/FILE
3
收起
正在回答
1回答
最终实现的效果是一样的,相对于hdfs自己提供了一个现成的命令,使用linux中的重定向也能实现一样的效果。
相似问题
登录后可查看更多问答,登录/注册
大数据工程师 2024 版
- 参与学习 1151 人
- 提交作业 5960 份
- 解答问题 1144 个
不用Java初级内容充数!不用与大数据岗位无关内容占课时!我们做的就是“精华版”大数据课程
了解课程
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星