关于getmerge和重定向
老师,这个getmerge 可以讲一讲你的看法吗,我只是查到了这个可以合并文件到本地,与重定向这个有什么区别吗
#!/bin/bash
# 获取昨天日期字符串
yesterday=$1
if [ "$yesterday" = "" ]
then
yesterday=`date +%Y%m%d --date="1 days ago"`
fi
logPath=/d2/${yesterday}
dest=/data/logs/$logPath
if [ -e ${dest} ]
then
echo exist.
else
hdfs dfs -mkdir -p ${dest}
fi
fileName=$3
FILE=${fileName}.log
if [ -e fileName ]
then
echo exist!
else
hdfs dfs -ls ${logPath}
hdfs dfs -getmerge -nl ${logPath}/*.log ${dest}/FILE5
收起
正在回答
1回答
最终实现的效果是一样的,相对于hdfs自己提供了一个现成的命令,使用linux中的重定向也能实现一样的效果。
相似问题
登录后可查看更多问答,登录/注册
恭喜解决一个难题,获得1积分~
来为老师/同学的回答评分吧
0 星