关于getmerge和重定向

关于getmerge和重定向

老师,这个getmerge 可以讲一讲你的看法吗,我只是查到了这个可以合并文件到本地,与重定向这个有什么区别吗

#!/bin/bash

# 获取昨天日期字符串
yesterday=$1
if [ "$yesterday" = "" ]
then
        yesterday=`date +%Y%m%d --date="1 days ago"`
fi
logPath=/d2/${yesterday}
dest=/data/logs/$logPath
if [ -e ${dest} ]
then
        echo exist.
else
        hdfs dfs -mkdir -p ${dest}
fi

fileName=$3
FILE=${fileName}.log
if [ -e fileName ]
then
        echo exist!
else
        hdfs dfs -ls ${logPath}
        hdfs dfs -getmerge -nl ${logPath}/*.log ${dest}/FILE


正在回答

登陆购买课程后可参与讨论,去登陆

1回答

最终实现的效果是一样的,相对于hdfs自己提供了一个现成的命令,使用linux中的重定向也能实现一样的效果。

  • SuperAIStar 提问者 #1

    明白了,谢谢老师!

    2023-08-27 09:48:35
问题已解决,确定采纳
还有疑问,暂不采纳

恭喜解决一个难题,获得1积分~

来为老师/同学的回答评分吧

0 星
请稍等 ...
意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师