【讨论题】如何查找HDFS中的大文件?
我要参与
【讨论题】如何查找HDFS中的大文件?
讨论题 1.6k
等101人参与
来源: 第4周 / 大数据工程师 2024 版

题干:
当Hadoop集群从节点的磁盘空间占满的时候,从节点就不可用了,此时需要给从节点扩容磁盘,或者删除从节点上的部分数据

从节点磁盘中存储的数据主要都是HDFS文件系统中的数据,不能直接在从节点磁盘上删除,这样会让集群误认为HDFS中的部分数据丢失了,会导致集群状态不正常。

此时想要删除文件就需要在HDFS中进行操作,找出大文件,以及一些无用的垃圾文件。

关键提炼:
1:如何查看HDFS中的大文件,需要使用什么命令?

2:注意:如果开启了回收站,在删除文件的时候一定要注意使用-skipTrash参数,否则删除的文件会进入回收站,回收站还是会占用HDFS存储空间。

去发布

登录后即可发布作业,立即

我的作业

全部作业

意见反馈 帮助中心 APP下载
官方微信

在线咨询

领取优惠

免费试听

领取大纲

扫描二维码,添加
你的专属老师