-
Notifications
You must be signed in to change notification settings - Fork 0
Open
Description
原文链接:生产HDFS Block损坏恢复最佳实践(含思考题)
-
那么如何确定一个文件的损失的块位置,哪几种方法呢?
hdfs fsck <path> -locations -blocks -files会打印block的所在的DN

接着到这3台DN机器上用find 命令搜索对应文件

find /dfs/dn/current -iname blk_1073807952*
如果找不到说明缺失文件在该DN上
如果找到就ll查看文件大小是否为0,为0说明损坏块在该DN上,例如下方截图

-
CDH的配置里搜索没有这两个参数,怎么调整生效呢?
在 HDFS 的配置的 hdfs-site.xml 的 HDFS 服务高级配置代码段(安全阀)添加这两个参数

重启HDFS之后,通过 NN 的web UI 页面http://namenodeip:9870/conf确认

第一个思考题写的方法不知是否有瑕疵,总觉得差点什么,同时好奇第一个思考题的其他方法,望能指导下。
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels