Skip to content

生产HDFS Block损坏恢复最佳实践--思考题理解 #49

@lihuimintu

Description

@lihuimintu

原文链接:生产HDFS Block损坏恢复最佳实践(含思考题)

  1. 那么如何确定一个文件的损失的块位置,哪几种方法呢?
    hdfs fsck <path> -locations -blocks -files 会打印block的所在的DN
    image
    接着到这3台DN机器上用find 命令搜索对应文件
    image
    find /dfs/dn/current -iname blk_1073807952*
    如果找不到说明缺失文件在该DN上
    如果找到就ll查看文件大小是否为0,为0说明损坏块在该DN上,例如下方截图
    image

  2. CDH的配置里搜索没有这两个参数,怎么调整生效呢?
    在 HDFS 的配置的 hdfs-site.xml 的 HDFS 服务高级配置代码段(安全阀)添加这两个参数
    image
    重启HDFS之后,通过 NN 的web UI 页面 http://namenodeip:9870/conf 确认
    image


第一个思考题写的方法不知是否有瑕疵,总觉得差点什么,同时好奇第一个思考题的其他方法,望能指导下。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions