hadoop之hdfs生产数据块损坏修复方法

1、手动修复

检查数据块丢失情况

hdfs fsck /

修复指定路径的hdfs文件，尝试多次

hdfs debug recoverLease -path 文件位置 -retries 重复次数

删除所有损坏的块的数据文件

hdfs fsck / -delete

2、自动修复

hdfs会自动修复损坏的数据块，当数据块损坏后，

DN节点执行directoryscan(datanode进行内村和磁盘数据集块校验)操作之前，都不会发现损坏

directoryscan操作校验是间隔6h

dfs.datanode.directoryscan.interval:21600

在DN向NN进⾏blockreport前，都不会恢复数据块;也就是blockreport操作是间隔6h

dfs.blockreport.intervalMsec : 21600

最终当NN收到blockreport才会进⾏恢复操作

生产中倾向于使用手动修复的方法去修复损坏的数据块。