Hadoop MapReduce 文件路径过滤 GlobStatus 与 PathFilter

1. 丢失文件路径过滤

应用场景：我们想查询一个月以来度假的订单数据，但是HDFS中可能因为业务故障，导致某一天的订单数据不存在：

FileInputFormat.setInputPaths(job, inputPath);
1

上述代码在遇到路径不存在的时候会报错。

所以在设置路径之前需要进行一次判断，判断这个路径在HDFS上是否存在，如果存在，使用addInputPath方法添加：

FileSystem fileSystem = FileSystem.get(conf)