spark 之 driver

driver 端 之输出文件

如果我们碰到有spark任务所有task结束了但是任务还没结束，很可能就是Driver还在不断的拷文件；

涉及参数：

mapreduce.fileoutputcommitter.algorithm.version = 1
mapreduce.fileoutputcommitter.algorithm.version = 2
1
2

可以参考如下

https://blog.csdn.net/daoxu_hjl/article/details/108208327