大数据调优经验

1.Mapreduce 调优

根据maps/reduces个数、对应的avg time调整mapreduce.job.maps、mapreduce.job.reduces，控制平均时间在30分钟左右（比如maps调小一半，avg time增加一倍）

因为设置太多maps/reduces了，每个map/reduce都得去抢资源，都浪费在排队上了

2.spark 任务调优

3.Flink 任务调优

反压（Backpressure）排查办法：
1）在监控图上找到有反压的最下游Task节点，去Job DAG图中找到该Task的直接下游，问题就出在这个Task
——这个任务里是Flat Map ...

2）在监控图的顶部，Task处选择该Task，过滤掉无关信息

3）查看接收端buffer总体利用率的图，观察各subtask之间是否平衡（都100%表示平衡，部分100%部分0%表示不平衡）

4）选择接收端buffer最高的subtask，找到它所在的container id（如一样高，随意选择一个）

5）去Flink UI打开Task Managers页面，找到这个container，点进去，再点Thread Dump

6）在Thread dump页面里搜索：英文引号+Task名称前缀，找到最后一个匹配的线程

 7）如调用栈显示不全且不足够用于分析，获取完整的调用栈