大数据之数据倾斜

1）hadoop 中的数据倾斜表现：

1. 有一个多几个 Reduce 卡住，卡在 99.99%，一直不能结束。
2. 各种 container 报错 OOM
3. 异常的 Reducer 读写的数据量极大，至少远远超过其它正常的 Reducer
4. 伴随着数据倾斜，会出现任务被 kill 等各种诡异的表现。
   2）hive 中数据倾斜
   一般都发生在 Sql 中 group by 和 join on 上，而且和数据逻辑绑定比较深。
   3）Spark 中的数据倾斜
   Spark 中的数据倾斜，包括 Spark Streaming 和 Spark Sql，表现主要有下面几种：
5. Executor lost，OOM，Shuffle 过程出错；
6. Driver OOM；
7. 单个 Executor 执行时间特别久，整体任务卡在某个阶段不能结束；
8. 正常运行的任务突然失败