Hive--14---企业级调优2----表的优化 - 码农知识堂 - 文章详情页

Hive--14---企业级调优2----表的优化
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
文章目录
- 表的优化
- 1.小表Join大表（Map JOIN）
  [多表联查--07--- Hash join](https://blog.csdn.net/weixin_48052161/article/details/125474422?csdn_share_tail=%7B%22type%22:%22blog%22,%22rType%22:%22article%22,%22rId%22:%22125474422%22,%22source%22:%22weixin_48052161%22%7D&ctrtid=ZAsWD)
  
  2.空 KEY处理
  2.1 空key过滤
  2.2 空key转换
  如果null值得数据,是业务需要的, 那么有可能实际跑MR任务的时候会造成==数据倾斜==
  
  随机分布空 null 值
  
  3. SMB(Sort Merge Bucket join)-----分桶表 join
  如果2个表join,都是数据量特表大的表, 化大为小, ==用join 字段进行分桶拆分==,效率会高很多
  
  创建分通表 ==桶的个数不要超过可用 CPU的核数==
  案例
  
  4.Group By
  默认情况下，Map阶段同一 key数据分发给一个reduce,当一个key数据过大时就倾斜了
  
  5. Count(Distinct) 去重统计
  6. 笛卡尔积
  7. 行列过滤
  案例1 的执行计划,会先对b表和o表进行id字段过滤,再表关联.
  因为框架底层优化器,==发现where过滤条件id,正好是表的关联字段 id==. 所以会进行==谓词下推==的优化
  
  8. 表分区,表分桶
表的优化

 1.小表Join大表（Map JOIN）

多表联查–07— Hash join

2.空 KEY处理

 2.1 空key过滤

 2.2 空key转换

如果null值得数据,是业务需要的, 那么有可能实际跑MR任务的时候会造成数据倾斜

 随机分布空 null 值

 3. SMB(Sort Merge Bucket join)-----分桶表 join

如果2个表join,都是数据量特表大的表, 化大为小, 用join 字段进行分桶拆分,效率会高很多

 创建分通表桶的个数不要超过可用 CPU的核数

 案例

 4.Group By

默认情况下，Map阶段同一 key数据分发给一个reduce,当一个key数据过大时就倾斜了

 5. Count(Distinct) 去重统计

 6. 笛卡尔积

 7. 行列过滤

案例1 的执行计划,会先对b表和o表进行id字段过滤,再表关联.

因为框架底层优化器,发现where过滤条件id,正好是表的关联字段 id. 所以会进行谓词下推的优化
- 少用select * ,查询业务需要的字段
- 尽量先对副表进行过滤, 再进行表的关联
8. 表分区,表分桶
相关阅读:
jsp汽车销售管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目
 番茄工作法，为何总不奏效
 【Pytorch】模型的可复现性
 [Mybatis-Plus笔记] MybatisPlus-01-入门案例与基本CRUD
el-form-item validator 携带额外的参数
 高校/中职大数据实验室建设方案
 【计算思维】少儿编程蓝桥杯青少组计算思维题考试真题及解析D
【智能优化算法-灰狼算法】基于Cat混沌与高斯变异的灰狼优化算法求解单目标优化问题附Matlab代码
 如何一键核实验证身份证的真伪？
virtualbox配置_20211127
原文地址：https://blog.csdn.net/weixin_48052161/article/details/125473995