hive中 count结果和spark sql中count结果不一致

总结

hive统计错误 spark统计正确

原因和解决方案

解决方法1 set hive.compute.query.using.stats=false

原因分析:

这是hive中的一个优化参数导致的，对于一些使用频率可能很高的sql会进行查询优化，会将这个参数[hive.compute.query.using.stats]设置为true(默认是false)，这样的话，Hive在执行某些查询时，例如select count(1)，只利用元数据存储中保存的状态信息返回结果，从而提高了响应速度。

所以 关闭该参数即可.

-- count(*) 和 count(列名) 区别:

count(*) + set hive.compute.query.using.stats=true (默认值)

从元数据、表统计信息中得到答案。统计数据可能尚未更新，结果可能完全错误。

count() :

这将为您提供 中非空值的计数

解决方法2

所以 如果你不想临时修改 参数: set hive.compute.query.using.stats=false

可以使用下面的sql搞定:

select count(*) as count_all, count() as dummy from

;

相关阅读:
A - ASCII码排序
5个高清图片素材网站，无水印，免费商用。
django请求生命周期流程图 路由匹配 无名分组 有名分组 反向解析 无名有名反向解析 路由分发 名称空间
Mysql 的高可用详解
WordPress插件 WP-PostViews 汉化语言包
【PHP】入门知识
Python中日志异步发送到远程服务器
亚远景科技-如何应对汽车软件开发中质量与速度的冲突带来的挑战?
js使用canvas实现图片鼠标滚轮放大缩小拖拽预览，显示像素坐标，显示像素值
YOLOv5使用方法记录

原文地址：https://blog.csdn.net/qq_35515661/article/details/126277743