hive中 count结果和spark sql中count结果不一致

总结

hive统计错误 spark统计正确

原因和解决方案

解决方法1 set hive.compute.query.using.stats=false

原因分析:

这是hive中的一个优化参数导致的，对于一些使用频率可能很高的sql会进行查询优化，会将这个参数[hive.compute.query.using.stats]设置为true(默认是false)，这样的话，Hive在执行某些查询时，例如select count(1)，只利用元数据存储中保存的状态信息返回结果，从而提高了响应速度。

所以 关闭该参数即可.

-- count(*) 和 count(列名) 区别:

count(*) + set hive.compute.query.using.stats=true (默认值)

从元数据、表统计信息中得到答案。统计数据可能尚未更新，结果可能完全错误。

count() :

这将为您提供 中非空值的计数

解决方法2

所以 如果你不想临时修改 参数: set hive.compute.query.using.stats=false

可以使用下面的sql搞定:

select count(*) as count_all, count() as dummy from

;

相关阅读:
【C++设计模式之原型模式:创建型】分析及示例
AI全栈大模型工程师(九)Function Calling 的机制
PTE-精听学习（四）
Iterable、Collection、List等接口
WEB安全技能树-安全漏洞类型-命令执行漏洞
计算机毕业设计（附源码）python医院薪酬管理系统
SpingBoot：整合Mybatis-plus+Druid+mysql
hadoop can‘t installation $HADOOP_HOME or $HADOOP_PREFIX must be set
Redis Cluster集群方案
MongoDB聚合运算符：$divide

原文地址：https://blog.csdn.net/qq_35515661/article/details/126277743