hive中 count结果和spark sql中count结果不一致

总结

hive统计错误 spark统计正确

原因和解决方案

解决方法1 set hive.compute.query.using.stats=false

原因分析:

这是hive中的一个优化参数导致的，对于一些使用频率可能很高的sql会进行查询优化，会将这个参数[hive.compute.query.using.stats]设置为true(默认是false)，这样的话，Hive在执行某些查询时，例如select count(1)，只利用元数据存储中保存的状态信息返回结果，从而提高了响应速度。

所以 关闭该参数即可.

-- count(*) 和 count(列名) 区别:

count(*) + set hive.compute.query.using.stats=true (默认值)

从元数据、表统计信息中得到答案。统计数据可能尚未更新，结果可能完全错误。

count() :

这将为您提供 中非空值的计数

解决方法2

所以 如果你不想临时修改 参数: set hive.compute.query.using.stats=false

可以使用下面的sql搞定:

select count(*) as count_all, count() as dummy from

;

相关阅读:
Cocos2d Opengl2.1 升级到 opengl3.3
聚观早报 | TCL召开电视新品发布会；OceanBase 4.3发布
路由器ip地址设置
Postgresql源码（68）virtualxid锁的原理和应用场景
【MongoDB】docker安装mongodb 7.0
sqli-labs/Less-53
ipc----共享内存
【戴师兄数分】excel基础操作——函数专题（个人笔记）
【C++入门指南】C如何过渡到C++？祖师爷究竟对C++做了什么？
Docker如何进行实践应用？

原文地址：https://blog.csdn.net/qq_35515661/article/details/126277743