hive中 count结果和spark sql中count结果不一致

总结

hive统计错误 spark统计正确

原因和解决方案

解决方法1 set hive.compute.query.using.stats=false

原因分析:

这是hive中的一个优化参数导致的，对于一些使用频率可能很高的sql会进行查询优化，会将这个参数[hive.compute.query.using.stats]设置为true(默认是false)，这样的话，Hive在执行某些查询时，例如select count(1)，只利用元数据存储中保存的状态信息返回结果，从而提高了响应速度。

所以 关闭该参数即可.

-- count(*) 和 count(列名) 区别:

count(*) + set hive.compute.query.using.stats=true (默认值)

从元数据、表统计信息中得到答案。统计数据可能尚未更新，结果可能完全错误。

count() :

这将为您提供 中非空值的计数

解决方法2

所以 如果你不想临时修改 参数: set hive.compute.query.using.stats=false

可以使用下面的sql搞定:

select count(*) as count_all, count() as dummy from

;

相关阅读:
ubuntu安装nginx
主机加固，防勒索病毒
新零售SaaS架构：线上商城系统架构设计
网络安全筑基篇——文件上传
C语言-位运算
【2022黑色星期五】WhatsApp营销关键要点！
基于Ant Design设计语言的WinForm UI界面库
算法导论第15、16章习题—动态规划、贪心算法
调优zuul1.x（基于arthas）
【Kali安全渗透测试实践教程】第5章 漏洞利用

原文地址：https://blog.csdn.net/qq_35515661/article/details/126277743