hive中 count结果和spark sql中count结果不一致

总结

hive统计错误 spark统计正确

原因和解决方案

解决方法1 set hive.compute.query.using.stats=false

原因分析:

这是hive中的一个优化参数导致的，对于一些使用频率可能很高的sql会进行查询优化，会将这个参数[hive.compute.query.using.stats]设置为true(默认是false)，这样的话，Hive在执行某些查询时，例如select count(1)，只利用元数据存储中保存的状态信息返回结果，从而提高了响应速度。

所以 关闭该参数即可.

-- count(*) 和 count(列名) 区别:

count(*) + set hive.compute.query.using.stats=true (默认值)

从元数据、表统计信息中得到答案。统计数据可能尚未更新，结果可能完全错误。

count() :

这将为您提供 中非空值的计数

解决方法2

所以 如果你不想临时修改 参数: set hive.compute.query.using.stats=false

可以使用下面的sql搞定:

select count(*) as count_all, count() as dummy from

;

相关阅读:
云原生 | 服务网格宝藏工具大推荐！
二叉树的顺序结构以及堆的实现——【数据结构】
问题排查---应用程序不在接收新请求
Linux内核开发——新添内核用户接口
Unity VR 零基础开发之 Pico4 MR
妈妈，我想要学“Jetpack全家桶”，学……学全套……
八、【VUE-CLI】待办事项案例（第一版）
计算机毕业设计 SSM+Vue垃圾分类系统 社区垃圾分类管理系统 环保垃圾回收分类管理系统Java Vue MySQL数据库 远程调试 代码讲解
串口接收不定长数据的几种方法
讯飞星火V4.0 发布，全面对标GPT-4 Turbo

原文地址：https://blog.csdn.net/qq_35515661/article/details/126277743