-
Hive--12---文件存储格式
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档
文件存储格式
Hive支持的存储数据的格式主要有 ：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。
- TEXTFILE
- SEQUENCEFILE
- ORC
- PARQUET
列式存储 和行式存储
TEXTFILE , SEQUENCEFILE 的存储格式都是基于行式存储；
ORC , PARQUET 的存储格式都是基于列式存储；
1.TextFile格式
默认格式，行式存储, 数据不做压缩，磁盘开销大，数据解析开销大
2.Sequence 格式
行式存储 ,sequenceFile文件是Hadoop用来存储二进制形式的[Key,Value]对而设计的一种平面文件Flat File
3.Orc格式
列式存储，对整个表进行按行数切分为多段, 每一段进列式存储
4.Parquet格式
列式存储，二进制方式进行存储, spark默认格式
主流文件存储格式—对比
1. 存储文件的压缩比
2.存储文件的查询速度
查询速度相近。
3.生产中
-
相关阅读:
算法基础：区间合并算法及模板应用
软件工程测试与度量课程学习---基本测试过程----线性模型
基于Echarts实现可视化数据大屏生意参谋大数据可视化系统
Linux使用Docker部署DashDot访问本地服务器面板
Python基于OpenCV的人脸识别自助商店（源码＆部署视频）
神经网络优化算法有哪些,人工神经网络优化算法
LangChain之关于RetrievalQA input_variables 的定义与使用
深度解析BERT：从理论到Pytorch实战
blender光照系统设置
Unity实战（11）：项目非启动状态下使用代码批量替换材质
- 原文地址：https://blog.csdn.net/weixin_48052161/article/details/125464172