码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【OpenGauss 列存储学习总结 2】


    OpenGauss 列存储学习总结 2

    • 概述
    • 文章链接

    概述

      列存储是一种优化技术,用于在数据库系统中存储和查询大量数据。与传统的行存储方式不同,列存储将每个列的数据分别存储在独立的存储单元中,而不是按照行的方式存储。这种存储方式在分析性查询、聚合操作和大规模数据处理等场景下具有很大的优势。
      行、列存储模型各有优劣,建议根据实际情况选择。通常openGauss用于OLTP(联机事务处理)场景的数据库,默认使用行存储,仅对执行复杂查询且数据量大的OLAP(联机分析处理)场景时,才使用列存储。默认情况下,创建的表为行存储。行存储和列存储的差异如下图所示:
    在这里插入图片描述
      上图中,左上为行存表,右上为行存表在硬盘上的存储方式。左下为列存表,右下为列存表在硬盘上的存储方式。

    列存储的特点和优势:

    1. 压缩效率高:由于相同类型的数据在列中是连续存储的,可以采用更加高效的压缩算法,从而减少存储空间的使用。
    2. 数据读取效率高:在查询中只加载需要的列,减少了不必要的数据传输,提高了查询效率。
    3. 聚合操作效率高:在列存储中,同一列的数据相邻存储,这样在进行聚合操作时只需要对该列中的数据进行计算,减少了不必要的读取和计算。
    4. 列存储适合分析性查询:分析性查询通常涉及多个列的聚合和筛选操作,列存储的存储方式更适合这种场景,可以提高查询效率。
    5. 适用于大规模数据处理:列存储在大规模数据处理、数据仓库等场景中具有明显的性能优势,能够更好地支持复杂的分析任务。

      列存储相比于行存储的优点和缺点如下:

    存储模型优点缺点
    行存数据被保存在一起。INSERT/UPDATE 容易。选择(SELECT)时即使只涉及某几列,所有数据也都会被读取。
    列存1. 查询时只有涉及到的列会被读取。
    2. 投影(Projection)很高效。
    3. 任何列都能作为索引。
    1. 选择完成时,被选择的列要重新组装。
    2. INSERT/UPDATE 比较麻烦。

      一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。

    存储类型适用场景
    行存1. 点查询(返回记录少,基于索引的简单查询)。
    2. 增、删、改操作较多的场景。
    3. 频繁的更新、少量的插入。
    列存1. 统计分析类查询 (关联、分组操作较多的场景)。
    2. 即席查询(查询条件不确定,行存表扫描难以使用索引)。
    3. 一次性大批量插入。
    4. 表列数较多,建议使用列存表。
    5. 如果每次查询时,只涉及了表的少数(<50%总列数)几个列,建议使用列存表。

    文章链接

      在先前的学习中,【列存储学习总结】一文总结了对列存储的阶段性学习笔记,本文我们在其基础上进一步总结后续的学习笔记,目前所有列存储的文章学习连接如下:

    文章连接
    列存储(Copy)相关【 OpenGauss源码学习 —— 列存储(CopyTo)】
    【 OpenGauss源码学习(CopyOneRowTo)】
    列存储介绍相关【 OpenGauss源码学习 —— 列存储(创建表)】
    【 OpenGauss源码学习 —— 列存储(cstore_vector)】
    【 OpenGauss源码学习 —— 列存储(CStoreAllocator 类)】
    【OpenGauss源码学习 —— 列存储(ColumnTableSample)】
    列存储(DML)相关【 OpenGauss源码学习 —— 列存储(Insert)】
    【 OpenGauss源码学习 —— 列存储(update)】
    列存储(analyze)相关【 OpenGauss源码学习 —— 列存储(analyze)(一)】
    【 OpenGauss源码学习 —— 列存储(analyze)(二)】
    【 OpenGauss源码学习 —— 列存储(analyze)(三)】
    【 OpenGauss源码学习 —— 列存储(analyze)(四)】
    列存储(autoanalyze)相关【 OpenGauss源码学习 —— 列存储(autoanalyze)(一)】
    【 OpenGauss源码学习 —— 列存储(autoanalyze)(二)】
    【 OpenGauss源码学习 —— 列存储(update_pages_and_tuples_pgclass)】
    列存储(CU)相关【 OpenGauss源码学习 —— 列存储(CU)(一)】
    【 OpenGauss源码学习 —— 列存储(CU)(二)】
    【 OpenGauss源码学习 —— 列存储(CU)(三)】
    【 OpenGauss源码学习 —— 列存储(CUStorage)】
    列存储(CStore)相关【 OpenGauss源码学习 —— 列存储(CStore)(一)】
    【 OpenGauss源码学习 —— 列存储(CStore)(二)】
    【 OpenGauss源码学习 —— 列存储(CStore)(三)】
    【 OpenGauss源码学习 —— 列存储(CStore)(四)】
    【 OpenGauss源码学习 —— 列存储(CStore)(五)】
    【 OpenGauss源码学习 —— 列存储(CStore)(六)】

      以上便为目前我所学习的内容,在后续的学习中,我也会持续不断地完善和更新更多有关列存的模块知识。

  • 相关阅读:
    [机缘参悟-65]:《兵者,诡道也》-7-三十六计解读-败战计
    【前端 - CSS】第 11 课 - 选择器
    [附源码]JAVA毕业设计客户台账管理(系统+LW)
    使用WebDriver采样器将JMeter与Selenium集成
    【MyBatis】MyBatis操作数据库(二):动态SQL、#{}与${}的区别
    数据湖技术之数据中心 Hudi案例实战
    中间件 | RPC - [Dubbo]
    字符串start每次只能改变一个字符,最终变为字符串to,返回所有的最短变换路径
    【无标题】
    损失函数总结(三):BCELoss、CrossEntropyLoss
  • 原文地址:https://blog.csdn.net/qq_43899283/article/details/134517662
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号