• 变化数据捕获(CDC)技术分类优劣与适用场景


    实时主动数据仓库中的变化数据捕捉(CDC)方法差异性对比以及适用场景:

    变化数据捕捉方法对比
    CDC方法是否支持实时变化数据捕捉适用场合优点缺点
    基于表记录的方法记录所有变化有必要对数据源中发生的所有变化进行记录

    所有变化;加快数据抽取速度

    额外负担;存储开销

    记录最后变化(时间戳)只需要记录最后一次变化相对上一个方法,减小了负担和空间开销新字段会增加存储开销;删除操作必须时逻辑的
    混合式有必要对所有更新操作记录,只需对最后一次插入和删除操作进行记录相对上两个,减小了负担和存储开销更新操作时有1的缺点,插入删除操作时有2的缺点
    复制事务复制数据源和目标DBMS相同或者存在支持异构复制的第三方工具保存副本;独立性;加速抽取源与目标必须相同;存储需求;需要DBA控制和管理在复制过程中可能出现的冲突
    快照复制
    触发器DBMS具有针对插入、更新和阐述的触发器,源与目标DBMS相同加速数据抽取对操作系统有较大负担;降低数据库性能
    数据库快照比较基于批量拷贝数据源DBMS不支持触发器/没有事务日志记录/无法解析日志记录操作系统没有额外负担;加速数据抽取无法获得所有变化
    基于快照复制源与目标要相同;无法获得所有变化;复制过程可能出现冲突
    基于日志的变化数据捕捉对所有变化进行记录,具备事务日志控制机制,可以解析事务日志操作系统没有额外负担;减小了存储和处理开销;加速了数据抽取DBA必须控制事务日志记录区域的尺寸;需要额外的日志级别
    刷新表重新建设实时仓库时不需要在数据源执行任何数据变化捕捉耗费大量时间;无法记录过程变化;丢失仓库的历史信息

  • 相关阅读:
    Object转List
    RabbitMQ—持久化机制与内存磁盘的监控
    计算机毕业设计Java江西婺源旅游文化推广系统(源码+系统+mysql数据库+lw文档)
    HTML+CSS+JavaScript仿京东购物网站制作 html静态网页设计制作 dw静态网页成品模板素材网页 web前端网页设计与制作 div静态网页设计
    bebel系列- 插件开发
    021-Qt 配置GitHub Copilot
    java异常学习
    【高项】- 整体管理论文
    ICPC焦作站(E、F)+思维+树上dp
    二进制部署Docker
  • 原文地址:https://blog.csdn.net/qq_40948559/article/details/127340065