• OGG|使用 OGG12.3 同步 Oracle 部分表到 Kafka

    5155ecd6dd382a2cc557ce3a408547ad.gif

    作者 | JiekeXu

    来源 |公众号 JiekeXu DBA之路（ID: JiekeXu_IT）

    如需转载请联系授权 | (个人微信 ID：JiekeXu_DBA)

    大家好，我是 JiekeXu,很高兴又和大家见面了,今天和大家一起来学习使用 OGG12.3 同步 Oracle 部分表到 Kafka，欢迎点击上方蓝字关注我，标星或置顶，更多干货第一时间到达！

    说  明：源端 Oracle 数据库版本 19c, ogg 19.1 源端也可以是 11.2.0.4 db,ogg 版本 12.3.0.1.2
    目标端：Kafka 版本 kafka_2.11-2.0.0(本次不涉及)   ogg for bigdata 12.3.2.1.1

    1. --源端 version
    2. Oracle GoldenGate Command Interpreter for Oracle
    3. Version 19.1.0.0.4 OGGCORE_19.1.0.0.0_PLATFORMS_191017.1054_FBO
    4. Linux, x64, 64bit (optimized), Oracle 19c on Oct 17 2019 21:16:29
    5. Operating system character set identified as US-ASCII.
    6.  
    7.  
    8. Copyright (C) 1995, 2019, Oracle and/or its affiliates. All rights reserved.
    9.  
    10.  
    11. --目标端 version
    12. Oracle GoldenGate for Big Data Version 12.3.2.1.1 (Build 005) 依赖 jdk 1.8 及以上版本，故需安装 JDK
    13.  
    14.  
    15. Oracle GoldenGate for Big Data
    16. Version 12.3.2.1.1 (Build 005)

    支持的 Kafka 版本

    242f5845b66de20384baa4de4735b161.png

    OGG 12.3.2.1 已停止支持 Kafka 版本 0.8.2.2、0.8.2.1 和 0.8.2.0。这允许在 Kafka 生产者上执行刷新调用，从而为流控制和检查点提供更好的支持。

    一、安装 ogg

    源端 ogg  安装和普通 ogg 安装一样，这里不在介绍，如果有需要请点击链接查看前面文章说明。目标端 ogg 有所区别，一定要下载安装 Oracle GoldenGate for Big Data 相关版本，官网已经看不到 12.3.2.1 的版本了，不过也可以下载 19.1 或者 21.3 版本的 OGG for bigdata，当然也可以到 http://edelivery.oracle.com 网站去下载历史版本。

    a8c6514211fe74bd4a828a3a6ff093bd.png
    2d5a228748b29027116af1a0c94c03a7.png

    安装 JDK1.8
    Oracle GoldenGate for Big Data 已通过 Java 1.8 认证。在安装和运行 Oracle GoldenGate for Big Data 之前，您必须安装 Java（JDK 或 JRE）1.8 或更高版本。可以使用 Java 运行时环境 (JRE) 或完整的 Java 开发工具包（包括 JRE）。

    1. export JAVA_HOME=/opt/jdk1.8 
    2. export PATH=$JAVA_HOME/bin:$PATH 
    3. export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/i386/server:$LD_LIBRARY_PATH

    在上面的示例中，目录 $JAVA_HOME/jre/lib/i386/server 应该包含 libjvm.so 和 libjsig.so 文件。包含 JVM 库的实际目录取决于操作系统以及是否使用 64 位 JVM。

    上传软件包

    OGG_BigData_Linux_x64_12.3.2.1.1.zip，java.tar.gz，文章中所涉及到的 12.3 的 OGG 相关软件，如有需要可在公众号后台回复【OGG12.3】获取。

    1. unzip OGG_BigData_Linux_x64_12.3.2.1.1.zip
    2. tar -xvf OGG_BigData_Linux_x64_12.3.2.1.1.tar
    3.  
    4.  
    5. ./ggsci
    6. ./ggsci: error while loading shared libraries: libjvm.so: cannot open shared object file: No such file or directory
    7.  
    8.  
    9. --ggsci 命令报错，提示找不到 libjvm.so 文件，需要安装配置 java 路径，前期的 OGG 版本暂时还未集成 java 需要单独安装。
    安装 java 配置环境变量
    1. cd /home/oracle/java1.8
    2. tar -xvf java.tar.gz
    3. tree -L 2 java
    4. java
    5. `-- jdk1.8.0_181
    6.     |-- bin
    7.     |-- COPYRIGHT
    8.     |-- include
    9.     |-- javafx-src.zip
    10.     |-- jre
    11.     |-- lib
    12.     |-- LICENSE
    13.     |-- man
    14.     |-- README.html
    15.     |-- release
    16.     |-- src.zip
    17.     |-- THIRDPARTYLICENSEREADME-JAVAFX.txt
    18.     `-- THIRDPARTYLICENSEREADME.txt
    19.  
    20.  
    21. --配置环境变量
    22. vi .bash_profile
    23. export JAVA_HOME=/home/oracle/java1.8/java/jdk1.8.0_181/
    24. export PATH=$JAVA_HOME/bin:$PATH 
    25. export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:$LD_LIBRARY_PATH 
    26.  
    27.  
    28. source .bash_profile

    启动目标端 ogg mgr 进程

    1. Oracle GoldenGate for Big Data
    2. Version 12.3.2.1.1 (Build 005)
    3.  
    4.  
    5. Oracle GoldenGate Command Interpreter
    6. Version 12.3.0.1.2 OGGCORE_OGGADP.12.3.0.1.2_PLATFORMS_180712.2305
    7. Linux, x64, 64bit (optimized), Generic on Jul 13 2018 00:46:09
    8. Operating system character set identified as US-ASCII.
    9.  
    10.  
    11. Copyright (C) 1995, 2018, Oracle and/or its affiliates. All rights reserved.
    12.  
    13.  
    14. Shell> ./ggsci 
    15. GGSCI> CREATE SUBDIRS
    16. -- 编辑 MGR 配置文件 
    17. GGSCI> EDIT PARAM MGR 
    18.  
    19.  
    20. PORT 7809
    21. DYNAMICPORTLIST 7810-7829
    22. AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3
    23. PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 30
    24.  
    25.  
    26. GGSCI>START MGR 
    27. GGSCI>INFO MGR

    二、配置 ogg


    源端配置 ogg
    1. --MGR 参数如下
    2. GGSCI> view params mgr
    3.  
    4.  
    5. PORT 7809
    6. DYNAMICPORTLIST 7710-7729
    7. AUTOSTART EXTRACT *
    8. PURGEOLDEXTRACTS /ogg19c/dirdat/*,usecheckpoints, minkeepdays 15
    9. Lagcriticalminutes 60
    10. ACCESSRULE, PROG *, IPADDR 192.*.*.*, ALLOW
    11.  
    12.  
    13. GGSCI> start mgr

    配置捕获投递进程

    1. GGSCI> add extract ext1, TRANLOG, BEGIN NOW, THREADS 2
    2. GGSCI> add exttrail /ogg19c/dirdat/dw, extract ext1, megabytes 100
    3.  
    4.  
    5. GGSCI> edit params ext1
    6.  
    7.  
    8. extract ext1
    9. setenv (NLS_LANG="AMERICAN_AMERICA.AL32UTF8")
    10. userid ogg@DW, password ogg
    11. TRANLOGOPTIONS DBLOGREADER
    12. exttrail /ogg19c/dirdat/dw ,FORMAT RELEASE 12.2
    13. discardfile /ogg19c/dirrpt/ext1.dsc, append, MEGABYTES 1024
    14. --DDL EXCLUDE ALL
    15. statoptions reportfetch
    16. reportrollover at 08:30
    17. GETUPDATEBEFORES
    18. NOCOMPRESSDELETES
    19. NOCOMPRESSUPDATES
    20. TABLE ODSOR.T_MON_DOCDATUM;
    21.  
    22.  
    23. GGSCI> start ext1

    注意的两点：1.“FORMAT RELEASE 12.2” 指定 trail 文件格式的版本，可选的版本有
    values (10.4|11.1|11.2|12.1|12.2|12.3|18.1|19.1) for [release]
    但是，当数据库为 19c OGG 为 19.1 时只能选择最低版本为 12.2，不能选择 11.2，在 11g 数据库和 OGG 12.3 中可以选择 11.2。2ce873432a7704712f9330ab2033b034.png
    2.从 Oracle 同步数据到 Kafka 时不支持 DDL，故源端 DDL 变更不会同步到目标端，也不需要配置 DDL 相关捕获，DDL 相关参数也不需要配置。

    Only the TRUNCATE TABLE DDL statement is supported. All other DDL statements are ignored.
    You can use the TRUNCATE statements one of these ways:
    In a DDL statement, TRUNCATE TABLE, ALTER TABLE TRUNCATE PARTITION, and other DDL TRUNCATE statements. This uses the DDL parameter.
    Standalone TRUNCATE support, which just has TRUNCATE TABLE. This uses the GETTRUNCATES parameter.
    注意：只支持 TRUNCATE TABLE DDL 语句。所有其他 DDL 语句将被忽略。
    使用 TRUNCATE 语句的方式如下:
    在 DDL 语句中，TRUNCATE TABLE, ALTER TABLE TRUNCATE PARTITION，以及其他 DDL TRUNCATE 语句。
    独立的 TRUNCATE 支持，它只有 TRUNCATE TABLE。它使用 GETTRUNCATES 参数。

    添加投递进程

    1. GGSCI> add extract dpe1, exttrailsource /ogg19c/dirdat/dw
    2.  
    3.  
    4. GGSCI> add rmttrail /soft/dirdat/dw, EXTRACT dpe1, MEGABYTES 1024
    5.  
    6.  
    7.  
    8.  
    9. GGSCI> edit params dpe1
    10.  
    11.  
    12. extract dpe1
    13. setenv (NLS_LANG="AMERICAN_AMERICA.AL32UTF8")
    14. rmthost  192.168.27.15,mgrport 7809,compress
    15. rmttrail /soft/dirdat/dw,format release 12.2
    16. --dynamicresolution
    17. passthru
    18. numfiles 3000
    19. TABLE ODSOR.T_MON_DOCDATUM;
    20.  
    21.  
    22. GGSCI> start dpe1

    然后需要对同步的表添加补充日志，一般通过登录 OGG 添加即可，不过，业务对于 Kafka 端的要求开启全部列的补充日志。

    1. add  trandata ODSOR.T_MON_DOCDATUM
    2. info trandata ODSOR.T_MON_DOCDATUM
    3. --使用 SQL 命令手动添加主键补全日志
    4. alter table ODSOR.T_MON_DOCDATUM add supplemental log data (primary key) columns;
    5. --使用 SQL 命令手动添加所有列补全日志，在日志中补全所有字段（排除 LOB 和 LONG 类型）
    6. alter table ODSOR.T_MON_DOCDATUM add supplemental log data (all) columns;
    7. --使用 SQL 命令手动删除补全日志
    8. alter table ODSOR.T_MON_DOCDATUM drop supplemental log data (all) columns;
    9. ---关闭补全日志
    10. alter database drop supplemental log data (primary key,unique index) columns; 
    11. ---重新开启补全日志 
    12. alter database add  supplemental log data (primary key,unique index) columns；

    goldengate.def 表结构定义文件

    在 ogg for bigdata 以前的老版本中，需要表结构定义文件，利用 DEFGEN 工具可以为源端和目标端表生成数据定义文件，当源库和目标库类型不一致时，或源端的表和目标端的表结构不一致时，数据定义文件时必须要有的。

    一般生成数据定义文件的步骤如下：

    Step1. 编辑 defgen 文件

    1. GGSCI> edit param test_ogg
    2. defsfile /goldengate/dirdef/goldengate.def,FORMAT RELEASE 11.2, PURGE
    3. userid ogg,password ogg
    4. TABLE ODSOR.T_MON_DOCDATUM;

    Step2. 利用 defgen 工具生成 defgen.prm 文件

    1. /ogg19c/defgen paramfile /ogg19c/dirprm/test_ogg.prm
    2. 或者
    3. ./defgen paramfile ./dirprm/test_ogg.prm

    Step3. 将生成好的数据定义文件 scp 二进制模式传输到目标端对应的目录 dirdef

    scp /ogg19c/dirdef/goldengate.def oracle@192.168.17.25:/soft/dirdef/goldengate_rep03.def
    目标端配置 ogg

    编辑 rep 复制进程参数文件

    以下官方文档示例参数模板：

    1. REPLICAT hdfs
    2. TARGETDB LIBFILE libggjava.so SET property=dirprm/hdfs.properties 
    3. --SOURCEDEFS ./dirdef/dbo.def 
    4. DDL INCLUDE ALL
    5. GROUPTRANSOPS 1000
    6. MAPEXCLUDE dbo.excludetable
    7. MAP dbo.*, TARGET dbo.*;

    以下是对这些 Replicat 配置条目的解释：
    REPLICAT hdfs  --Replicat 进程的名称。
    TARGETDB LIBFILE libggjava.so SET property=dirprm/hdfs.properties   --在您退出时设置目标数据库libggjava.so并将 Java 适配器属性文件设置为dirprm/hdfs.properties.
    –SOURCEDEFS ./dirdef/dbo.def  --设置源数据库定义文件。它被注释掉是因为 Oracle GoldenGate 跟踪文件在跟踪中提供元数据。
    GROUPTRANSOPS 1000  --将源跟踪文件中的 1000 个事务分组为单个目标事务。这是默认设置，可提高大数据集成的性能。
    MAPEXCLUDE dbo.excludetable  --设置要排除的表。
    MAP dbo., TARGET dbo.; --设置输入到输出表的映射。

    以下是我测试环境参数配置：

    1. REPLICAT rep03
    2. sourcedefs /soft/dirdef/goldengate_rep03.def
    3. TARGETDB LIBFILE libggjava.so SET property=dirprm/kafka_dw.props
    4. REPORTCOUNT EVERY 1 MINUTES, RATE 
    5. GROUPTRANSOPS 10000
    6. GETUPDATEBEFORES
    7. HANDLECOLLISIONS
    8. REPLACEBADCHAR SUBSTITUTE ? FORCECHECK
    9. MAP ODSOR.T_MON_DOCDATUM,target ODSOR.T_MON_DOCDATUM;
    10. MAP OPS.T_LABEL_RULE,target OPS.T_LABEL_RULE;
    11. MAP prod.*,target prod.*;
    12. MAPEXCLUDE PROD.T_FILE_NAME;

    kafka_dw.props 配置文件如下，下游 Kafka 集群安装配置这里就先不介绍了。

    1. vim  /soft/dirprm/kafka_dw.props
    2.  
    3.  
    4. gg.handlerlist=kafkahandler
    5. gg.handler.kafkahandler.type=kafka
    6. gg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.properties
    7. gg.handler.kafkahandler.format=json
    8. gg.handler.kafkahandler.mode=op
    9. gg.handler.kafkahandler.format.includePrimaryKeys=true
    10. gg.classpath=dirprm/:/home/oracle/kafka/libs/*:/soft/:/soft/lib/*
    11. gg.handler.kafkahandler.BlockingSend=true
    12. #gg.handler.kafkahandler.topicMappingTemplate=ORACLE_JIEKEDB_${schemaName}_${tableName}_${primaryKeys}
    13. #gg.handler.kafkahandler.keyMappingTemplate=ORACLE_JIEKEDB_${schemaName}_${tableName}_${primaryKeys}
    14. gg.handler.kafkahandler.topicMappingTemplate=ORACLE_DW_75.${schemaName}.${tableName}
    15. gg.handler.kafkahandler.keyMappingTemplate=${primaryKeys}

    添加 rep 复制进程

    添加和启动 Replicat 进程的命令如下：

    1. GGSCI> add replicat rep03,exttrail /soft/dirdat/dw nodbcheckpoint
    2. GGSCI> START rep03

    fdce640042eea5ab362952894f3d82eb.png

    1. cat ODSOR.T_MON_DOCDATUM.schema.json
    2.  
    3.  
    4. {
    5.     "$schema":"http://json-schema.org/draft-04/schema#",
    6.     "title":"ODSOR.T_MON_DOCDATUM",
    7.     "description":"JSON schema for table ODSOR.T_MON_DOCDATUM",
    8.     "definitions":{
    9.         "row":{
    10.             "type":"object",
    11.             "properties":{
    12.                 "ID":{
    13.                     "type":[
    14.                         "string",
    15.                         "null"
    16.                     ]
    17.                 },
    18.                 "FKCORP":{
    19.                     "type":[
    20.                         "string",
    21.                         "null"
    22.                     ]
    23.                 },
    24. ......

    正常同步之后，Kafka 则会读取 ./dirdef/ 目录下生成的 json 文件进行消费，消费完之后如有必要还会落库写入数据库，如果落库有时候也会需要同步历史数据，可选择 DataX 等 ETL 工具从源库抽取历史数据,这里不在介绍，如有需要请自行查找相关文档。

    三、新增表配置

    有时候随着业务的快速发展及新功能需求，需要进一步同步一些表到 Kafka,下面一起看看操作步骤。

    这里以某一用户下 T_FILE_RENDER 表为例进行介绍，步骤完全一样，不需要同步历史数据，仅使用 OGG 同步变化数据即可。

    1. --源端
    2. su - oracle
    3. cd /ogg19c
    4. ./ggsci
    5. GGSCI> stop EXT1
    6. GGSCI> edit param ext1
    7. #添加 TABLE CC.T_FILE_RENDER;到参数文件里，wq!保存退出
    8. TABLE CC.T_FILE_RENDER;
    9.  
    10.  
    11. GGSCI> view param ext1
    12. #获取 goldengate 数据库用户连接串
    13.  
    14.  
    15. GGSCI> dblogin userid ogg@jiekedb, password ogg
    16. #添加表字段补充日志
    17. GGSCI> add trandata CC.T_FILE_RENDER
    18. GGSCI> info trandata CC.T_FILE_RENDER
    19. #看见is enabled 等字样就代表补充日志已经添加成功
    20.  
    21.  
    22. #编辑 dpe1 投递进程添加新增表
    23. GGSCI> edit parmas dpe1
    24.  
    25.  
    26. TABLE CC.T_FILE_RENDER;

    添加表到表结构定义文件
    添加 TABLE CC.T_FILE_RENDER; 到表结构变更配置文件

    1. vi /ogg19c/dirprm/test_ogg.prm 
    2.  
    3.  
    4. TABLE CC.T_FILE_RENDER;

    生成表结构文件并传到目标端相关文件夹下。

    1. ./defgen paramfile dirprm/test_ogg.prm
    2.  
    3.  
    4. scp /ogg19c/dirdef/goldengate.def oracle@192.168.75.17:/ogg/dirdef

    添加各个表的补充日志后，停掉目标端 rep1 复制进程和源端 dpe1 投递进程,重启 ext1 捕获进程。在目标端 rep1 进程参数中添加新增表的 MAP 信息，然后重启即可。

    1. GGSCI> stop rep01 
    2. GGSCI> edit params rep01
    3. MAP CC.T_FILE_RENDER,target CC.T_FILE_RENDER;
    4.  
    5.  
    6. GGSCI> start rep01
    7. GGSCI> info all
    8. GGSCI> info rep01
    9. #启动之后观察延迟趋近于0即为正常

    719ceab44458e728b2d49927e097c72a.png

    参考文档

    https://docs.oracle.com/en/middleware/goldengate/big-data/12.3.2.1/gbdig/installing-oracle-goldengate-big-data.html#GUID-640A1CE0-7F5C-421C-B693-A74C6223F3B2

    全文完，希望可以帮到正在阅读的你，如果觉得有帮助，可以分享给你身边的朋友，同事，你关心谁就分享给谁，一起学习共同进步~~~


     
 
    ❤️ 欢迎关注我的公众号，一起学习新知识！！！
     
 
    1. ————————————————————————————
    2. 公众号：JiekeXu DBA之路
    3. 墨天轮：https://www.modb.pro/u/4347
    4. CSDN ：https://blog.csdn.net/JiekeXu
    5. 腾讯云：https://cloud.tencent.com/developer/user/5645107
    6. ————————————————————————————
    7.  
    8.  
    9.  
    10. Oracle 表碎片检查及整理方案
    11. OGG|Oracle GoldenGate 基础2021 年公众号历史文章合集整理
    12. 2020 年公众号历史文章合集整理
    13. 我的 2021 年终总结和 2022 展望Oracle 19c RAC 遇到的几个问题
    14. 利用 OGG 迁移 Oracle11g 到 19COGG|Oracle GoldenGate 微服务架构Oracle 查询表空间使用率超慢问题一则国产数据库|TiDB 5.4 单机快速安装初体验Oracle ADG 备库停启维护流程及增量恢复Linux 环境搭建 MySQL8.0.28 主从同步环境
     

    
                
    
                    
    
                
    • 

                
  • 

                    相关阅读:
    
                    
Spring Boot Actuator使用指南                            
    
Metric模块源码解析                            
    
Qt http网络编程                            
    
JAVA动态代理                            
    
Jmeter如何做压力测试                            
    
librtmp源码详解                            
    
客户中心模拟（Queue and A, ACM/ICPC World Finals 2000, UVa822）rust解法                            
    
REVIT中一次性导出项目里的族及“项目族管理”操作                            
    
kafka日志策略                            
    
webpack--打包出口(output)                            
    
                        
                
    • 
                
  • 
                    原文地址：https://blog.csdn.net/JiekeXu/article/details/126397554
                
    •