• java基础练习（使用java实现跨库数据调度ETL）

    简介

            本文写一篇关于java库与库之间的数据传输，现实生产中可能是通过其他方式完成，在没有架构的基础上使用java实现跨库的数据传送，非常不便利。但是作为练习我觉得确实非常有用，涉及的java知识点相对较多。本文以一个实列讲解，一个思考留给学习的粉丝就行后续实操锻炼。

    实操准备

    数据库表名链接url
    数据源Oracle-19cdm.book 
    jdbc:oracle:thin:@//localhost:1521/ORCL
    目标源postgresql-15.2main.book 
    jdbc:postgresql://10.0.0.199:6432/postgres

    配置JDBC驱动

            通过dbeaver找到想要的驱动信息，也算是开发的一个小tips;        

    通过dbeaver链接的对应的源库和目标库，如何能正常连接，使用dbeaver连接的JDBC驱动就好了。

            点击编辑驱动，

            记住这里的类名和url模板。然后点击库，会出现一些JDBC包

    将以上的jar复制到idea当前所创建的project下的lib目录中

     

    此时JDBC依赖包就创建完成了

    创建测试数据

            在源数据中创建一个有数据的表，用于将数据调度到postgresql数据库中去

    1. create table dm.book(ID varchar2(50), name varchar2(50), author varchar2(50), 	price number(10,3), public_inc varchar2(50));
    2.  
    3. INSERT INTO dm.book
    4. (ID, name, author, price, public_inc)
    5. VALUES('0A2H3IW92I3JQU10S83OQ8O3B4IS8U4H', '镜花缘', '李汝珍', 29.4, '人民文学出版社');
    6. INSERT INTO dm.book
    7. (ID, name, author, price, public_inc)
    8. VALUES('N4H1KS83HSI3HQ9DH33EBSSDIDCJ32C3', '山海经', '厚朴', 56.9, '古文出版社');
    9. INSERT INTO dm.book
    10. (ID, name, author, price, public_inc)
    11. VALUES('B3JSI38AU4JD94KWIW9SHERF3FEV39SD', '玉观音', '海岩', 54.3, '广东文旅出版集团');
    12. INSERT INTO dm.book
    13. (ID, name, author, price, public_inc)
    14. VALUES('11afb0ddf43a4ee59aadf380c1f15ad5', '活着', '余华', 23.43, '中华书局');
    15. INSERT INTO dm.book
    16. (ID, name, author, price, public_inc)
    17. VALUES('6d14bb33654a46e686be7e49d4fae396', '三国演义', '罗贯中', 126.81, '人民文学出版社');
    18. INSERT INTO dm.book
    19. (ID, name, author, price, public_inc)
    20. VALUES('0364d4b04387497a917e5e1dd6d8c96c', '红楼梦', '曹雪芹', 133.54, '人民文学出版社');
    21. INSERT INTO dm.book
    22. (ID, name, author, price, public_inc)
    23. VALUES('044a980718124da894fdd70f37006d13', '水浒传', '施耐庵', 98.64, '上海美术出版社');
    24.

    编辑代码

            为了完成以上的代码业务需求，我们代码分成三个文件完成

    1，创建一个实体类，在java中用于存储表结构的数据，

    2，核心逻辑代码，也就整个完成主体调度ETL的主题代码。

    3，调用代码

    一 ，创建实体类

    1.  
    2. public class book {
    3.     private String id ;
    4.     private String name;
    5.     private String author;
    6.     private double price;
    7.     private String public_inc;
    8.  
    9. //以下代码都是自动生成的，只需要把以上的代码编辑完成，然后生成getter，setter。
    10.  
    11.     public book(String id, String name, String author, double price, String public_inc) {
    12.         this.id = id;
    13.         this.name = name;
    14.         this.author = author;
    15.         this.price = price;
    16.         this.public_inc = public_inc;
    17.     }
    18.  
    19.     public book() {
    20.     }
    21.  
    22.     public String getId() {
    23.         return id;
    24.     }
    25.  
    26.     public void setId(String id) {
    27.         this.id = id;
    28.     }
    29.  
    30.     public String getName() {
    31.         return name;
    32.     }
    33.  
    34.     public void setName(String name) {
    35.         this.name = name;
    36.     }
    37.  
    38.     public String getAuthor() {
    39.         return author;
    40.     }
    41.  
    42.     public void setAuthor(String author) {
    43.         this.author = author;
    44.     }
    45.  
    46.     public double getPrice() {
    47.         return price;
    48.     }
    49.  
    50.     public void setPrice(double price) {
    51.         this.price = price;
    52.     }
    53.  
    54.     public String getPublic_inc() {
    55.         return public_inc;
    56.     }
    57.  
    58.     public void setPublic_inc(String public_inc) {
    59.         this.public_inc = public_inc;
    60.     }
    61. }

     实体类中创建了变量的数据类型就需要自动生成其然后生成getter，setter以及构造方法和无参构造方法

     依次点击构造方法，getter and setter.

             构造方法创建两个，一个无参，一个有参。

            完成这两个操作之后，我们的实体类就创建完成了。

    实体类的三大特点：

            属性封装：实体类通常会使用private修饰符来保护属性不被直接访问，只通过提供的getter和setter方法来获取或设置属性的值。
            数据操作：实体类通常会包含一些数据操作的方法，如插入、删除、修改等，以便在业务逻辑中进行数据处理。
            对象实例化：使用实体类可以方便地创建业务模型中的对象实例。
            实体类主要适用于存储数据库多行多列的表结构数据。

    二，核心逻辑代码

    1. //在下问代码编辑中会提示生成所需的import，只需要点击即可。
    2. import java.sql.*;
    3. import java.util.ArrayList;
    4. import java.util.List;
    5. //创建类名，自定义，本文使用的text
    6. public class text {
    7. //创建main方法
    8.     public static int main(String[] args) {
    9. //定义目标数据据的url
    10.         String pgurl= "jdbc:postgresql://10.0.0.199:6432/postgres" ;
    11. //创建一个名为ResultSql，数据类型为自定义的book的变量,用于装在表的结构化数据，其表的数据类型必须是自定义实体类book所有的
    12.         List<book> ResultSql = new ArrayList<>();
    13.         //定义一个源数据库oracle的url
    14.         String orclusrl="jdbc:oracle:thin:@//localhost:1521/ORCL";
    15.         try {
    16.             //第一步加载源数据库的url
    17.             Class.forName("oracle.jdbc.driver.OracleDriver");
    18.             //使用JDBC的DriverManager类的getConnection()方法建立到指定数据库的连接
    19.             Connection connection = DriverManager.getConnection(orclusrl, "system", "system");
    20.             //使用Connection对象的createStatement()方法创建一个新的Statement对象。这个对象可以用来执行各种类型的SQL语句，包括查询、更新、删除等。
    21.             Statement statement = connection.createStatement();
    22. //使用Statement对象的executeQuery()方法执行SQL查询语句，并将结果集存储在ResultSet对象rs中。
    23.             ResultSet rs = statement.executeQuery("select id, name, author, price, public_inc from dm.book");
    24.             //while(rs.next()){是一个while循环，它会一直重复，直到结果集中没有更多的行。每次迭代都会使光标向下移动一行，以便读取下一组数据
    25.             while(rs.next()){
    26.                 //它们创建了一个新的Book对象，
    27.                 book A = new book();
    28.                 //并通过ResultSet的getString()和getDouble()方法将每一列的数据提取出来，分别赋值给Book对象的属性。
    29.                 A.setId(rs.getString("id"));
    30.                 A.setName(rs.getString("name"));
    31.                 A.setAuthor(rs.getString("author"));
    32.                 A.setPrice(rs.getDouble("price"));
    33.                 A.setPublic_inc(rs.getString("public_inc"));
    34.                //将这个Book对象添加到了ResultSql集合中。
    35.                 ResultSql.add(A);
    36.             }
    37.             //关闭Statement对象
    38.             statement.close();
    39.             //关闭链接
    40.             connection.close();
    41.         } catch (SQLException e) {
    42.             e.printStackTrace();
    43.         } catch (ClassNotFoundException e) {
    44.             e.printStackTrace();
    45.         }
    46.         //定义变量i用于接受下文executeUpdate方法的返回值
    47.         int i = 0;
    48.         try {
    49.             //加载postgresql的JDBC驱动
    50.             Class.forName("org.postgresql.Driver");
    51.             //创建与postgresql的数据库链接
    52.             Connection connection = DriverManager.getConnection(pgurl, "readywrite", "readywrite");
    53.             //使用Connection对象的prepareStatement()方法创建一个PreparedStatement对象。这里的sql参数表示要执行的SQL语句，可以带有占位符，
    54.             String sql="insert into main.book(id, name, author, price, public_inc) values (?,?,?,?,?)";
    55.             //使用Connection对象的prepareStatement()方法创建一个PreparedStatement对象。这里的sql参数表示要执行的SQL语句
    56.             PreparedStatement preparedStatement = connection.prepareStatement(sql);
    57.             //是一个for-each循环，它会对ResultSql集合中的每个元素进行迭代。直到结果集中没有更多的行。每次迭代都会使光标向下移动一行，以便读取下一组数据
    58.             for (book A:ResultSql){
    59.                 //在循环体内。它们将当前Book对象的每个属性的值设置到PreparedStatement对象对应的占位符上。
    60.                 // 这里的setString()和setDouble()方法是用来设置非二进制类型的数据；
    61.                 // 对于二进制类型的数据，则需要使用setBinaryStream()、setBlob()、setBytes()、setCharacterStream()、
    62.                 // setClob()、setNCharacterStream()、setNClob()、setObject()、setRef()、setRowId()、setSQLXML()等方法。
    63.                 preparedStatement.setString(1,A.getId());
    64.                 preparedStatement.setString(2,A.getName());
    65.                 preparedStatement.setString(3,A.getAuthor());
    66.                 preparedStatement.setDouble(4,A.getPrice());
    67.                 preparedStatement.setString(5,A.getPublic_inc());
    68.                 //使用PreparedStatement对象的executeUpdate()方法执行SQL插入语句，返回受影响的行数。
    69.                 //此处一个是一个循环，所以每一此执行的都是一行，变量I的值也就是1.
    70.                 i = preparedStatement.executeUpdate();
    71.             }
    72.             preparedStatement.close();
    73.             connection.close();
    74.         } catch (SQLException e) {
    75.             e.printStackTrace();
    76.         } catch (ClassNotFoundException e) {
    77.             e.printStackTrace();
    78.         }
    79.         return i;
    80.     }
    81. }

    关键字讲解

    在定义一个实体类属性的变量的时候 

    固定格式：List<实体类名>  变量名 = new ArrayList<>();

    line47    int i = 0;

    定义了一个变量i，用于接受后面执行insert后的返回值，其返回值是0或者1；

    思考：

            如何让这个变量I变成一个累计值。

    line 54 

    String sql="insert into main.book(id, name, author, price, public_inc) values (?,?,?,?,?)";

    在定义一个SQL语句变量的时候里面使用了“？”，这个问号是一个占位符，用于

    preparedStatement.setString方法的定位。

    调用代码

    1. import java.util.List;
    2.  
    3. public class dy {
    4.     public static void main(String[] args) {
    5.         //在text的main方法的属性设置中，应为viod替换成了static int, 而这个int必须与代码中retrun I 返回值数据类型相同。
    6.         //调用代码中设置了一个int类型的bk变量，用于接收text.main调用的返回值I。
    7.         int bk = text.main(new String[]{"开始调用"});
    8.         System.out.println(bk);
    9.     }
    10. }

             点击运行调用脚本

            到目标数据库中查看效果。 

            数据库展示正常。 

  • 相关阅读:
    Java集合实例
    玻色量子荣登《麻省理工科技评论》2021“50家聪明公司”榜单
    c语言环形队列
    国际高性能计算和人工智能咨询委员会举办的第十届亚太区RDMA 编程赛结果出炉
    高企申报中的常见核心问题答疑
    成熟企业级开源监控解决方案Zabbix6.2关键功能实战-下
    javascript的数组对象常用方法
    Springboot 搭建 WebSocket
    three.js中关于摄影机
    MVC第三波书店书籍首页展示页面
  • 原文地址：https://blog.csdn.net/weixin_73350116/article/details/134202940