码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【Kettle】 Kettle连接Clickhouse自定义插件2.0(升级驱动)


    【Kettle】 Kettle连接Clickhouse自定义插件(升级驱动)

    • 🏆 前言
    • ⭐️ 环境&参考
      • 🍍参考文档
    • 🎯 自定义插件
      • 创建Java Maven项目
      • 创建Java类
      • 按照官方文档重写对应方法
      • 打包


    🏆 前言

    使用Kettle 整合不同Mysql数据库数据,批量插入Clickhouse,会不定时出现java.net.SocketException: Broken pipe错误 。Clickhouse社区给出的答案是驱动问题。社区回答
    在这里插入图片描述

    • 开始尝试升级clickhouse驱动,看是否解决问题,GitHub驱动地址。
      在这里插入图片描述

    ⭐️ 环境&参考

    • Clickhouse 21.4.5.46
    • Kettle 9.1.0
    • clickhouse JDBC驱动 com.clickhouse 0.3.2-patch3

    🍍参考文档

    Kettle 官方自定义创建插件文档

    喜欢吃燕麦粥的KeyL 大佬博客

    🎯 自定义插件

    创建Java Maven项目

    这里使用的还是kettle 8.1的包,9.1也可以使用,这里使用Clickhouse官方最新驱动

           <!-- https://mvnrepository.com/artifact/com.clickhouse/clickhouse-jdbc -->
           <dependency>
               <groupId>com.clickhouse</groupId>
               <artifactId>clickhouse-jdbc</artifactId>
               <version>0.3.2-patch3</version>
           </dependency>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    在这里插入图片描述

    创建Java类

    在这里插入图片描述

    @DatabaseMetaPlugin(type = "Clickhouse", typeDescription = "Clickhouse")
    public class ClickhouseDatabaseMeta extends BaseDatabaseMeta implements DatabaseInterface {
    
        private static final String STRICT_BIGNUMBER_INTERPRETATION = "STRICT_NUMBER_38_INTERPRETATION";
    
    • 1
    • 2
    • 3
    • 4

    按照官方文档重写对应方法

    • getURL方法
      在这里插入图片描述
    • 驱动修改getDriverClass
      在这里插入图片描述

    打包

    将所有依赖jar,打包成jar包。存放到新建clickhouse-plugins文件夹下。需要去Maven仓库把相关jar,和驱动放在 libswt /win64/下 。
    在这里插入图片描述
    在这里插入图片描述

    🎯插件下载地址

  • 相关阅读:
    AR眼镜_单目光波导VS双目光波导方案
    深入剖析ThreadLocal使用场景、实现原理、设计思想
    es(Elasticsearch)安装使用(01安装篇)
    Git&Gerrit常用操作
    JVM内存模型介绍
    gateway基本配置
    这款台灯,不仅能护眼,还能点读和互动
    Linux关于yum和vim入门的一些问题
    PHP 框架详解 - Symfony 框架
    C++中new[…]和动态数组
  • 原文地址:https://blog.csdn.net/Abner_G/article/details/125529258
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号