码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【Kettle】 Kettle连接Clickhouse自定义插件2.0(升级驱动)


    【Kettle】 Kettle连接Clickhouse自定义插件(升级驱动)

    • 🏆 前言
    • ⭐️ 环境&参考
      • 🍍参考文档
    • 🎯 自定义插件
      • 创建Java Maven项目
      • 创建Java类
      • 按照官方文档重写对应方法
      • 打包


    🏆 前言

    使用Kettle 整合不同Mysql数据库数据,批量插入Clickhouse,会不定时出现java.net.SocketException: Broken pipe错误 。Clickhouse社区给出的答案是驱动问题。社区回答
    在这里插入图片描述

    • 开始尝试升级clickhouse驱动,看是否解决问题,GitHub驱动地址。
      在这里插入图片描述

    ⭐️ 环境&参考

    • Clickhouse 21.4.5.46
    • Kettle 9.1.0
    • clickhouse JDBC驱动 com.clickhouse 0.3.2-patch3

    🍍参考文档

    Kettle 官方自定义创建插件文档

    喜欢吃燕麦粥的KeyL 大佬博客

    🎯 自定义插件

    创建Java Maven项目

    这里使用的还是kettle 8.1的包,9.1也可以使用,这里使用Clickhouse官方最新驱动

           <!-- https://mvnrepository.com/artifact/com.clickhouse/clickhouse-jdbc -->
           <dependency>
               <groupId>com.clickhouse</groupId>
               <artifactId>clickhouse-jdbc</artifactId>
               <version>0.3.2-patch3</version>
           </dependency>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    在这里插入图片描述

    创建Java类

    在这里插入图片描述

    @DatabaseMetaPlugin(type = "Clickhouse", typeDescription = "Clickhouse")
    public class ClickhouseDatabaseMeta extends BaseDatabaseMeta implements DatabaseInterface {
    
        private static final String STRICT_BIGNUMBER_INTERPRETATION = "STRICT_NUMBER_38_INTERPRETATION";
    
    • 1
    • 2
    • 3
    • 4

    按照官方文档重写对应方法

    • getURL方法
      在这里插入图片描述
    • 驱动修改getDriverClass
      在这里插入图片描述

    打包

    将所有依赖jar,打包成jar包。存放到新建clickhouse-plugins文件夹下。需要去Maven仓库把相关jar,和驱动放在 libswt /win64/下 。
    在这里插入图片描述
    在这里插入图片描述

    🎯插件下载地址

  • 相关阅读:
    分析师:百度到2030年可能成为中国市值最高的公司
    Python Lambda 常用使用方法汇总(结合fliter\map\reduce等函数)
    9.CF490F Treeland Tour 线段树合并
    音频基础知识
    字节跳动头条2022测试开发岗 3+1 面经+经验分享(收到offer,入职月薪30K)
    (Spring笔记)SpringFramework集成MyBatis——案例演示整合SM
    卷积神经网络——inception网络及python实现
    Java线程的基本操作(设置和获取、sleep、interrupt、join、yield、daemon、线程状态总结)
    Datawhale智能汽车AI挑战赛
    (附源码)springboot在线考试系统 毕业设计 160935
  • 原文地址:https://blog.csdn.net/Abner_G/article/details/125529258
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号