• Dinky,让 Flink SQL 纵享丝滑


    大家好,我是脚丫先生

    流批一体,越来越流行了,牛逼一体

    之前用java封装flink-sql-client提交脚本文件,很是摩擦。

    不过,在研发流批一体平台的时候发现了Dinky,终于丝滑了。

    今天就给小伙伴们推荐下低调但实力强大的Dinky!功能强大,解放自己

    Dinky

    基于 Apache Flink 二次开发,无侵入,开箱即用实时即未来,批流为一体。

    用好Dinky,无限丝滑。

    官方网站

    官方有着详细的使用教程,并且已经开源了。

    最重要的是可以加入交流群,随时问作者(比较耐心的一个大佬)。

    Dinky平台

    搭建Dinky,跟着官方搭建教程一步一操作,比较简单。

    作为FlinSQL实时计算平台,其核心功能:

    • 支持 Flink 原生语法、连接器、UDF 等: 几乎零成本将 Flink 作业迁移至 Dinky。
    • 增强 FlinkSQL 语法: 表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等。
      支持 Flink 多版本: 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi。
    • 支持外部数据源的 DB SQL 操作: 如 ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等。
    • 支持实时任务运维: 作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等。

    更多的功能,小伙伴们去官网一目了然。

    Dinky二次开发感受

    源码

    下载源码直接导入idea即可,和普通的导入工程没差别。

    用java开发的Dinky,非常友好,这么卷的java,现在谁不会。

    • 用Dinky做流批平台时候,以它作为后端,只需要根据需求,重新开发前端即可。

    看源码的日子,总是很累的。(看别人的代码脑壳痛)

    必须看懂,因为Flink实在很流行

    不过最大的感受就是,学会了关于Flink的很多知识,看明白了作者如何封装的。

    单纯的看源码总是很累的,只有在实际工作中,需要去改造功能,在去看源码,效率很高,也不枯燥。

    自研平台

    目前正在进行离线模块的开发,调度有点难顶。

    之前打算用熟悉的Airflow,但是发现小海豚挺流行的,自己也想学习学习,就安排上了。

    平台中实时流模块,在之后打算集成Dinky源码,让平台的功能更加完善和强大。

    祝各位终有所成,收获满满!

  • 相关阅读:
    Python爬虫——Selenium 简介和下载
    自动定时删除磁盘文件的脚本(从文件日期最早的开始删)
    日志平台搭建第五章:Linux安装Kafka
    TortoiseSVN小乌龟的使用
    MyBatis---初阶
    DST-Character Mod:Sesshoumaru-Introduction
    laravel-admin导出excel全部,表中无id列导出失败
    畅享高性能计算!天翼云HPC解决方案来了
    2023学生近视了用什么台灯好呢?好用预防近视的护眼台灯推荐
    Minimum Snap轨迹规划详解(3)闭式求解
  • 原文地址:https://blog.csdn.net/shujuelin/article/details/127102609