• 数睿通2.0:高效的数据处理,主数据与数据表功能全面升级


    引言

    八天很短,七天很长,数睿通 2.0 数据中台也随之迎来了新一轮的版本迭代,本次更新主要包括:

    • 主数据模型(可视化建模)
    • 主数据派发(支持派发主数据到下游数据表,rabbitMq,kafka,接口)
    • 数据表(数仓分层表信息展示,可视化建表,sql控制台)
    • 修复数据质量任务连接泄露问题
    • 数据库管理添加 schema 属性,解决部分数据库由于 schema 与库名不同产生的查询问题
    • 全局项目—数仓配置添加 ip,port,schema 属性,自动生成 jdbcUrl,提升交互体验
    • 修复数据质量任务连接泄露问题
    • 部分细节优化

    对数睿通 2.0 数据中台感兴趣的朋友,如果想要获取源码,部署文档等资料,下拉至文末查看。

    主数据模型、主数据派发

    主数据也称基准数据,通常指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据),与业务数据相比,主数据变化缓慢。

    在实际应用当中,业务发展到一定规模,各个系统的数据并不能完全互通,导致每个系统的主数据参差不齐,维护起来十分麻烦,而通过数据中台维护主数据模型,派发主数据到各系统,实现系统间主数据的整齐划一,便是其价值所在。

    本次更新在数据治理模块添加了主数据管理菜单,菜单下包含主数据模型,主数据派发两个功能点,通过主数据模型可以维护主数据目录,建立主数据模型,模型建设完毕后可以通过数据集成和数据开发两个模块,结合使用,引入主数据,形成稳定的主数据资产;通过主数据派发可以把主数据分发给各子系统的接口、消息队列、数据表,以下是部分功能截图展示。
    主数据模型1
    主数据模型2
    编辑主数据
    主数据派发分页
    派发详情
    派发记录

    数据表

    本次更新在数据开发模块添加了数据表功能,在此可以查看数仓分层下的所有物理表,查看表信息,建表语句等,同时提供 sql 控制台,便于用户执行 sql 语句,支持一次执行多条 sql,下面是部分功能截图展示。
    数据表
    sql控制台

    修复数据质量任务连接泄露问题

    得到用户反馈,执行多次质量任务之后会出现数据库连接被异常占满的问题,通过排查,发现是由于创建的数据库连接池没有得到及时释放导致,当前版本已修复此问题,主要是此处代码的修改,如下图所示。
    数据质量任务

    数据库管理,全局项目优化

    之前版本的数据库管理和全局项目中只有库名属性,没有添加 schema 属性,但部分数据库的库名和 schema 并不相同,比如 oracle,sqlServer,postgreSql 中都存在此问题,导致配置完数据库信息后,无法查询到库下的数据表信息,需要用户把库名配置成 schema 的名称才可以,对用户使用造成困扰,所以本次更新添加了 schema 属性,用以解决此问题。同时数仓配置额外添加了 ip 和 port 属性,便于系统自动生成 jdbcUrl,提升交互体验。
    数据库管理
    全局项目

    其他优化

    本次更新还对数据集成,数据开发,数据集市的一些细节问题进行了优化,主要是前台交互和底层的逻辑微调,在此就不再过多赘述了。

    结语

    本次中台的新功能介绍就到此结束了,其中主数据管理算是一个比较有价值的功能点,用的好可以对企业各系统的数据起到一个规范引导作用,而不是相互之间反复同步,调用,比对,有利于数据使用效能的提升。

    后续数睿通 2.0 还会逐渐完善,搜集用户的合理需求,让平台更健壮,成熟,稳定!

    目前源码,部署指南,讲解视频等相关资料是付费加入知识星球获取的,价格相比其他同系列的产品连个零头都不到,还是很良心的,星球内可以获取到数睿通 2.0 的最新源码资料等,功能发布之后也会第一时间分享。

    感兴趣的朋友请关注公众号 螺旋编程极客 加入星球,我们一起成长,一起进步。

  • 相关阅读:
    QT:可执行文件打包
    Ubuntu20.04 通过deb包方式安装微信
    go语言rpc初体验
    PX4模块设计之十七:ModuleBase模块
    【云栖2023】王峰:开源大数据平台3.0技术解读
    如何理解my_map.yaml中origin的含义
    [第三篇]——CentOS Docker 安装
    力扣(518.377)补7.31
    PID学习笔记:模拟加热系统的PID控制
    【Linux】进程信号
  • 原文地址:https://blog.csdn.net/m0_37719874/article/details/133818961