数睿通2.0数据接入、数据开发、系统权限、集群监控全面升级

引言

数睿通 2.0 数据中台迎来了11月份的更新，感谢大家的支持，本次更新主要包括以下内容：

• 数据库支持 MongoDB
• 数据接入支持 MongoDB，支持自定义 SQL 采集，支持停止运行中的任务
• 数据生产支持 FlinkJar 任务，分为 Standalone 和 Yarn Application 模式
• 数据生产支持 Flink1.16（需要 maven profiles 选择 flink-1.16 打包，后面会做成多版本动态支持）
• 接入集群监控微服务，监控各服务状态
• 支持根据部门划分数据权限
• bug 修复，细节优化

支持 MongoDB

新版数睿通的数据接入和数据生产模块添加了 MongoDB 的支持，数据接入可以选择 MongoDB 作为源端或者目的端进行数据同步操作。数据生产可以创建 MongoDB 类型的作业任务。现在的数据生产模块已经可以支持 Flink1.16（选择 flink-1.16 打包） ， 目前 Flink1.16 官方已经支持 MongoDB 的连接器，所以在平台可以建立 MongoDB 类型的 FlinkSql 任务，提交到 Flink 集群或者 Yarn 上面执行，但具体效果还需要进一步测试，后续版本平台在建立数据生产任务的时候，将可以动态选择 Flink 版本执行相应的任务。部分运行效果如下图所示。

支持 FlinkJar 任务

之前版本的数据生产支持 Sql 和 FlinkSql 两种任务类型，通过这两种方式可以完成大部分的实时和离线开发需求，但如果遇到复杂的业务，仅靠这两种方式显得有些力不从心，所以新版支持了 FlinkJar 类型的任务，通过数据开发人员编写任务代码，打成 Jar 包提交到平台，应对复杂的数据开发需求，当前支持提交任务到 Flink 集群或 Yarn 集群。部分运行效果如下图所示。

支持自定义 Sql 采集，支持停止运行中的任务

新版的数据接入模块添加了 Sql 采集任务的支持，源端可以通过书写 Sql 语句采集数据，相比之前数据表的接入方式更加灵活，通常用于多表 Join 等复杂业务的数据采集。部分运行效果如下图所示。


之前版本如果手动执行了数据接入任务，便无法停止，只能通过重启调度服务解决，如果任务耗时较长，则会对资源造成浪费，新版本添加了终止运行中任务的支持，可以随时终止正在运行的任务。

数据生产支持 Flink1.16

因为新版支持了 MongoDB 数据库，但 Flink 官方从 1.16 版本才开始支持 MongoDB，所以添加了 Flink1.16 的支持，以便能够使用 MongoDB 的连接器，打包数据生产模块的时候需要选择 Flink-1.16 进行打包，由于时间有限，我只测试了 Local 模式下读取 MogoDB 的 FlinkSql 任务，稳定性尚需进一步验证，下个版本平台将会在任务执行的时候支持动态选择 Flink 版本，现在只能单版本，大家可以等到下个版本发布的时候再使用测试。

接入集群监控微服务

新版本集成了 SpringBootAdmin，单独作为一个集群监控服务，用于监控每个服务的状态，查看服务的内存利用情况，日志等，帮助用户更加直观的查看每个服务的健康状况，保证每个微服务稳定运行。效果如下图所示（只启动了部分服务）。

支持部门级别的数据权限

新版本除了通过多项目租户进行数据隔离，还可以通过租户下的部门来控制数据查看权限，后台基本对每张业务表都添加了部门 id 字段，控制数据的查看范围，数据权限的具体设置方式如下所示。

结语

本次中台的新功能介绍就到此结束了，更新的功能较多，平台也因此变得更加稳定，强大，这离不开大家的反馈和支持！

后续数睿通 2.0 会推出数据标签，多版本 Flink 支持等功能，敬请期待！

目前源码，部署指南，讲解视频等相关资料是付费加入知识星球获取的，价格相比其他同系列的产品连个零头都不到，还是很良心的，星球内可以获取到数睿通 2.0 的最新源码资料等，功能发布之后也会第一时间分享。

感兴趣的朋友请关注公众号 螺旋编程极客 加入星球，我们一起成长，一起进步。