• 数据中台方案


    平台引擎

    1. DataSphere Studio 基于插拔式的集成框架设计,及计算中间件 Linkis ,可轻松接入上层各种数据应用系统,让数据开发变得简洁又易用。 在统一的 UI 下,DataSphere Studio 以工作流式的图形化拖拽开发体验,将满足从数据交换、脱敏清洗、分析挖掘、质量检测、可视化展现、定时调度到数据输出应用等,数据应用开发全流程场景需求。

    数据治理引擎

    数据平台的数据治理:数据治理是一个大而全的治理体系。需要数据质量管理、元数据管理、主数据管理、模型管理管理、数据价值管理、
    数据共享管理和数据安全管理等等模块是一个活的有机体。

    1、数据质量: 依托Griffin平台,为您提供全链路的数据质量方案,包括数据探查、对比、质量监控、SQL扫描和智能报警等功能:
    开源方案: Apache Griffin + ES + SparkSql

    2、元数据: 描述数据的数据,对数据及信息资源的描述性信息,例如字段元数据描述字段的类型、长度、默认值。
    发布:指将某一元数据发布为数据资产的动作。数据资产是指可以对外提供服务并且产生价值的数据。
    表/字段血缘:即表/字段的来龙去脉,主要包含表/字段的来源、加工方式、映射关系及数据出口。血缘是元数据的一部分,
    有利于数据变更影响分析以及数据问题排查。

    开源方案: Apache Atlas + Spline + ES + Hbase + JanusGraph + Hive + Kafka

    3、数据标准: 参考阿里的DataWorks,数据标准是用于描述公司层面需共同遵守的数据含义和业务规则,
    它描述了公司层面对某个数据的共同理解,这些理解一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。
    数据标准,也称数据元,由一组属性规定其定义、标识、表示和允许值的数据单元,是不可再分的最小数据单元。
    您可以将数据标准关联到各个业务上的数据库中。
    其中,标识符、数据类型、表示格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。

    暂无事实性标准的开源方案:Mysql + SpringBoot

    4、数据服务:参考阿里的DataWorks, 数据服务旨在为企业搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务。
    数据服务为您提供快速将数据表生成API的能力,同时支持您快速注册现有的API至数据服务平台,进行统一的管理和发布。
    数据服务已经与API网关(API Gateway)连通,支持一键发布API服务至API网关。
    数据服务与API网关为您提供了安全稳定、低成本、易上手的数据开放共享服务。
    数据服务采用Serverless架构,您只需要关注API本身的查询逻辑,无需关心运行环境等基础设施,
    数据服务会为您准备好计算资源,并支持弹性扩展,零运维成本。

    开源方案:Apache Kong + Mysql + Lua + Postgresql + ES

    数据采集引擎

    1. 爬虫
    2. Logan 开源的是一整套日志体系,包括日志的收集存储,上报分析以及可视化展示。我们提供了五个组件,包括端上日志收集存储 、iOS SDK、Android SDK、Web SDK,后端日志存储分析 Server,日志分析平台 LoganSite。并且提供了一个 Flutter 插件Flutter 插件

    OLAP 联机分析处理引擎

    1. Kylin
    2. doris
    3. clickhouse
    4. Trino
    5. calcite
      基于Kylin3.1.3 DataSourceSDK + Calcite进行开发

    数据同步集成引擎

    1. debezium
    2. flink-cdc-connectors
    3. flinkx (改名chunjun)
    4. flume
    5. datax

    分布式存储引擎

    数据平台的分布式存储引擎:存算分离譬如Kylin+Parquet 存算一体譬如CK

    1. iceberg
    2. hudi

    机器学习 深度学习 ML 引擎

    1. Flink ML
  • 相关阅读:
    springboot启动连接数据库失败
    设计模式使用(成本扣除)
    社招前端经典手写面试题合集
    setup.py编写指南
    无需重新学习,使用 Kibana 查询/可视化 SLS 数据
    编程初学者应该先学C++、Java还是Python?
    NodeJS @kubernetes/client-node连接到kubernetes集群的方法
    多种方法查看Mysql版本信息(Windows、LINUX系统都适用)
    降噪耳机哪款比较舒适?比较舒适的降噪耳机盘点
    开发者的福音:TinyVue 组件库文档大优化!类型更详细,描述更清晰!
  • 原文地址:https://blog.csdn.net/u010020726/article/details/126437090