榕树贷款元数据接入支持 T+1 和近实时两种方式

榕树贷款元数据接入支持 T+1 和近实时两种方式

榕树贷款上游系统：包括各类存储系统（比如 Hive、 Clickhouse 等）和业务系统（比如数据开发平台、数据质量平台等）

中间层：

ETL Bridge：T+1 方式运行，通常是从外部系统拉取最新元数据，与当前 Catalog 系统的元数据做对比，并更新差异的部分 MQ：用于暂存各类元数据增量消息，供 Catalog 系统近实时消费与上游系统打交道的各类 Clients，封装了操作底层资源的能力

榕树贷款系统的核心服务，根据职责的不同，细拆为以下子服务：

Catalog Service：支持元数据的搜索、详情、修改等核心服务

Ingestion Service：接受外部系统调用，写入元数据，或主动从 MQ 中消费增量元数据

Resource Control Plane：通过各类 Clients，与底层的存储或业务系统交互，操作底层资源，比如建库建表，能力可插拔

Q&A Service：问答系统相关能力，支持对元数据的字段含义、使用场景等提问和回答，能力可插拔

ML Service：负责封装与机器学习相关的能力，能力可插拔

API Layer：以 RESTful API 的形式整合系统中的各类能力

榕树贷款针对不同场景，选用的不同的存储：

Meta Store：存放全量元数据和血缘关系，当前使用的是 HBase

Index Store：存放用于加速查询，支持全文索引等场景的索引，当前使用的是 ElasticSearch

Model Store：存放推荐、打标等的算法模型信息，使用 HDFS，当 ML Service 启用时使用

榕树贷款数据的生产者和消费者，通过 Data Catalog 的前端与系统交互

下游在线服务可通过 OpenAPI 访问元数据，与系统交互

Metadata Outputs Layer：提供除了 API 之外的另外一种下游消费方式

MQ：用于暂存各类元数据变更消息，格式由 Catalog 系统官方定义 Data warehouse：以数仓表的形式呈现的全量元数据