实时数仓：美团基于Flink的实时数仓建设实施

实时数仓：美团基于Flink的实时数仓建设实施
文章目录
- 简介
  
  一、实时平台初期架构
  
  二、实时数仓的构建
  
  三、技术选型
  
  1. 存储引擎的调研
  
  2. 计算引擎的调研
  
  四、Flink使用心得
  
  1. 维度扩充
  
  2. 数据关联
  
  3. 聚合运算
  
  五、实时数仓成果
简介

近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。

一、实时平台初期架构

在实时数据系统建设初期，由于对实时数据的需求较少，形成不了完整的数据体系。我们采用的是“一路到底”的开发模式：通过在实时计算平台上部署 Storm 作业处理实时数据队列来提取数据指标，直接推送到实时应用服务中。

但是，随着产品和业务人员对实时
相关阅读:
活在当下，看清楚眼前——贪心算法
 react中zustand的使用
 SpringBoot_JsonFormat日期序列化
 Postman 做测试的 6 个常见问题
 JDBC中setTransactionIsolation
MapStruct踩坑笔记
 ES7 集群模式新增账号密码认证
 LeetCode-剑指57-和为s的两个数字
 Bert的pooler_output是什么？
Xcode报错“compact unwind compressed function offset doesn‘t fit in 24 bits
原文地址：https://blog.csdn.net/zhanggqianglovec/article/details/126036167

文章目录

简介

一、实时平台初期架构