数据湖：OPPO数据湖统一存储技术实践

数据湖：OPPO数据湖统一存储技术实践
文章目录
- 一、数据湖简介
  
  二、OPPO数据湖解决方案
  
  三、数据湖CBFS存储架构
  
  四、CBFS核心技术
  
  1.元数据管理
  
  2.纠删码存储
  
  3. 数据湖访问加速
一、数据湖简介

数据湖定义：一种集中化的存储仓库，它将数据按其原始的数据格式存储，通常是二进制blob或者文件。一个数据湖通常是一个单一的数据集，包括原始数据以及转化后的数据（报表，可视化，高级分析和机器学习等）。

对比传统的Hadoop架构，数据湖有以下几个优点：
- 高度灵活：数据的读取、写入和加工都很方便，可保存所有的原始数据
- 多重分析：支持包括批、流计算，交互式查询，机器学习等多种负载
- 低成本：存储计算资源独立扩展；采用对象存储，冷热分离，成本更低
- 易管理：完善的用户管理鉴权，合规和审计，数据“存管用”全程可追溯
相关阅读:
2023-8-20 CVTE视源股份后端开发实习一面
 [原创]移动相机九点标定工具原理及实现（包涵部分源码）
循序渐进介绍基于CommunityToolkit.Mvvm 和HandyControl的WPF应用端开发(3)--自定义用户控件
 Fragment的使用方式
 凝聚五城力量 2022Home尧泰汉海“益起微笑”公益活动圆满举行
 使用go语言实现自建区块链系统的一些环境的一些总结
 Koa 6 响应(Response)
uniapp地图点击获取位置
 第十一章《Java实战常用类》第5节：UUID类
 Linux篇16进程信号第二部分
原文地址：https://blog.csdn.net/zhanggqianglovec/article/details/126590068

文章目录

一、数据湖简介