hudi系列-文件归档（archive）

1. 简介

hudi会不断生成commit、deltacommit、clean等类型的Instant从而形成活跃时间轴（ActiveTimeline），随着时间增长，时间轴变长，.hoodie元数据目录下的文件不断累积，为了限制元数据文件数量，需要对一些比较久远的元数据文件进行归档，保存到.hoodie/archived目录下，可以称之为归档时间轴（ArchivedTimeline）。

1.1 环境

flink 1.13.6
hudi 0.11.0
merge on read表

1.2 逻辑结构

在这里插入图片描述

2. 归档流程

2.1 每次commit触发归档

每次数据提交结束后都会触发archive操作HoodieFlinkWriteClient#postCommit，前提是开启了自动归档配置hoodie.archive.automatic

protected void autoArchiveOnCommit(

相关阅读:
Taro小程序富文本解析4种方法
python基础：判断分支语句的数学运用
Windows安装MySQL8.0详细步骤
Linux驱动BSP （pinctrl&gpio子系统）
tomcat-8.5.55 cluster配置session共享实现不停机部署
WPF应用框架中工作流模块的介绍
C++变量默认初始化
R语言dplyr包select函数筛选dataframe数据中以指定字符串结尾（end with）的数据列（变量）
国内用ChatGPT可以吗
Django 入门学习总结5

原文地址：https://blog.csdn.net/czmacd/article/details/126891750