hudi系列-文件归档（archive）

1. 简介

hudi会不断生成commit、deltacommit、clean等类型的Instant从而形成活跃时间轴（ActiveTimeline），随着时间增长，时间轴变长，.hoodie元数据目录下的文件不断累积，为了限制元数据文件数量，需要对一些比较久远的元数据文件进行归档，保存到.hoodie/archived目录下，可以称之为归档时间轴（ArchivedTimeline）。

1.1 环境

flink 1.13.6
hudi 0.11.0
merge on read表

1.2 逻辑结构

在这里插入图片描述

2. 归档流程

2.1 每次commit触发归档

每次数据提交结束后都会触发archive操作HoodieFlinkWriteClient#postCommit，前提是开启了自动归档配置hoodie.archive.automatic

protected void autoArchiveOnCommit(

相关阅读:
Ansible：执行过程分析、异步模式和速度优化
机器学习算法：线性回归、逻辑回归、决策树和随机森林解析
C++ Reference: Standard C++ Library reference: C Library: cwchar: putwchar
第二十五章源代码文件 REST API 参考（七）
PHP各种老版本下载方式
Spring Framework 6正式发布，携JDK 17&Jakarta EE开启新篇章
计算机毕业设计php_thinkphp_vue的约课管理系统-课程预约
数字人解决方案——ER-NeRF实时对话数字人模型训练与项目部署
HBase学习笔记（3）—— HBase整合Phoenix
微服务高性能通信技术-gRPC实战落地

原文地址：https://blog.csdn.net/czmacd/article/details/126891750