Hudi运维管理
更新时间 2026-10-12 11:42:28
最近更新时间: 2026-10-12 11:42:28
本章节介绍Hudi运维管理建议。
表目录结构
Hudi 表在 HDFS 上的目录结构如下表所示(表根路径按 <路径>/<数据库>/<表名> 组织,示例为 <路径>/hudi_db/orders,<路径> 为存储根目录,实际以集群配置为准):
| 路径 | 说明 |
|---|---|
| <表根路径>/.hoodie/ | Hudi 元数据目录 |
| <表根路径>/.hoodie/hoodie.properties | 表属性文件,记录表类型、主键、版本等 |
| <表根路径>/.hoodie/timeline/ | 时间线目录,存放各Instant 的请求与完成文件 |
| <表根路径>/.hoodie/metadata/ | 表元数据(Metadata Table),加速文件列表与记录定位 |
| <表根路径>/.hoodie/archived/ | 已归档的历史时间线 |
| <表根路径>/<分区路径>/ | 各分区数据目录,存放基础文件与日志文件 |
基础文件与日志文件的命名规则如下:
基础文件: <fileId>_<writeToken>_<instantTime>.parquet
日志文件: .<fileId>_<instantTime>log.<version>_<writeToken>
查看时间线当前状态:
hdfs dfs -ls <路径>/hudi_db/orders/.hoodie/timeline | tail -20日志说明
Hudi 作业日志即 Spark 作业日志:
1、Driver/Executor 日志通过 yarn logs -applicationId <appId> 查看;
2、Hudi 写入过程中的时间线、索引、压缩等详细日志随作业日志输出,排障时重点关注 WARN/ERROR 级别的 hoodie 相关条目;
3、表状态类问题优先查看 .hoodie/timeline 目录中的 Instant 文件(.inflight 表示未完成,需回滚)。