问题描述

在shell脚本中，hive执行分区修复语句（MSCK REPAIR TABLE）时报错。错误如下

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

---

原因分析：

默认情况下，Hive会验证表中每个分区对应的hdfs目录是否存在，并且与元数据中定义的分区信息是否一致。如果发现任何不匹配或缺失的分区目录，Hive将抛出错误并停止执行 MSCK REPAIR TABLE 命令。
我的错误原因：我在调度平台使用shell脚本执行定时任务，每次都会删除hdfs的目录，导致hive表分区与hdfs目录不匹配，所以报错。

---

解决方案：

1. set hive.msck.path.validation=ignore

在shell脚本中的MSCK REPAIR TABLE命令之前添加set hive.msck.path.validation=ignore，通过设置 hive.msck.path.validation=ignore; ，你告诉Hive忽略无效路径验证。这意味着当执行 MSCK REPAIR TABLE 时，即使存在不匹配或缺失的分区目录，在报错之前也会继续进行修复操作。它允许你跳过某些问题而继续修复其他有效部分。

2. 在每次删除hdfs目录时，删除对应的hive分区

查看hive分区：

SHOW PARTITIONS table_name;

查看hdfs目录：

hdfs dfs -ls /hive对应的hdfs目录

根据hive分区检查出已经删除的hdfs目录，然后删除这些hdfs目录对应的hive分区：

alter table hive_external_table_name drop partition(day='2024-01-11')

删除之后执行：MSCK REPAIR TABLE hive_external_table_name，执行成功

然后修改shell脚本，在hdfs dfs -rm -r /hive对应的hdfs目录后添加alter table hive_external_table_name drop partition(day='2024-01-11')。