配置Hive源端参数 本章节主要介绍配置Hive源端参数。 作业中源连接为配置Hive连接时,源端作业参数如下表所示。 表 Hive作为源端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBLE 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式,如果没有使用WHERE条件做数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 HDFS 分区过滤条件 读取方式为HDFS时,单击“显示高级属性”后显示此参数。 该参数表示抽取指定值的partition,可以配置多个值(空格分隔),也可以配置为字段取值范围,接受时间宏函数。 单/多值过滤: "{dateformat(yyyyMMdd, 1, DAY)} {dateformat(yyyyMMdd)}" 范围过滤: " {value} > {dateformat(yyyyMMdd, 7, DAY)} && {value} 18 and age < 60 说明 Hive作为数据源,CDM自动使用Hive数据分片文件进行数据分区。