创建Flink SQL作业 参数 参数说明 所属队列 默认选择“共享队列”,用户也可以选择自定义的独享队列。 说明 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当所选择队列的剩余容量不能满足作业需求时,系统会自动扩容。当队列空闲时,系统也会自动缩容。 UDF Jar 选择“独享队列”时可配置该参数。 用户自定义UDF文件,在选择UDF Jar之前需要将对应的jar包上传至OBS桶中,并在“数据管理>程序包管理”中创建程序包,具体操作请参考 CU数量 CU数量为DLI的计算单元数量和管理单元数量总和,1CU1核4G。 当前配置的CU数量为运行作业时所需的CU数,不能超过其绑定队列的CU数量。 管理单元 管理单元CU数量。 并行数 并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力,但也须考虑线程增多带来的切换开销。 说明 最大并行数不能大于计算单元(CU数量管理单元)的4倍。 该界面并行数优先级低于代码中并行数设置。 TaskManager配置 用于设置TaskManager资源参数。 勾选后需配置下列参数: “单TM所占CU数”:每个TaskManager占用的资源数量。 “单TM Slot”:每个TaskManager包含的Slot数量。 OBS桶 选择OBS桶用于保存用户作业日志信息、checkpoint等信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 说明 如果同时勾选了“开启Checkpoint”和“保存作业日志”,OBS授权一次即可。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。在作业列表中,单击对应的作业名称,在“运行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。 注意 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 勾选后需配置下列参数: “OBS桶”:选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 说明 如果同时勾选了“开启Checkpoint”和“保存作业日志”,OBS授权一次即可。 作业异常告警 设置是否将作业异常告警信息,如作业出现运行异常或者欠费情况,以SMN的方式通知用户。 勾选后需配置下列参数: “SMN主题”: 选择一个自定义的SMN主题。如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。 开启Checkpoint 设置是否开启作业快照,开启后可基于Checkpoint(一致性检查点)恢复作业。 勾选后需配置下列参数: “Checkpoint间隔”:Checkpoint的时间间隔,单位为秒,输入范围1~999999,默认值为30s。 “Checkpoint模式”:支持如下两种模式: − At least once:事件至少被处理一次。 − Exactly once:事件仅被处理一次。 “OBS桶”:选择OBS桶用于保存用户Checkpoint。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 Checkpoint保存路径为:“桶名/jobs/checkpoint/作业id开头的目录”。 说明 如果同时勾选了“开启Checkpoint”和“保存作业日志”,OBS授权一次即可。 异常自动重启 设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。 勾选后需配置下列参数: “异常重试最大次数”:配置异常重试最大次数。单位为“次/小时”。 − 无限:无限次重试。 − 有限:自定义重试次数。 “从Checkpoint恢复”:需要同时勾选“开启Checkpoint”才可配置该参数。 空闲状态保留时长 用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态,默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略:“忽略”,“抛出异常”和“保存”。 说明 “保存”是指将脏数据保存到OBS桶中。 脏数据转储地址 “脏数据策略”选择“保存”时,配置该参数。单击地址框选择保存脏数据的OBS路径。