spark.submit.deployMode=cluster
用于指定spark程序的部署模式,决定driver程序运行的位置。有两种模式可以选择:client和cluster。client模式driver程序会运行在kyuubi服务器上,现在使用得时cluster模式。
cluster模式需要注意,用户的JDBC URL参数中spark.driver.memory配置的值不能超过集群中yarn.scheduler.maximum-allocation-mb参数配置的值。否则JDBC URL无法使用。
kyuubi.session.engine.initialize.timeout=PT3M
参数用于设置kyuubi计算引擎任务初始化超时时间,默认配置为1分钟。
kyuubi.operation.query.timeout=PT30M
参数用于设置查询操作的超时时间,默认为0,没有超时限制。
kyuubi.session.engine.idle.timeout=PT10M
参数用于设置kyuubi计算引擎的空闲超时时间,计算引擎在指定时间内没有使用时,引擎会自动退出以释放资源。
kyuubi.session.check.interval=PT2M
参数用于检查会话超时时间是否生效,默认为5分钟。会在kyuubi.session.idle.timeout生效后断开会话链接。
kyuubi.session.idle.timeout=PT1M
参数用于设置kyuubi查询接口会话的超时时长,会话在超时时长后会进入无法使用的状态。
kyuubi.engine.share.level=user
kyuubi支持不同的会话共享等级,如connection、user、group。这些会话级别决定了会话与引擎之间的关系。在user共享等级时,同一个用户的多个会话共享同一个引擎。
kyuubi.engine.share.level.subdomain
用于在同一个共享等级下,针对不同业务场景使用不同的引擎。为了避免2个任务因为使用同一个application互相影响,在JDBC URL中设置此参数,使作业提交至不同引擎上。主要是为了针对不同场景可能会出现的不同参数配置时,需要启动两个计算引擎执行任务。