searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

kyuubi参数配置及说明

2024-09-26 09:25:21
249
0

spark.submit.deployMode=cluster

用于指定spark程序的部署模式,决定driver程序运行的位置。有两种模式可以选择:clientclusterclient模式driver程序会运行在kyuubi服务器上,现在使用得时cluster模式。

cluster模式需要注意,用户的JDBC URL参数中spark.driver.memory配置的值不能超过集群中yarn.scheduler.maximum-allocation-mb参数配置的值。否则JDBC URL无法使用。

 

kyuubi.session.engine.initialize.timeout=PT3M

参数用于设置kyuubi计算引擎任务初始化超时时间,默认配置为1分钟。

 

kyuubi.operation.query.timeout=PT30M

参数用于设置查询操作的超时时间,默认为0,没有超时限制。

 

kyuubi.session.engine.idle.timeout=PT10M

参数用于设置kyuubi计算引擎的空闲超时时间,计算引擎在指定时间内没有使用时,引擎会自动退出以释放资源。

 

kyuubi.session.check.interval=PT2M

参数用于检查会话超时时间是否生效,默认为5分钟。会在kyuubi.session.idle.timeout生效后断开会话链接。

 

kyuubi.session.idle.timeout=PT1M

参数用于设置kyuubi查询接口会话的超时时长,会话在超时时长后会进入无法使用的状态。

 

kyuubi.engine.share.level=user

kyuubi支持不同的会话共享等级,connectionusergroup。这些会话级别决定了会话与引擎之间的关系。在user共享等级时,同一个用户的多个会话共享同一个引擎。

 

kyuubi.engine.share.level.subdomain

用于在同一个共享等级下,针对不同业务场景使用不同的引擎。为了避免2个任务因为使用同一个application互相影响,在JDBC URL中设置此参数,使作业提交至不同引擎上。主要是为了针对不同场景可能会出现的不同参数配置时,需要启动两个计算引擎执行任务。

 

0条评论
作者已关闭评论
王****宇
2文章数
0粉丝数
王****宇
2 文章 | 0 粉丝
王****宇
2文章数
0粉丝数
王****宇
2 文章 | 0 粉丝
原创

kyuubi参数配置及说明

2024-09-26 09:25:21
249
0

spark.submit.deployMode=cluster

用于指定spark程序的部署模式,决定driver程序运行的位置。有两种模式可以选择:clientclusterclient模式driver程序会运行在kyuubi服务器上,现在使用得时cluster模式。

cluster模式需要注意,用户的JDBC URL参数中spark.driver.memory配置的值不能超过集群中yarn.scheduler.maximum-allocation-mb参数配置的值。否则JDBC URL无法使用。

 

kyuubi.session.engine.initialize.timeout=PT3M

参数用于设置kyuubi计算引擎任务初始化超时时间,默认配置为1分钟。

 

kyuubi.operation.query.timeout=PT30M

参数用于设置查询操作的超时时间,默认为0,没有超时限制。

 

kyuubi.session.engine.idle.timeout=PT10M

参数用于设置kyuubi计算引擎的空闲超时时间,计算引擎在指定时间内没有使用时,引擎会自动退出以释放资源。

 

kyuubi.session.check.interval=PT2M

参数用于检查会话超时时间是否生效,默认为5分钟。会在kyuubi.session.idle.timeout生效后断开会话链接。

 

kyuubi.session.idle.timeout=PT1M

参数用于设置kyuubi查询接口会话的超时时长,会话在超时时长后会进入无法使用的状态。

 

kyuubi.engine.share.level=user

kyuubi支持不同的会话共享等级,connectionusergroup。这些会话级别决定了会话与引擎之间的关系。在user共享等级时,同一个用户的多个会话共享同一个引擎。

 

kyuubi.engine.share.level.subdomain

用于在同一个共享等级下,针对不同业务场景使用不同的引擎。为了避免2个任务因为使用同一个application互相影响,在JDBC URL中设置此参数,使作业提交至不同引擎上。主要是为了针对不同场景可能会出现的不同参数配置时,需要启动两个计算引擎执行任务。

 

文章来自个人专栏
文章 | 订阅
0条评论
作者已关闭评论
作者已关闭评论
0
0