活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 11.11智惠上云月 NEW 爆款云主机2核2G18.8元/3个月起!更有限时续费优惠,最低3.5折!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云AI产品特惠 NEW 人脸识别+文字识别焕新,新用户免费试用
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
算力互联调度平台
  • 算力市场
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用市场
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
  • Qwen2.5-VL-72B-Instruct
  • StableDiffusion-V2.1
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案智云上海应用生态专区
AI应用
  • 泛微合同管理解决方案
  • 泛微数智大脑Xiaoe.AI解决方案
  • MaxKB知识库解决方案
  • 天翼AI文创
AI服务
  • 昆仑AI训推服务解决方案
  • 国信模型服务解决方案
企业应用
  • 翼电子签约解决方案
  • 翼协同解决方案
  • 翼电签-契约锁解决方案
  • 翼视频云归档解决方案
教育应用
  • 翼电子教室
  • 潜在AI教育解决方案
建站工具
  • SSL证书
  • 翼定制建站解决方案
  • 翼多端小程序解决方案
办公协同
  • 天翼云企业云盘
  • 安全邮箱
灾备迁移
  • 云管家2.0
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      文档中心

      翼MapReduce

      翼MapReduce

      • 翼MapReduce

      无数据

        • 产品动态
        • 产品介绍
        • 产品定义
        • 版本概述
        • 产品优势
        • 功能特性
        • 多租户
        • 安全增强
        • 组件WEB UI便捷访问
        • 可靠性增强
        • 元数据库配置
        • 集群管理
        • 应用场景
        • 术语解释
        • 与其他产品的关系
        • 权限管理
        • 约束与限制
        • 安全
        • 责任共担
        • 身份认证与访问控制
        • 技术支持范围
        • 计费说明
        • 资源节点
        • 产品规格
        • 计费模式
        • 计费价格
        • 购买
        • 变更
        • 续订
        • 退订
        • 快速入门
        • 如何使用翼MR
        • 创建集群
        • 上传示例数据和程序
        • 添加作业
        • 从零开始使用Kerberos认证集群
        • 删除集群
        • 手动修改配置建议书
        • 组件依赖关系表
        • 用户指南
        • 准备用户
        • 创建翼MapReduce操作用户
        • LDAP用户同步
        • 配置集群
        • 创建方式简介
        • 快速创建集群
        • 创建数据湖集群
        • 创建数据分析集群
        • 创建数据服务集群
        • 创建云搜索集群
        • 创建实时数据流集群
        • 创建自定义集群
        • 管理数据连接
        • 配置元数据库
        • 配置存算分离
        • 管理集群
        • 登录集群
        • 翼MapReduce集群节点简介
        • 登录集群节点
        • 集群概览
        • 集群列表简介
        • 查看集群状态
        • 查看集群基本信息
        • 查看集群监控指标
        • 管理组件和主机监控
        • 资源洞察
        • 云监控服务
        • 健康检查
        • 健康检查概述
        • 节点管理
        • 管理节点操作
        • 配置升级
        • 节点扩容
        • 新增节点组
        • 磁盘扩容
        • 远程连接
        • 绑定/解绑弹性IP
        • 绑定/解绑IPv6带宽
        • 组件管理
        • 对象管理简介
        • 查看配置
        • 管理服务操作
        • 集群服务管理
        • 配置服务参数
        • 同步服务配置
        • 管理角色实例操作
        • 启动及停止集群
        • 下载集群的配置数据
        • 支持滚动重启
        • 作业管理
        • 运行MapReduce作业
        • 运行SparkSubmit作业
        • 运行HiveSQL作业
        • 运行SparkSQL作业
        • 运行Flink作业
        • 运行Kafka作业
        • 运行Hue任务
        • 查看主机和组件日志
        • 告警管理
        • 查看告警列表
        • 日志与审计
        • 集群日志
        • 云日志服务
        • 云审计
        • 使用翼MR客户端
        • 下载客户端
        • 安装客户端
        • 各组件客户端使用实践
        • 使用YARN客户端
        • 使用Flink客户端
        • 使用HBase客户端
        • 使用HDFS客户端
        • 使用Hive客户端
        • 使用Kafka客户端
        • 使用Trino客户端
        • 使用ZooKeeper客户端
        • 使用Kyuubi客户端
        • 使用Spark客户端
        • 访问组件Web页面
        • 开源组件Web站点
        • 开源组件端口列表
        • 通过弹性公网IP访问
        • 翼MR Manager操作指导
        • 从这里开始
        • 翼MR Manager入门指导
        • 首页
        • 首页概述
        • 资源概览
        • 资源概览概述
        • 集群服务
        • 集群服务管理概述
        • 集群服务详情页面概述
        • 启动、停止所有集群服务
        • 启动、停止单集群服务
        • 滚动重启单个集群服务
        • 启动、停止、重启实例
        • 滚动停止、滚动重启实例
        • 实例置维护/取消维护
        • 查看集群服务配置
        • 新增配置组
        • 查看配置组详情
        • 删除配置组
        • 查看配置详情
        • 新增配置
        • 编辑配置
        • 配置项对比
        • 配置文件预览
        • 下载配置文件
        • 配置文件历史对比
        • 查看配置历史版本
        • 删除配置
        • 配置同步
        • 查看配置状态
        • 重新同步
        • 配置回滚
        • 查看运维操作历史
        • 查看告警历史
        • 查看集群服务大屏
        • 集群服务健康检查
        • 主机
        • 主机管理页面概述
        • 主机详情页面概述
        • 主机置维护、取消维护
        • 查看主机状态
        • 查看主机实例列表
        • 查看主机实例列表-实例操作
        • 查看主机告警历史
        • 主机健康检查
        • 租户与资源
        • 租户与资源概述
        • 监控与告警
        • 指标查询
        • 告警历史
        • 告警规则-告警规则概述
        • 告警规则-告警规则详情
        • 运维与配置
        • 运维历史-查看运维历史
        • 运维历史-数据展示设置
        • 流水线历史-流水线历史概述
        • 流水线历史-查看流水线运行详情
        • 配置管理-主密码设置
        • 配置管理-配置管理概述
        • 配置管理-新增配置组
        • 配置管理-查看配置组详情
        • 配置管理-删除配置组
        • 配置管理-新增配置
        • 配置管理-查看配置详情
        • 配置管理-编辑配置
        • 配置管理-配置项对比
        • 配置管理-配置文件预览
        • 配置管理-下载配置文件
        • 配置管理-配置文件历史对比
        • 配置管理-查看配置历史版本
        • 配置管理-删除配置
        • 配置管理-配置同步
        • 配置管理-查看配置状态
        • 配置管理-重新同步
        • 配置管理-配置回滚
        • 配置历史-配置历史概述
        • 配置历史-查询配置历史
        • 配置历史-查看配置详情
        • 配置历史-查看配置状态
        • 配置历史-查看配置对比
        • 配置历史-重新同步
        • 配置同步历史-配置同步历史概述
        • 配置同步历史-查看配置同步状态
        • 安全性说明
        • 安全认证原理和认证机制
        • 高危操作一览表
        • 服务配置修改建议
        • 配置升级-服务配置修改建议
        • 多数据盘-服务配置修改建议
        • Master扩容-服务配置修改建议
        • ZooKeeper扩容
        • HDFS扩容
        • YARN扩容
        • Hive扩容
        • 自定义服务配置
        • 最佳实践
        • Kibana用户体验、性能优化
        • ES集群规划、性能优化
        • Kafka性能调优
        • API参考
        • API使用说明
        • API概览
        • API
        • 2023-11-02
        • 查询集群节点组详情V2
        • 根据id查询集群信息V2
        • 集群信息分页查询V2
        • 根据集群id查询节点组信息V2
        • 创建集群
        • 扩容集群
        • 退订集群
        • 元数据概览
        • 元数据信息查询
        • 常见问题
        • 产品咨询类
        • 翼MR支持什么类型的分布式存储?
        • 什么是区域和可用区?
        • 翼MR是否支持更换网段?
        • 翼MR集群内节点是否支持降配操作?
        • 翼MR集群是否支持Hive on Spark?
        • 不同版本的Hive之间是否可以兼容?
        • 翼MR是否支持Hive on Tez和Hive on Kudu?
        • 翼MR集群内节点上/var/log目录中的日志文件能否清理?
        • Kafka支持的访问协议类型有哪些?
        • 翼MR产品支持Hive元数据库使用内置MySQL类型吗?
        • 是否支持修改翼MR集群中节点的IP地址?
        • 翼MR集群版本对应的操作系统是什么?
        • 翼MR管理控制台和翼MR Manager页面区别与联系?
        • 计费类
        • 购买类
        • 操作类
        • 账号密码类
        • 账号权限类
        • 集群创建类
        • 集群管理类
        • 使用类FAQ
        • 如何查看所有集群?
        • 如何查看主机和组件日志?
        • 如何进行集群服务配置调优?
        • 大数据业务开发
        • 执行Spark任务报内存不足告警如何处理?
        • HBase表如何设置和修改数据保留期?
        • 如何查看HBase日志?
        • HBase支持的压缩算法有哪些?
        • Kafka目前支持的访问协议类型有哪些?
        • 消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理?
        • 翼MR如何连接spark-shell?
        • 翼MR如何连接spark-beeline?
        • Spark job对应的执行日志保存在哪里?
        • Spark.yarn.executor.memoryOverhead设置不生效如何处理?
        • SparkSQL访问Hive分区表启动Job前耗时较长如何处理?
        • 如何获取Spark Jar包?
        • Trino如何配置其他数据源?
        • 性能优化类
        • 组件性能
        • Doris性能优化后TPC-H测试结果
        • 翼MR搜索引擎组件性能对比测试结果
        • Spark组件优化后TPC-DS测试结果
        • 视频专区
        • 文档下载
        • 翼MapReduce服务用户操作指南
        • 相关协议
        • 翼MapReduce产品服务协议
        • 翼MapReduce产品服务等级协议
          无相关产品

          本页目录

          帮助中心翼MapReduce用户指南服务配置修改建议自定义服务配置
          自定义服务配置
          更新时间 2025-10-23 16:37:56
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2025-10-23 16:37:56
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          本章节主要介绍自定义服务配置的使用方法。

          操作场景

          HDFS、YARN、Hive等服务含有大量配置项,为便于服务使用,您可使用自定义服务配置功能,在创建集群或新增服务前修改或添加配置项。

          前提条件

          当前支持用户对HDFS、Hive、Spark、HBase、YARN、Kyuubi的部分文件进行修改与添加配置项。其他组件服务暂不支持使用自定义服务配置功能。

          操作步骤

          1、支持用户在订购环节对所选服务进行配置修改与添加。

          1)在翼MR订购页-软件配置环节选择所需组件服务。

          2)在软件配置环节,开启自定义服务配置开关。

          3)在输入框中添加JSON 格式的配置信息。

           

          2、支持用户在新增集群服务环节对所选服务的配置进行修改与添加。

          1)在翼MR控制台-集群服务管理页面选择需要新增部署的组件服务。

          2)在弹窗中开启自定义服务配置开关。

          3)在输入框中添加JSON 格式的配置信息。

          配置说明

          在创建集群或新增集群服务过程中,可通过自定义服务配置功能,添加JSON格式的配置文件,覆盖或添加集群服务的默认参数。JSON文件的内容示例如下:

          [
          	{
          	"applicationName":"YARN",
          	"configFileName":"mapred-site.xml",
          	"configItemKey":"mapreduce.task.timeout",
          	"configItemValue":"200000"
          	},
          	{
          	"applicationName":"HDFS",
          	"configFileName":"hdfs-site.xml",
          	"configItemKey":"dfs.replication",
          	"configItemValue":"2"
          	}
          ]

          参数含义说明:

          参数名称

          说明

          applicationName服务的名称。
          configFileName配置文件的名称。
          configItemKey配置项的名称。
          configItemValue该配置需要设置的具体内容。

          针对不同文件自定义服务配置的修改方式有所不同

          1、全文修改

          部分配置文件只能进行全文覆盖。用户需要使用CONF_CONTENT作为configItemKey,在configItemValue中输入转义后的配置文件内容,输入的配置文件内容会在部署后自动覆盖到服务对应的配置上。文件内容的字符串需要用户对常见字符进行转义,如双引号、单引号、换行符、反斜杠等。需要通过全文覆盖方式进行配置修改的文件如下:

          服务名称

          配置文件

          HBasehbase-env.sh
          log4j.properties
          HDFShadoop-env.sh

          YARN

          mapred-env.sh
          yarn-env.sh

          Hive

          hive-env.sh
          hive-log4j2.properties
          Kyuubikyuubi-env.sh

          2、按配置项修改

          部分配置文件支持按配置项进行修改,支持修改的配置项如下:

          说明

          1)Kerberos的krb5.conf文件,只支持使用kerberosRealm作为configItemKey来配realm,暂不支持配置其它配置项。

          2)Spark的spark-env.sh文件中,custom_spark-env配置项需要对参照上文全文修改的方式,对文件内容进行转义。

          服务名称

          配置文件

          配置项

          HBasehbase-site.xmlhbase.cluster.distributed
          hbase.coprocessor.abortonerror
          hbase.coprocessor.master.classes
          hbase.coprocessor.region.classes
          hbase.master.kerberos.principal
          hbase.master.keytab.file
          hbase.master.loadbalancer.class
          hbase.quota.enabled
          hbase.quota.refresh.period
          hbase.regionserver.kerberos.principal
          hbase.regionserver.keytab.file
          hbase.rest.authentication.kerberos.keytab
          hbase.rest.authentication.kerberos.principal
          hbase.rest.kerberos.principal
          hbase.rootdir
          hbase.security.authentication
          hbase.security.authorization
          hbase.superuser
          hbase.thrift.kerberos.principal
          hbase.thrift.keytab.file
          hbase.tmp.dir
          hbase.unsafe.stream.capability.enforce
          hbase.wal.provider
          hbase.zookeeper.property.clientPort
          hbase.zookeeper.quorum
          zookeeper.znode.parent
          HDFScore-site.xmldfs.datanode.cached-dfsused.check.interval.ms
          fs.AbstractFileSystem.jfs.impl
          fs.defaultFS
          fs.du.interval
          fs.getspaceused.jitterMillis
          fs.jfs.impl
          fs.permissions.umask-mode
          fs.trash.checkpoint.interval
          fs.trash.interval
          ha.failover-controller.new-active.rpc-timeout.m
          ha.failover-controller.new-active.rpc-timeout.ms
          ha.health-monitor.rpc-timeout.ms
          ha.zookeeper.quorum
          ha.zookeeper.session-timeout.ms
          hadoop.caller.context.enabled
          hadoop.kerberos.kinit.command
          hadoop.proxyuser.hdfs.groups
          hadoop.proxyuser.hdfs.hosts
          hadoop.proxyuser.hive.groups
          hadoop.proxyuser.hive.hosts
          hadoop.proxyuser.HTTP.groups
          hadoop.proxyuser.HTTP.hosts
          hadoop.proxyuser.httpfs.groups
          hadoop.proxyuser.httpfs.hosts
          hadoop.proxyuser.yarn.groups
          hadoop.proxyuser.yarn.hosts
          hadoop.rpc.protection
          hadoop.security.auth_to_local
          hadoop.security.authentication
          hadoop.security.authorization
          hadoop.security.group.mapping
          hadoop.security.group.mapping.ldap.base
          hadoop.security.group.mapping.ldap.bind.password.file
          hadoop.security.group.mapping.ldap.bind.user
          hadoop.security.group.mapping.ldap.num.attempts
          hadoop.security.group.mapping.ldap.num.attempts.before.failover
          hadoop.security.group.mapping.ldap.posix.attr.uid.name
          hadoop.security.group.mapping.ldap.search.attr.group.name
          hadoop.security.group.mapping.ldap.search.attr.member
          hadoop.security.group.mapping.ldap.search.filter.group
          hadoop.security.group.mapping.ldap.search.filter.user
          hadoop.security.group.mapping.provider.ldap4users
          hadoop.security.group.mapping.provider.ldap4users.ldap.url
          hadoop.security.group.mapping.provider.shell4services
          hadoop.security.group.mapping.providers
          hadoop.security.group.mapping.providers.combined
          httpfs.proxyuser.mapred.groups
          httpfs.proxyuser.mapred.hosts
          io.compression.codec.lzo.class
          io.file.buffer.size
          ipc.client.connection.maxidletime
          ipc.server.listen.queue.size
          ipc.server.log.slow.rpc
          jeekefs.cache-dir
          jeekefs.cache-size
          jeekefs.discover-nodes-url
          jeekefs.meta
          jeekefs.server-principal
          topology.script.file.name
          hdfs-site.xmldfs.block.access.token.enable
          dfs.blockreport.incremental.intervalMsec
          dfs.blockreport.initialDelay
          dfs.blockreport.intervalMsec
          dfs.blockreport.split.threshold
          dfs.blocksize
          dfs.client.failover.proxy.provider.ctyunns
          dfs.client.read.shortcircuit
          dfs.client.socket-timeout
          dfs.cluster.administrators
          dfs.datanode.address
          dfs.datanode.cached-dfsused.check.interval.ms
          dfs.datanode.data.dir
          dfs.datanode.data.dir.perm
          dfs.datanode.directoryscan.threads
          dfs.datanode.du.reserved.calculator
          dfs.datanode.du.reserved.pct
          dfs.datanode.failed.volumes.tolerated
          dfs.datanode.fileio.profiling.sampling.percentage
          dfs.datanode.handler.count
          dfs.datanode.http.address
          dfs.datanode.kerberos.principal
          dfs.datanode.keytab.file
          dfs.datanode.max.transfer.threads
          dfs.datanode.max.xcievers
          dfs.datanode.peer.stats.enabled
          dfs.domain.socket.path
          dfs.encrypt.data.transfer.cipher.suites
          dfs.ha.automatic-failover.enabled
          dfs.ha.fencing.methods
          dfs.ha.namenodes.ctyunns
          dfs.hosts.exclude
          dfs.image.transfer.bandwidthPerSec
          dfs.internal.nameservices
          dfs.journalnode.edits.dir.ctyunns
          dfs.journalnode.http-address
          dfs.journalnode.kerberos.internal.spnego.principal
          dfs.journalnode.kerberos.principal
          dfs.journalnode.keytab.file
          dfs.journalnode.rpc-address
          dfs.namenode.accesstime.precision
          dfs.namenode.acls.enabled
          dfs.namenode.audit.log.async
          dfs.namenode.avoid.read.stale.datanode
          dfs.namenode.avoid.write.stale.datanode
          dfs.namenode.block.deletion.increment
          dfs.namenode.checkpoint.dir
          dfs.namenode.checkpoint.edits.dir
          dfs.namenode.checkpoint.period
          dfs.namenode.checkpoint.txns
          dfs.namenode.deletefiles.limit
          dfs.namenode.edit.log.autoroll.multiplier.threshold
          dfs.namenode.fs-limits.max-directory-items
          dfs.namenode.fslock.fair
          dfs.namenode.handler.count
          dfs.namenode.http-address.ctyunns.nn1
          dfs.namenode.http-address.ctyunns.nn2
          dfs.namenode.kerberos.internal.spnego.principal
          dfs.namenode.kerberos.principal
          dfs.namenode.keytab.file
          dfs.namenode.lock.detailed-metrics.enabled
          dfs.namenode.name.dir
          dfs.namenode.name.dir.restore
          dfs.namenode.quota.init-threads
          dfs.namenode.rpc-address.ctyunns.nn1
          dfs.namenode.rpc-address.ctyunns.nn2
          dfs.namenode.safemode.threshold-pct
          dfs.namenode.service.handler.count
          dfs.namenode.servicerpc-address.ctyunns.nn1
          dfs.namenode.servicerpc-address.ctyunns.nn2
          dfs.namenode.shared.edits.dir.ctyunns
          dfs.namenode.stale.datanode.interval
          dfs.namenode.startup.delay.block.deletion.sec
          dfs.namenode.support.allow.format
          dfs.namenode.write.stale.datanode.ratio
          dfs.nameservices
          dfs.permissions.superusergroup
          dfs.qjournal.select-input-streams.timeout.ms
          dfs.qjournal.start-segment.timeout.ms
          dfs.qjournal.write-txns.timeout.ms
          dfs.replication
          dfs.replication.max
          dfs.web.authentication.kerberos.keytab
          dfs.web.authentication.kerberos.principal
          dfs.webhdfs.enabled
          hadoop.caller.context.enabled
          rpc.metrics.percentiles.intervals
          rpc.metrics.quantile.enable
          Hivehive-site.xmlhive.auto.convert.join
          hive.auto.convert.sortmerge.join
          hive.auto.convert.sortmerge.join.to.mapjoin
          hive.compactor.initiator.on
          hive.default.fileformat
          hive.default.fileformat.managed
          hive.exec.compress.output
          hive.exec.dynamic.partition
          hive.exec.stagingdir
          hive.execution.engine
          hive.hook.proto.base-directory
          hive.insert.into.multilevel.dirs
          hive.limit.optimize.enable
          hive.mapred.reduce.tasks.speculative.execution
          hive.merge.mapredfiles
          hive.metastore.authorization.storage.checks
          hive.metastore.warehouse.dir
          hive.metastore.warehouse.external.dir
          hive.optimize.bucketmapjoin
          hive.optimize.dynamic.partition.hashjoin
          hive.optimize.index.filter
          hive.optimize.metadataonly
          hive.optimize.remove.identity.project
          hive.server2.proxy.user
          hive.stats.fetch.column.stats
          hive.txn.strict.locking.mode
          hive.update.last.access.time.interval
          hive.user.install.directory
          hive.vectorized.execution.mapjoin.minmax.enabled
          hive.vectorized.execution.mapjoin.native.fast.hashtable.enabled
          hive.vectorized.groupby.checkinterval
          metastore.expression.proxy
          Kyuubikyuubi-defaults.confkyuubi.backend.server.event.json.log.path
          kyuubi.backend.server.event.loggers
          kyuubi.delegation.token.renew.interval
          kyuubi.ha.namespace
          kyuubi.metrics.reporters
          kyuubi.operation.getTables.ignoreTableProperties
          kyuubi.session.engine.idle.timeout
          kyuubi.session.idle.timeout
          spark.master
          spark.submit.deployMode
          spark.yarn.queue
          Sparkspark-defaults.confspark.driver.cores
          spark.driver.extraJavaOptions
          spark.driver.extraLibraryPath
          spark.driver.maxResultSize
          spark.driver.memory
          spark.dynamicAllocation.enabled
          spark.dynamicAllocation.initialExecutors
          spark.dynamicAllocation.maxExecutors
          spark.dynamicAllocation.minExecutors
          spark.eventLog.dir
          spark.executor.cores
          spark.executor.extraJavaOptions
          spark.executor.extraLibraryPath
          spark.executor.heartbeatInterval
          spark.executor.memory
          spark.executorEnv.JAVA_HOME
          spark.files.openCostInBytes
          spark.hadoop.mapreduce.output.fileoutputformat.compress
          spark.hadoop.mapreduce.output.fileoutputformat.compress.codec
          spark.hadoop.yarn.timeline-service.enabled
          spark.history.fs.cleaner.enabled
          spark.history.fs.cleaner.interval
          spark.history.fs.cleaner.maxAge
          spark.history.fs.logDirectory
          spark.history.kerberos.enabled
          spark.history.kerberos.keytab
          spark.history.store.maxDiskUsage
          spark.history.ui.maxApplications
          spark.history.ui.port
          spark.io.compression.lz4.blockSize
          spark.kryo.unsafe
          spark.kryoserializer.buffer.max
          spark.locality.wait
          spark.master
          spark.memory.offHeap.enabled
          spark.memory.offHeap.size
          spark.network.timeout
          spark.port.maxRetries
          spark.rdd.parallelListingThreshold
          spark.reducer.maxSizeInFlight
          spark.resultGetter.threads
          spark.rpc.io.backLog
          spark.scheduler.maxReqisteredResourcesWaitingTime
          spark.shuffle.accurateBlockThreshold
          spark.shuffle.file.buffer
          spark.shuffle.io.connectionTimeout
          spark.shuffle.manager
          spark.shuffle.mapOutput.dispatcher.numThreads
          spark.shuffle.memoryFraction
          spark.shuffle.push.enabled
          spark.shuffle.push.maxBlockSizeToPush
          spark.shuffle.push.merge.finalizeThreads
          spark.shuffle.push.mergersMinStaticThreshold
          spark.shuffle.readHostLocalDisk
          spark.shuffle.service.enabled
          spark.shuffle.unsafe.file.output.buffer
          spark.speculation
          spark.speculation.interval
          spark.speculation.minTaskRuntime
          spark.speculation.multiplier
          spark.speculation.quantile
          spark.sql.adaptive.coalescePartitions.initialPartitionNum
          spark.sql.adaptive.coalescePartitions.minPartitionNum
          spark.sql.adaptive.enabled
          spark.sql.adaptive.forceApply
          spark.sql.adaptive.forceOptimizeSkewedJoin
          spark.sql.adaptive.shuffle.targetPostShuffleInputSize
          spark.sql.autoBroadcastJoinThreshold
          spark.sql.catalog.spark_catalog
          spark.sql.catalog.spark_catalog.type
          spark.sql.cbo.joinReorder.enabled
          spark.sql.extensions
          spark.sql.files.maxPartitionBytes
          spark.sql.files.openCostInBytes
          spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes
          spark.sql.finalStage.adaptive.coalescePartitions.minPartitionNum
          spark.sql.finalStage.adaptive.skewJoin.skewedPartitionFactor
          spark.sql.finalStage.adaptive.skewJoin.skewedPartitionThresholdInBytes
          spark.sql.hive.convertMetastoreOrc
          spark.sql.hive.dropPartitionByName.enabled
          spark.sql.inMemoryColumnarStorage.batchSize
          spark.sql.join.preferSortMergeJoin
          spark.sql.legacy.charVarcharAsString
          spark.sql.legacy.timeParserPolicy
          spark.sql.optimizer.finalStageConfigIsolation.enabled
          spark.sql.optimizer.inferRebalanceAndSortOrders.enabled
          spark.sql.optimizer.insertRepartitionBeforeWriteIfNoShuffle.enabled
          spark.sql.optimizer.inSetConversionThreshold
          spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold
          spark.sql.optimizer.runtime.bloomFilter.enabled
          spark.sql.optimizer.runtimeFilter.number.threshold
          spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled
          spark.sql.orc.aggregatePushdown
          spark.sql.orc.columnarReaderBatchSize
          spark.sql.orc.enableNestedColumnVectorizedReader
          spark.sql.parquet.aggregatePushdown
          spark.sql.parquet.columnarReaderBatchSize
          spark.sql.parquet.enableNestedColumnVectorizedReader
          spark.sql.parquet.pushdown.inFilterThreshold
          spark.sql.query.table.file.max.count
          spark.sql.query.table.file.max.length
          spark.sql.query.table.partition.max.count
          spark.sql.sessionWindow.buffer.in.memory.threshold
          spark.sql.shuffle.partitions
          spark.sql.sources.parallelPartitionDiscovery.parallelism
          spark.sql.sources.parallelPartitionDiscovery.threshold
          spark.sql.statistics.fallBackToHdfs
          spark.sql.storeAssignmentPolicy
          spark.sql.subquery.maxThreadThreshold
          spark.sql.support.block.inferior.sql
          spark.storage.decommission.shuffleBlocks.maxThreads
          spark.task.reaper.enabled
          spark.unsafe.sorter.spill.reader.buffer.size
          spark.yarn.appMasterEnv.JAVA_HOME
          spark.yarn.containerLauncherMaxThreads
          spark.yarn.scheduler.heartbeat.interval-ms
          spark.yarn.scheduler.initial-allocation.interval
          spark-env.shcustom_spark-env
          spark_engine
          YARNmapred-site.xmlmapreduce.application.classpath
          mapreduce.cluster.acls.enabled
          mapreduce.framework.name
          mapreduce.job.acl-modify-job
          mapreduce.job.counters.counter.name.max
          mapreduce.job.counters.group.name.max
          mapreduce.job.counters.groups.max
          mapreduce.job.counters.max
          mapreduce.jobhistory.admin.acl
          mapreduce.jobhistory.bind-host
          mapreduce.jobhistory.done-dir
          mapreduce.jobhistory.http.policy
          mapreduce.jobhistory.intermediate-done-dir
          mapreduce.jobhistory.recovery.enable
          mapreduce.jobhistory.recovery.store.leveldb.path
          mapreduce.map.env
          mapreduce.map.java.opts
          mapreduce.map.log.level
          mapreduce.map.memory.mb
          mapreduce.map.output.compress
          mapreduce.map.output.compress.codec
          mapreduce.map.sort.spill.percent
          mapreduce.map.speculative
          mapreduce.output.fileoutputformat.compress
          mapreduce.output.fileoutputformat.compress.codec
          mapreduce.reduce.env
          mapreduce.reduce.input.buffer.percent
          mapreduce.reduce.java.opts
          mapreduce.reduce.log.level
          mapreduce.reduce.memory.mb
          mapreduce.reduce.shuffle.fetch.retry.enabled
          mapreduce.reduce.shuffle.fetch.retry.interval-ms
          mapreduce.reduce.shuffle.fetch.retry.timeout-ms
          mapreduce.reduce.shuffle.input.buffer.percent
          mapreduce.reduce.shuffle.merge.percent
          mapreduce.reduce.shuffle.parallelcopies
          mapreduce.reduce.speculative
          mapreduce.shuffle.port
          mapreduce.task.io.sort.factor
          mapreduce.task.io.sort.mb
          mapreduce.task.timeout
          yarn.app.mapreduce.am.env
          yarn.app.mapreduce.am.log.level
          yarn.app.mapreduce.am.resource.mb
          yarn.app.mapreduce.am.staging-dir

          yarn-site.xml

          hadoop.http.authentication.simple.anonymous.allowed
          hadoop.http.filter.initializers
          hadoop.registry.client.auth
          yarn.acl.enable
          yarn.log-aggregation.retain-seconds
          yarn.log-aggregation-enable
          yarn.node-labels.enabled
          yarn.node-labels.fs-store.root-dir
          yarn.nodemanager.address
          yarn.nodemanager.container-executor.class
          yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
          yarn.nodemanager.localizer.cache.target-size-mb
          yarn.nodemanager.localizer.client.thread-count
          yarn.nodemanager.localizer.fetch.thread-count
          yarn.nodemanager.log.retain-seconds
          yarn.nodemanager.log-aggregation.compression-type
          yarn.nodemanager.log-aggregation.debug-enabled
          yarn.nodemanager.log-aggregation.num-log-files-per-app
          yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds
          yarn.nodemanager.recovery.dir
          yarn.nodemanager.recovery.enabled
          yarn.nodemanager.recovery.supervised
          yarn.nodemanager.remote-app-log-dir
          yarn.nodemanager.remote-app-log-dir-suffix
          yarn.nodemanager.resource.cpu-vcores
          yarn.nodemanager.resource.memory-mb
          yarn.nodemanager.resource.percentage-physical-cpu-limit
          yarn.nodemanager.resourcemanager.connect.wait.secs
          yarn.nodemanager.vmem-check-enabled
          yarn.nodemanager.vmem-pmem-ratio
          yarn.nodemanager.webapp.cross-origin.enabled
          yarn.resourcemanager.cluster-id
          yarn.resourcemanager.fusing.enable
          yarn.resourcemanager.fusing-max-api-get-jobs
          yarn.resourcemanager.ha.rm-ids
          yarn.resourcemanager.hostname.rm1
          yarn.resourcemanager.hostname.rm2
          yarn.resourcemanager.max-completed-applications
          yarn.resourcemanager.recovery.enabled
          yarn.resourcemanager.scheduler.autocorrect.container.allocation
          yarn.resourcemanager.scheduler.class
          yarn.resourcemanager.scheduler.monitor.enable
          yarn.resourcemanager.store.class
          yarn.resourcemanager.webapp.address.rm1
          yarn.resourcemanager.webapp.address.rm2
          yarn.resourcemanager.webapp.cross-origin.enabled
          yarn.scheduler.maximum-allocation-mb
          yarn.scheduler.maximum-allocation-vcores
          yarn.scheduler.minimum-allocation-mb
          yarn.scheduler.minimum-allocation-vcores
          yarn.timeline-service.client.best-effort
          yarn.timeline-service.client.max-retries
          yarn.timeline-service.enabled
          yarn.timeline-service.http-cross-origin.enabled
          yarn.webapp.ui2.enable

           

          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

          上一篇 :  Hive扩容
          下一篇 :  最佳实践
          搜索 关闭
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明