活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 一键部署Llama3大模型学习机 0代码一键部署,预装最新主流大模型Llama3与StableDiffusion
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心

      查看所有产品

      数据治理中心 DataArts Studio

      数据治理中心 DataArts Studio

        • 产品动态
        • 产品简介
        • 产品定义
        • 产品优势
        • 功能特性
        • 应用场景
        • 术语解释
        • 权限管理
        • 权限列表
        • 约束与限制
        • 数据治理中心DataArts Studio与其他服务的关系
        • 计费说明
        • 资源节点
        • 产品规格
        • 产品价格
        • 计费模式
        • 购买
        • 变更
        • 续订
        • 退订
        • 准备工作
        • 准备工作简介
        • 创建DataArts Studio实例
        • 创建DataArts Studio基础包
        • (可选)创建DataArts Studio增量包
        • 访问DataArts Studio实例控制台
        • 管理工作空间
        • 创建并管理工作空间
        • (可选)修改作业日志存储路径
        • 授权用户使用DataArts Studio
        • 创建IAM用户并授予DataArts Studio权限
        • (可选)自定义工作空间角色
        • 添加工作空间成员和角色
        • (可选)获取认证信息
        • 用户指南
        • 使用DataArts Studio前的准备
        • 管理控制台
        • 创建数据连接
        • 资源迁移
        • 使用教程
        • 新建MRS Hive连接
        • 新建DWS连接
        • 新建MySQL连接
        • DataArts Studio支持的数据源
        • 数据集成
        • 数据集成概述
        • 约束与限制
        • 支持的数据源
        • 管理集群
        • 创建CDM集群
        • 解绑/绑定集群的EIP
        • 重启集群
        • 删除集群
        • 下载集群日志
        • 查看集群基本信息/修改集群配置
        • 监控指标
        • 支持的监控指标
        • 设置告警规则
        • 查看监控指标
        • 管理连接
        • 新建连接
        • 管理驱动
        • 管理Agent
        • 管理集群配置
        • 配置常见关系数据库连接
        • 配置分库连接
        • 配置MySQL数据库连接
        • 配置Oracle数据库连接
        • 配置DLI连接
        • 配置Hive连接
        • 配置HBase连接
        • 配置HDFS连接
        • 配置OBS连接
        • 配置FTP/SFTP连接
        • 配置Redis/DCS连接
        • 配置DDS连接
        • 配置CloudTable连接
        • 配置CloudTable OpenTSDB连接
        • 配置MongoDB连接
        • 配置Cassandra连接
        • 配置Kafka连接
        • 配置DMS Kafka连接
        • 配置Elasticsearch/云搜索服务(CSS)连接
        • 管理作业
        • 新建表/文件迁移作业
        • 新建整库迁移作业
        • 配置作业源端参数
        • 配置OBS源端参数
        • 配置HDFS源端参数
        • 配置HBase/CloudTable源端参数
        • 配置Hive源端参数
        • 配置DLI源端参数
        • 配置FTP/SFTP源端参数
        • 配置HTTP源端参数
        • 配置常见关系数据库源端参数
        • 配置MySQL源端参数
        • 配置Oracle源端参数
        • 配置分库源端参数
        • 配置MongoDB/DDS源端参数
        • 配置Redis源端参数
        • 配置Kafka/DMS Kafka源端参数
        • 配置Elasticsearch或云搜索服务源端参数
        • 配置OpenTSDB源端参数
        • 配置作业目的端参数
        • 配置OBS目的端参数
        • 配置HDFS目的端参数
        • 配置HBase/CloudTable目的端参数
        • 配置Hive目的端参数
        • 配置常见关系数据库目的端参数
        • 配置DWS目的端参数
        • 配置DDS目的端参数
        • 配置DCS目的端参数
        • 配置云搜索服务目的端参数
        • 配置DLI目的端参数
        • 配置OpenTSDB目的端参数
        • 配置定时任务
        • 作业配置管理
        • 管理单个作业
        • 批量管理作业
        • 审计
        • 支持云审计的关键操作
        • 如何查看审计日志
        • 使用教程
        • 创建MRS Hive连接器
        • 创建MySQL连接器
        • MySQL数据迁移到MRS Hive分区表
        • MySQL数据迁移到OBS
        • MySQL数据迁移到DWS
        • MySQL整库迁移到RDS服务
        • Oracle数据迁移到云搜索服务
        • Oracle数据迁移到DWS
        • OBS数据迁移到云搜索服务
        • OBS数据迁移到DLI服务
        • MRS HDFS数据迁移到OBS
        • Elasticsearch整库迁移到云搜索服务
        • DDS数据迁移到DWS
        • 进阶实践
        • 增量迁移原理介绍
        • 文件增量迁移
        • 关系数据库增量迁移
        • 时间宏变量使用解析
        • HBase/CloudTable增量迁移
        • 事务模式迁移
        • 迁移文件时加解密
        • MD5校验文件一致性
        • 字段转换
        • 指定文件名迁移
        • 正则表达式分隔半结构化文本
        • 记录数据迁移入库时间
        • 文件格式介绍
        • 数据架构
        • 数据架构概述
        • 数据架构使用流程
        • 准备工作
        • 添加审核人
        • 管理配置中心
        • 数据调研
        • 流程设计
        • 主题设计
        • 标准设计
        • 新建码表
        • 新建数据标准
        • 模型设计
        • 关系建模
        • 逻辑模型设计
        • 物理模型设计
        • 维度建模
        • 新建维度
        • 管理维度表
        • 新建事实表
        • 指标设计
        • 业务指标
        • 技术指标
        • 新建原子指标
        • 新建衍生指标
        • 新建复合指标
        • 新建时间限定
        • 数据集市建设
        • 新建汇总表
        • 通用操作
        • 逆向数据库(关系建模)
        • 逆向数据库(维度建模)
        • 导入导出表
        • 关联质量规则
        • 查看表
        • 批量修改主题/目录/流程
        • 审核中心
        • 使用教程
        • 数据架构示例
        • 数据开发
        • 数据开发概述
        • 数据管理
        • 数据管理流程
        • 新建数据连接
        • 新建数据库
        • (可选)新建数据库模式
        • 新建数据表
        • 脚本开发
        • 脚本开发流程
        • 新建脚本
        • 开发脚本
        • 开发SQL脚本
        • 开发Shell脚本
        • 开发Python脚本
        • 提交版本并解锁
        • (可选)管理脚本
        • 复制脚本
        • 复制名称与重命名脚本
        • 移动脚本/脚本目录
        • 导出导入脚本
        • 查看脚本引用
        • 删除脚本
        • 迁移脚本责任人
        • 批量解锁
        • 作业开发
        • 作业开发流程
        • 新建作业
        • 开发作业
        • 调度作业
        • 提交版本并解锁
        • (可选)管理作业
        • 复制作业
        • 复制名称和重命名作业
        • 移动作业/作业目录
        • 导出导入作业
        • 删除作业
        • 迁移作业责任人
        • 批量解锁
        • 解决方案
        • 运行历史
        • 运维调度
        • 运维概览
        • 作业监控
        • 批作业监控
        • 实时作业监控
        • 实例监控
        • 补数据监控
        • 通知管理
        • 管理通知
        • 通知周期概览
        • 备份管理
        • 配置管理
        • 配置
        • 配置环境变量
        • 配置OBS桶
        • 管理作业标签
        • 配置委托
        • 配置默认项
        • 管理资源
        • 节点参考
        • 节点概述
        • 节点数据血缘
        • 方案概述
        • 配置数据血缘
        • 查看数据血缘
        • CDM Job
        • Rest Client
        • Import GES
        • MRS Kafka
        • Kafka Client
        • ROMA FDI Job
        • DLI Flink Job
        • DLI SQL
        • DLI Spark
        • DWS SQL
        • MRS Spark SQL
        • MRS Hive SQL
        • MRS Presto SQL
        • MRS Spark
        • MRS Spark Python
        • MRS Flink Job
        • MRS MapReduce
        • CSS
        • Shell
        • RDS SQL
        • ETL Job
        • Python
        • Create OBS
        • Delete OBS
        • OBS Manager
        • Open/Close Resource
        • Data Quality Monitor
        • Sub Job
        • For Each
        • Dummy
        • EL表达式参考
        • 表达式概述
        • 基础操作符
        • 日期和时间模式
        • Env内嵌对象
        • Job内嵌对象
        • StringUtil内嵌对象
        • DateUtil内嵌对象
        • JSONUtil内嵌对象
        • Loop内嵌对象
        • OBSUtil内嵌对象
        • 表达式使用示例
        • 使用教程
        • 作业依赖详解
        • IF条件判断教程
        • 获取Rest Client算子返回值教程
        • For Each算子使用介绍
        • 开发一个Python脚本
        • 开发一个DWS SQL作业
        • 开发一个Hive SQL作业
        • 开发一个DLI Spark作业
        • 开发一个MRS Flink作业
        • 开发一个MRS Spark Python作业
        • 数据质量
        • 业务指标监控
        • 业务指标监控概述
        • 新建指标
        • 新建规则
        • 新建业务场景
        • 查看业务场景实例
        • 数据质量监控
        • 数据质量监控概述
        • 新建规则模板
        • 新建质量作业
        • 新建对账作业
        • 查看规则实例
        • 查看质量报告
        • 使用教程
        • 新建一个业务场景
        • 新建一个质量作业
        • 新建一个作业对账实例
        • 数据目录
        • 数据地图
        • 简介
        • 资产总览
        • 数据目录
        • 标签管理
        • 数据权限
        • 数据权限简介
        • 数据目录权限
        • 数据表权限
        • 审批中心
        • 数据安全(待下线)
        • 数据安全简介
        • 数据密级
        • 数据分类
        • 脱敏策略
        • 元数据采集
        • 元数据简介
        • 任务管理
        • 任务监控
        • 使用教程
        • 开发一个增量元数据采集任务
        • 通过数据地图查看数据血缘关系
        • 方案概述
        • 配置数据血缘
        • 查看数据血缘
        • 数据服务
        • 数据服务概览
        • 规格说明
        • 开发API
        • 准备工作
        • 创建专享版集群
        • 新建审核人
        • 创建API
        • 配置模式生成API
        • 脚本模式生成API
        • 注册API
        • 调试API
        • 发布API
        • 管理API
        • 设置API可见
        • 停用/恢复API
        • 下线/删除API
        • 复制API
        • 全量导出/导出/导入API
        • 流量控制
        • 调用API
        • 审核中心操作说明
        • 常见问题
        • 计费类
        • 购买类
        • 操作类
        • 管理中心
        • 数据集成
        • 数据架构
        • 数据开发
        • 数据质量
        • 数据目录
        • 数据服务
        • 相关协议
        • 数据治理中心 DataArts Studio产品服务协议
        • 数据治理中心 DataArts Studio产品服务等级协议
        • 文档下载
        • 数据治理中心 DataArts Studio用户操作指南
        • 数据治理中心 DataArts Studio故障排除
          无相关产品

          本页目录

          帮助中心 数据治理中心 DataArts Studio 用户指南 数据集成 使用教程 创建MRS Hive连接器
          创建MRS Hive连接器
          更新时间 2023-08-17 15:53:52
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2023-08-17 15:53:52
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          本章节主要介绍创建MRS Hive连接器。

          MRS Hive连接适用于MapReduce服务,本教程为您介绍如何创建MRS Hive连接器。

          前提条件

          • 已创建CDM集群。
          • 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。
          • MRS集群和CDM集群之间网络互通,网络互通需满足如下条件:

          −CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。

          −CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见《虚拟私有云》帮助文档中的“添加路由信息”章节,配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组 > 添加安全组规则”章节。

          −此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。

          新建MRS hive连接

          1. 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如下图所示。

          图 选择连接器类型

          image.png

          1. 连接器类型选择“MRS Hive”后单击“下一步”,配置MRS Hive连接的参数,如下图所示。

          图 创建MRS Hive连接

          image.png

          1. 单击“显示高级属性”可查看更多可选参数。这里保持默认,必填参数如下表所示。

          表 MRS Hive连接参数

          参数名 说明 取值样例
          名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mrs-link
          Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 127.0.0.1
          认证类型 访问MRS的认证类型:
          SIMPLE:非安全模式选择Simple鉴权。
          KERBEROS:安全模式选择Kerberos鉴权。
          SIMPLE
          Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X
          用户名 选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。
          如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
          说明
          如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。
          如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manager_administrator或System_administrator权限,才能在CDM创建连接。
          仅具备Manager_tenant或Manager_auditor权限,无法创建连接。
          cdm
          密码 访问MRS Manager的用户密码。 -
          OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否
          运行模式 “HIVE_3_X”版本支持该参数。支持以下模式:
          EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
          STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable),并且既有KERBEROS认证模式又有SIMPLE认证模式,只能使用STANDALONE模式。
          说明
          STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。
          EMBEDDED
          检查Hive JDBC连通性 是否需要测试Hive JDBC连通性。 否
          是否使用集群配置 用户可以在“连接管理”处创建集群配置,用于简化Hadoop连接参数配置。 否
          属性配置 其他Hive客户端配置属性。 -
          说明

          单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。

          1. 单击“保存”回到连接管理界面,完成MRS Hive连接器的配置。
          上一篇 :  使用教程
          下一篇 :  创建MySQL连接器
          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

           文本反馈
          搜索
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明