活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
星辰TokenHub
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V4-Flash
  • GLM-5.1
  • Qwen3.5-122B-A10B
  • DeepSeek-V3.2(旗舰版)
  • GLM-5(正式版)
智算一体机
  • 智算一体机
智能体引擎
  • 智能体引擎
可信数据空间
  • 可信数据空间
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入AI Store公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 智教云电脑
  • WPS 365 天翼云版
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)
  • 琥珀数据压缩归档服务

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      数据集成工具_相关内容
      • 基础数据集
        创建数据集 1. 创建普通存储数据集:登录智算服务控制台,单击左侧菜单栏的“智算资产”>“我的数据集”菜单项进入我的数据集模块,点击“基础数据集“菜单,选择“普通/智算存储”,点击【+创建普通/智算存储数据集】,进入创建页面 2. 填写相关配置并提交。基础数据集创建目前仅支持使用自有存储,创建完成后,自动为您创建拼接此数据后缀的容器内挂载路径。 类型 字段 说明 存储基本信息 数据集名称 数据集名称,不超过25个字符 存储基本信息 描述 数据集描述信息 权限配置 可见范围 读写权限范围,支持设置仅文件所有者可见、指定工作空间内的算法开发角色可见两种权限策略 存储位置 自有ZOS存储 您租户账号下的自有ZOS存储,若您还未创建,您可点击【去创建】跳转到存储控制台进行创建。 存储桶:选择您自有的ZOS存储桶名称; 数据源路径:您对应存储的具体的目录路径,您可根据提示示例进行填写,平台会对您填写路径的存在性进行校验,若校验不通过会进行提示,并禁止提交。对于管理员用户,此项选填;对于普通子用户,此项必填。 存储位置 自有HPFS存储 您租户账号下的自有HPFS存储,若您还未创建,您可点击【去创建】跳转到存储控制台进行创建。 HPFS名称:选择您自有的HPFS名称; 数据源路径:您对应存储的具体的目录路径,您可根据提示示例进行填写,平台会对您填写路径的存在性进行校验,若校验不通过会进行提示,并禁止提交。对于管理员用户,此项选填;对于普通子用户,此项必填。 存储位置 自有其他存储 您租户账号下的自有其他存储。 数据源路径:您对应存储的具体的目录路径,您可根据提示示例进行填写,此项必填。 特殊配置 设为保密数据集 仅存储委托的自有ZOS与自有HPFS类型支持该功能。 对于某些行业客户,在大模型训练时会涉及到保密数据的处理问题,比如需要避免用户下载到本地造成数据泄漏,针对这类问题,平台推出了特色的数据保密功能,以应对用户下载或拷贝保密数据的行为。相关配置仅对管理员用户开放,且此功能会增加操作复杂度和资源占用,建议您只在需要的时候使用。 开启此按钮后,可将本数据集设置为保密数据集。开启保密后,此数据集将:1)仅支持读操作,禁止写操作,运行后的输出将单独写入到保密输出路径;2)数据挂载到容器时禁止访问外网。 特殊配置 设为保密数据集的输出路径 若您已设置保密数据集,您还需再创建一个保密输出数据集,专门用于存储保密数据集的输出,并谨慎设置相关权限:1)若您使用了自有存储,建议您只给自己或管理者读写权限(需前往对应存储控制台设置),即您需要确保这是由您完全可控的存储;2)此数据集的可见范围(在本页面的权限配置设置),建议您只对需要的用户设置。 特殊配置 云审计 您设置好保密输出路径后,会自动弹出云审计设置,此设置对使用了对应保密输出数据集的任务生效。开启云审计后,使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计,并标识拷贝等高危操作。 特殊配置 审计频率 您开启云审计后,会弹出审计频率设置。审计频率是指审计上报的时间间隔,支持输入11440的整数。如果您设置的时间间隔太短,频繁扫描将会增加损耗,如时间太长,上报的事件信息较密集,建议您根据业务实际情况填写合适的时间。
        来自:
        帮助文档
        训推服务
        用户指南
        智算资产
        我的数据集
        基础数据集
      • 同步方案概览
        本页为数据传输服务DTS数据同步方案概览介绍。 数据同步是指通过结构同步将源库中存在的对象结构同步到目标库,通过全量同步将源库中的存量数据同步到目标库,通过增量同步将同步过程中的增量数据同步到目标库中,从而保证源库和目标库数据保持一致。数据同步功能可以帮助您实现数据源之间的数据实时同步,其适用于数据异地多活、异地灾备、本地数据灾备、实时数据仓库等多种业务场景。 同步类型说明 DTS支持的同步类型,如下表: 同步类型 说明 结构同步 将源库中待同步对象的结构定义同步至目标库(例如表、视图、触发器、存储过程等)。 全量同步 将源库中待同步表的存量数据同步到目标库。 增量同步 将源库中待同步库、表的增量数据同步到目标库,包括DML和部分DDL。 支持的数据库类型 目前DTS数据同步支持的数据库类型,如下表: 源库类型 目标库类型 同步类型 RDS for MySQL5.7/8.0 自建MySQL5.6/5.7/8.0 RDS for MySQL5.7/8.0 自建MySQL5.7/8.0 结构+全量+增量 结构+增量 RDS for MySQL5.7/8.0 自建MySQL5.6/5.7/8.0 RDS for PostgreSQL 9.6/10/11/12/13/14/15 结构+全量+增量 结构+增量 RDS for PostgreSQL 9.6/10/11/12/13/14/15 自建PostgreSQL 9.4/9.5/9.6/10/11/12/13/14/15 RDS for PostgreSQL 9.6/10/11/12/13/14/15 自建PostgreSQL 9.5/9.6/10/11/12/13/14/15 结构+全量+增量 结构+增量 RDS for SQL Server 2016 标准版/2016 企业版 自建SQL Server 2016 标准版/2016 企业版 RDS for SQL Server 2016 标准版/2016 企业版 自建SQL Server 2016 标准版/2016 企业版 结构+全量+增量 结构+增量
        来自:
        帮助文档
        数据传输服务DTS
        用户指南
        数据同步
        同步方案概览
      • 恢复HDFS业务数据
        本章主要介绍翼MapReduce的恢复HDFS业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对HDFS进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录(例如“/tmp/logs”、“/tmp/archived”、“/tmp/hadoopyarn/staging”),不能进行HDFS恢复操作,否则进行恢复的Distcp任务会由于文件丢失而导致恢复失败。 对系统的影响 恢复过程中会停止用户认证,用户无法开始新的连接。 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后,需要重新启动HDFS的上层应用。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查HDFS备份文件保存路径。 停止HDFS的上层应用。 登录FusionInsight Manager,请参见登录管理系统。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        恢复数据
        恢复HDFS业务数据
      • 通过数据复制服务迁移数据
        本节介绍了通过数据辅助服务迁移数据的相关内容。 数据复制服务(Data Replication Service,简称DRS)支持在多种场景下,将源库数据迁移到目标文档数据库实例,最大限度允许迁移过程中业务继续对外提供使用,有效地将业务系统中断时间和业务影响最小化,完成数据库平滑迁移工作。 前提条件 使用数据复制服务进行数据迁移时,为了提高数据迁移的稳定性和安全性,请先阅读以确保数据库实例已满足迁移条件。 迁移场景 全量迁移 该模式为数据库一次性迁移,适用于可中断业务的数据库迁移场景,全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库,包括:表、视图、存储过程等。选择 “全量迁移” 模式,建议停止对源数据库的操作,否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 全量+增量迁移 该模式为数据库持续性迁移,适用于对业务中断敏感的场景,通过全量迁移过程中完成的目标端数据库的初始化后,增量迁移阶段通过解析日志等技术,将远端和目标端数据库保持数据持续一致。选择 “全量+增量” 迁移模式,增量迁移可以在全量迁移完成的基础上实现数据的持续同步,无需中断业务,实现迁移过程中源业务和数据库继续对外提供访问。 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库(3.2、3.4、4.0版本 ECS自建Mongo数据库(3.2、3.4、4.0版本 其他云上Mongo数据库(3.2、3.4、4.0版本,不支持腾讯云3.2版本) DDS实例(3.4、4.0版本) DDS实例(3.4、4.0、4.2版本) 说明:仅支持目标库版本等于或高于源库版本。
        来自:
        帮助文档
        文档数据库服务
        用户指南
        数据迁移
        通过数据复制服务迁移数据
      • MRS HDFS数据迁移到OBS
        创建OBS连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 详见下图:选择连接器类型 2.连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从MRS HDFS导出数据到OBS的任务。 详见下图:创建MRS HDFS到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称:选择创建MRS HDFS连接中的“hdfsllink”。 −源目录或文件:待迁移数据的目录或单个文件路径。 −文件格式:传输数据时所用的文件格式,这里选择“二进制格式”。不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 −其他可选参数一般情况下保持默认即可,详细说明请参见 配置HDFS源端参数。 目的端作业配置 −目的连接名称:选择创建OBS连接中的“obslink”。 −桶名:待迁移数据的桶。 −写入目录:写入数据到OBS服务器的目录。 −文件格式:迁移文件类数据到文件时,文件格式选择“二进制格式”。 −高级属性里的可选参数一般情况下保持默认既可,详细说明请参见 配置OBS目的端参数。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。CDM支持多个文件的并发抽取,调大参数有利于提高迁移效率 是否写入脏数据:否,文件到文件属于二进制迁移,不存在脏数据。 作业运行完是否删除:这里保持默认值“不删除”。根据使用场景,也可配置为“删除”,防止迁移作业堆积。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        MRS HDFS数据迁移到OBS
      • 会议数据概览
        本文介绍花卷慧办控制台【会议数据概览】页面的功能用途、操作方法和页面元素,帮助管理员查看企业会议使用趋势。 功能概述 会议数据概览页面用于展示企业在指定时间范围内的会议数据变化情况。管理员可通过折线图查看会议数量趋势,并通过时间筛选快速切换统计周期。 使用场景 当管理员需要了解企业会议功能近期是否被使用、会议数量是否有变化,或需要观察近几天会议活跃趋势时,可进入该页面查看。 操作步骤 1. 登录花卷慧办控制台。 2. 在左侧导航栏中进入【会议】模块。 3. 点击【会议数据概览】,进入数据概览页面。 4. 在页面右上角选择统计时间范围,可切换【今日】【近 3 天】【近 7 天】【近 30 天】。 5. 查看页面中部折线图,结合横轴时间和纵轴数量判断会议数据变化。 页面元素说明 页面元素 功能说明 面包屑导航 页面顶部展示【会议 / 会议数据概览】,用于提示当前所在功能位置。 数据概览图表 页面主体区域以折线图展示会议数据变化趋势。 时间范围筛选 页面右上角提供【今日】【近 3 天】【近 7 天】【近 30 天】快捷筛选按钮。 横轴时间 展示所选统计周期内的具体时间节点 纵轴数量 展示会议数量,用于判断会议数据是否增长或保持为 0。 左侧导航栏 支持切换总览、会议、会议数据概览、聆记、用量概览、设备管理等控制台功能。 注意 当所选时间范围内暂无会议数据时,折线图会保持在 0。切换时间范围后,系统会按新的统计周期刷新图表数据。
        来自:
        帮助文档
        花卷慧办
        用户指南
        管理员指南
        会议
        会议数据概览
      • 用户数据注入
        本节介绍了用户数据注入的使用场景、使用限制、使用方法、关于Linux云主机的用户数据脚本、关于Windows弹性云主机的用户数据脚本等内容。 使用场景 当您有如下需求时,可以考虑使用用户数据注入功能来配置弹性云主机: 需要通过脚本简化弹性云主机配置 通过脚本初始化系统 已有脚本,在创建弹性云主机的时候一并上传到服务器 其他可以使用脚本完成的功能 使用限制 Linux: 用于创建弹性云主机的镜像安装了Cloudinit组件。 用户数据大小限制:小于等于32KB。 如果通过文本方式上传用户数据,数据只能包含ASCII码字符;如果通过文件方式上传用户数据,可以包含任意字符,同时,要求文件大小小于等于32KB。 必须是公共镜像,或继承于公共镜像的私有镜像,或自行安装了Cloudinit组件的私有镜像。 必须满足相应Linux弹性云主机自定义脚本类型的格式要求。 使用的VPC网络必须开启DHCP,安全组出方向规则保证80端口开放。 选择“密码”登录方式时,不支持用户数据注入功能。 Windows 用于创建弹性云主机的镜像安装了Cloudbaseinit组件。 用户数据大小限制:小于等于32KB。 如果通过文本方式上传用户数据,数据只能包含ASCII码字符;如果通过文件方式上传用户数据,可以包含任意字符,同时,要求文件大小小于等于32KB。 必须是公共镜像,或继承于公共镜像的私有镜像,或自行安装了Cloudbaseinit组件的私有镜像。 使用 VPC网络必须开启DHCP,安全组出方向规则保证80端口开放。
        来自:
        帮助文档
        弹性云主机 ECS
        用户指南
        实例
        使用用户数据和元数据
        用户数据注入
      • 产品上架
        本文主要介绍可信数据空间的产品上架操作流程。 产品上架是将平台中的数据服务、数据集、解决方案等作为数据产品上架到上市场的过程。提供方作为数据产品提供者,运营方作为数据产品上架审核者和费用策略制定者,规范产品规范进入市场。总体流程如下: 创建数据要素(提供方) 操作路径:提供方空间我的产品 在我的产品,可以看到很多数据要素列表,可输入要素名称、要素分类、要素状态进行搜索。 点击“创建要素”可新增数据要素。 点击操作列表“查看”可查看要素详情。 点击操作列表“审核详情”可查看审核流程详情。 要素上架审核(运营方) 操作路径:可信管控审核管理 运营方在待办列表中审核要素上架申请。 点击“处理”,进入审批页面。 创建的要素类型涵盖API服务、数据集、AI数据模型、解决方案、高密数据集、数据服务、应用产品等类型。 以API服务为例,点击“下一步”后进入创建数据要素,需要填写要素的详情信息6项目,选择计费方式、行业分类、接口信息、相关材料等。 点击“保存”可保存草稿,点击“提交”则提交给运营方审批。
        来自:
      • TeleDB数据传输服务
        TeleDB管控数据传输服务由管理模块、执行模块、稽核模块、核心配置集群、核心配置库组成,本文为您详细介绍具体的模块。 TeleDB管控数据传输服务由管理模块、执行模块、稽核模块、核心配置集群、核心配置库组成,具备广泛的兼容性,支持从多种数据源(如Oracle、MySQL、PostgreSQL等)迁移数据至TeleDB。这一功能为各类客户提供了一种简便、顺畅的迁移方式,能够顺利完成数据的迁移与整合。 管理模块 :接受外部用户对系统的请求,对操作请求进行预处理和分发,并兼具进行任务管理、任务配置、监控数据查看、日志查看、工作节点调度等功能。 执行模块 :具体负责执行数据迁移,接收管理模块的任务请求,依序执行迁移评估、结构迁移、全量迁移、增量迁移的具体工作流程。 稽核模块 :负责在全量迁移完成后,对存量数据的正确性进行数据比对。包含对象级稽核、行级稽核、内容级稽核三个级别。对象级稽核比对源端和目标端数据库对象的结构是否一致,行级稽核比对源端表和目标端对应表的数据行数是否一致,内容级稽核比对源端表和目标端对应表的数据内容是否一致。 核心配置集群 :负责增量任务位点管理、实时监控数据存储、任务状态存储和工作节点高可用。 核心配置库 :负责存储和管理用户的任务信息以及部分元数据信息。
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品
        技术白皮书
        方案简介
        TeleDB数据传输服务
      • 查看迁移详情
        本页介绍如何查看数据迁移实例的迁移详情。 查看数据迁移实例详情,包含:查看结构迁移、查看全量数据迁移与查看增量数据迁移详情。 操作步骤 1、进入【实例管理】页面。 在【数据迁移】实例列表页面选择相应的实例数据,并点击实例ID进入【实例管理】页面。 2、进入详情页面。 在【实例管理】页面点击“实例详情”,进入【实例管理】页面。 3、进入【迁移详情】页面查看迁移详情。 在左侧菜单栏点击“迁移详情”,进入【迁移详情】页面。 结构迁移 点击“结构迁移”菜单,查看当前数据迁移实例的结构迁移详情,包括迁移的Tables、Views、Functions、Procedures的对象名称、源库、目标库、状态等信息。 点击页面中列表右方“操作”列的“创建语法”按钮,可以查看迁移对象的创建语句。 全量数据迁移 点击“全量数据迁移”菜单,查看当前数据迁移实例的全量部分的迁移详情,包括对象名称、源库与目标库的库表信息、已完成行数、耗时、状态等信息。 增量数据迁移 点击“增量数据迁移”菜单,查看当前数据迁移任务增量部分的迁移详情,包括源库、目标库、当前的DTS拉取位点和源库最新位点、是否延迟等状态信息。 注意 1. 位点用BINLOGNAME:BINLOGPOSITION的格式记录,如上例mysqlbin.000049是BINLOG的名称,1010401550是当前位点在这个BINLOG FILE的文件偏移量。DTS拉取位点表示DTS的当前进度,与源库最新位点如果有差距就存在延迟。可以通过这两个值查看延迟有多大。 2. 如果针对迁移的库未迁移的表作了数据变更操作,DTS拉取位点由于过滤条件的存在,该值不会进行更新,但源库最新位点会实时更新。
        来自:
        帮助文档
        数据传输服务DTS
        用户指南
        数据迁移
        实例管理
        查看迁移详情
      • 导出导入作业
        导入作业 导入作业功能依赖于OBS服务,如无OBS服务,可从本地导入。 在作业目录中导入一个或多个作业 1. 单击作业目录中的 > 导入作业,选择已上传至OBS或者本地中的作业文件,以及重名处理策略。 说明 在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考 详见下图:导入作业定义及依赖 2. 单击“下一步”,根据提示导入作业。 说明 在导入作业过程中,若作业关联的数据连接、dli队列、ges图等在数据开发模块系统中不存在时,系统会提示您重新选择。 操作示例 背景信息: 在数据开发模块系统中创建一个DWS的数据连接“doctest” 在作业目录中创建实时作业“doc1”,作业中添加节点“DWS SQL”,配置节点的“数据连接”为“doctest”,配置“SQL脚本”和“数据库”。 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 3. 在作业搜索框中搜索作业“doc1”,导出作业到本地,并上传作业至OBS文件夹中。 4. 在数据开发模块系统中删掉作业关联的dws数据连接“doctest”。 5. 单击作业目录中的 > 导入作业,选择上传至OBS文件夹中的作业,并设置重名处理策略。 6. 单击“下一步”,根据导入作业页面的提示重新选择数据连接。 7. 单击“下一步”,再单击“关闭”。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        作业开发
        (可选)管理作业
        导出导入作业
      • 管理资源
        编辑资源 资源新建完成后,用户可以根据需求修改资源的参数。 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 3. 在资源的“操作”列,单击“编辑”,弹出“编辑资源”页面,参考下表修改资源的参数。 4. 单击“确定”,保存修改。 删除资源 当用户不需要使用某个资源时,可以删除该资源。 删除资源前,请确保该资源未被作业使用。删除资源的时候,会检查资源被哪些作业引用,引用列表中“版本”一列,表示此资源被哪些作业版本引用。点击删除时,会删除对应的作业和这个作业的所有版本信息。 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 3. 在资源的“操作”列,单击“删除”,弹出“删除资源”页面。 4. 单击“确定”,删除资源。 导入资源 当用户想要导入某个资源时,可以参考如下操作导入该资源。 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 3. 在资源目录中,单击,选择“导入资源”,弹出“导入资源”页面。 4. 选择已上传至OBS中的资源文件,然后单击“下一步”,导入完成后,单击“关闭”完成资源的导入。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        配置管理
        管理资源
      • 在开发机中引用数据集
        本文介绍如何在科研助手中在在开发机中引用数据集。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中,选择【开发机】。 3. 在【开发机 】页面中,点击左上角【创建开发机】 4. 在【创建开发机 】页面,【数据集 】中,点击【添加】按钮。 5. 此时在下拉条中,可以选择之前已经创建好的数据集,若还未创建数据集,可单击【创建数据集】按钮。 6. 在选择完挂载数据集之后,用户可自定义填入例如“/tmp”类似的容器挂载路径。 7. 若不需要挂载数据集,也可点击右方删除操作,取消挂载数据集。
        来自:
        帮助文档
        科研助手
        用户指南
        科研版
        数据存储
        数据集管理
        在开发机中引用数据集
      • 数据授权
        本文介绍数据授权功能,使用户可以快速熟悉数据授权页面的相关操作,以及如何进行数据授权。 前提条件 用户需要具有进入数据授权 页面的菜单权限。菜单权限请参考权限说明。 注意事项 数据授权功能仅限企业版。 超级管理员、管理员可以授权组织内所有实例 的数据权限,团队管理员可以授权团队内所有实例的数据权限。 每次授权仅限一种类型的资源粒度,资源粒度从大到小依次是实例、库/模式、表。 数据权限支持按资源粒度继承,即用户拥有大粒度资源的数据权限时,则默认拥有该大粒度资源下所有小粒度资源的数据权限。 多次授权同一用户、同一资源、同一权限后,最后一次授权的结果会覆盖之前授权的结果。 操作步骤 用户可以在安全协作>用户与角色 页面中点击某个用户信息的“数据授权”按钮进入数据授权页面,也可以在安全协作>团队管理>团队成员管理页面中点击某个团队成员信息的“数据授权”按钮进入数据授权页面。 数据授权的具体操作流程如下: 1. 选择资源的粒度。进入数据授权页面后,默认选择库/模式授权,可以点击其他标签,切换到其他资源粒度,每次授权仅限一种类型的资源粒度。 2. 选择授权的资源。在左侧”请选择“框内勾选想要授权的资源的复选框,然后点击中间的”>“按钮,即可将当前页选中的资源加入到右侧”已选择“框内。如果想要删除右侧“已选择”框内的资源,可以勾选想要删除的资源的复选框,然后点击中间的“<”按钮,即可将右侧“已选择”框内的资源删除。每次授权可以同时选择多个资源。 3. 选择权限的类型。根据用户需要,勾选对应权限类型的复选框。每次授权可以同时选择多种权限。 4. 选择权限的有效期。权限有效期默认为1个月,根据用户需要,可以选择3个月、半年或者1年,也可以点击时间栏,直接指定权限的到期时间。 5. 确定信息无误后,点击页面右下角的“确认授权”按钮即可完成授权。
        来自:
        帮助文档
        数据管理服务
        用户指南
        安全协作
        用户与角色
        数据授权
      • 查看监控数据
        监控指标 指标说明 单位 是否支持告警 监控周期 CPU利用率 该指标用于统计数据库审计实例的CPU利用率。 % 是 5分钟 内存总大小 该指标用于统计数据库审计实例的实际内存大小。 GB 是 5分钟 剩余内存大小 该指标用于统计数据库审计实例的空闲的内存大小。 GB 是 5分钟 内存利用率 该指标用于统计数据库审计实例的内存利用率。 内存利用率 100% (剩余内存大小/内存总大小) % 是 5分钟 系统盘大小 该指标用于统计数据库审计实例的实际系统盘大小。 GB 是 5分钟 剩余系统盘大小 该指标用于统计数据库审计实例的空闲的系统盘大小。 GB 是 5分钟 系统盘利用率 该指标用于统计数据库审计实例的系统盘利用率。 系统盘利用率 100% (剩余系统盘大小/系统盘大小) % 是 5分钟 数据盘大小 该指标用于统计数据库审计实例的实际数据盘大小。 GB 是 5分钟 剩余数据盘大小 该指标用于统计数据库审计实例的空闲的数据盘大小。 GB 是 5分钟 数据盘利用率 该指标用于统计数据库审计实例的数据盘利用率。 系统盘利用率 100% (剩余数据盘大小/数据盘大小) % 是 5分钟
        来自:
        帮助文档
        数据库审计
        用户指南
        实例管理
        使用云监控服务监控数据库审计实例
        查看监控数据
      • 管理配置中心
        标准模板管理 标准模板管理用于自定义数据标准的默认选项。首次进入数据架构的数据标准页面,也会显示制定数据标准模板的页面。 1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 2.在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“标准模板管理”。 3.如下图所示,在“可选项”中勾选所需要的选项,单击“新建”按钮可以添加自定义项,完成后单击“确定”。 说明 标准模板支持“是否可搜索”、“是否必填”。 保存模板后,在新建数据标准时需要设置此处模板中选中选项的参数值。 功能配置 功能配置用于自定义数据架构中的各项功能。 1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 2.在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“功能配置”。 3.在功能配置页面,可根据用户具体的功能需求配置参数,然后单击“确定”。如果单击“重置”可恢复默认设置。 −模型设计业务流程步骤 :此处勾选的流程,在关系建模或维度建模的对象发布上线时,系统会依次自动执行。一般建议全部勾选。 创建表 :当数据架构中的表发布并通过审核后,系统将自动在对应的数据源中创建相应的物理表。在表删除时,系统也会自动删除物理表。 同步技术资产 :关系建模或维度建模中的表发布后,同步表到数据目录模块作为技术资产,同时同步标签到对应技术资产。 同步业务资产 :同步逻辑模型到数据目录,作为业务资产,同时同步标签到对应业务资产。 资产关联 :实现业务资产与技术资产的关联。业务资产与技术资产同步完成后,在数据目录模块中查看对应的业务资产或技术资产详情时,可以看到相关联的技术资产或业务资产。该功能要求表信息中含有数据源信息。 创建质量作业 :当关系建模或维度建模中的表发布并通过审核后,对于关联数据标准(包含数据长度或允许值)或关联质量规则的表,系统将自动在DataArts Studio数据质量模块中创建一个质量作业。 创建数据开发作业 :汇总表发布后,自动生成端到端的全流程数据开发作业。 发布数据服务API :汇总表发布后,自动生成数据服务API,此功能仅当数据服务支持汇总表的数据连接时生效。 数据落库 :码表维度发布后,会自动将码表的数值填入维度表中。 说明 若开启“同步技术资产”功能,您必须预先在DataArts Studio数据目录模块中对表所属的数据库创建数据目录采集任务并采集成功,否则同步技术资产将会执行失败。 −模型下线流程 :选择当模型下线时,是否同步删除技术资产、业务资产、质量作业、数据开发作业。 −数据表更新方式 :当数据架构中的表在发布后进行了修改,是否同时更新数据库中的表。默认为“不更新”,但在配置中心可以依据自己的需求设置更新动作。依据DDL模板, 在模板里面配置对应的更新语句即可。 不更新 :不更新数据库中的表。 依据DDL 更新模板 :依据DDL模板管理中配置的DDL更新模板,更新数据库中的表,但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致的。例如,DLI类型的表更新操作不支持删除表字段,如果在数据架构的表中删除了表字段,则无法在数据库中相应的删除表字段。如果线下数据库支持更新表结构语法,可以在DDL模板配置对应语法, 之后更新操作就可以通过DataArts Studio管控;如果线下数据库不支持更新, 那只有通过重建这种方式更新。 重建数据表 :先删除数据库中已有的表,再重新创建表。选择该选项可以确保数据库中的表和数据架构中的表是一致的,但是由于会先删除表,因此一般建议只在开发设计阶段或测试阶段使用该选项,产品上线后不推荐使用该选项。 −数据表不区分大小写 :对于选中的连接类型,在发布相应类型的表时,同步技术资产时名称将不区分大小写,找到相同的即认为已存在。 −业务表映射使用新版本 :系统默认为新版本映射。新版本映射功能支持join等操作,推荐使用新版本映射。 −汇总表自动汇聚 :发布衍生指标或复合指标时,系统支持自动生成汇总表,一个统计维度对应一个汇总表。自动生成的汇总表可在汇总表页面下选择“自动汇聚”页签查看。 −数据标准是否重名 :默认关闭,打开后数据标准可以重名。 −时间限定生成使用动态表达式 :开关打开后,则使用动态时间表达式;如开关关闭,则默认使用原有的静态时间表达式。例如时间限定设置为最近30天:如果使用静态表达式,如果当前为9月,生成的最近30天的数据就是8月,即使当前到了10月,生成的数据还是8月,不能自动更新;如果使用动态表达式,当前到了10月,最近30天自动更新为9月。动态表达式时间函数举例如下所示: 说明 如果第一次打开开关,需重置DLL模板中的衍生指标。如之前有修改过DLL模板,请先做好模板备份。重置模板会将原来修改过的模板覆盖,重置后需要将原来修改的内容重新编辑一次。 −信息架构页面表查询时,主题支持并列查询个数 :默认为1个,暂不支持设置。 −码表数据落库并行行数 :码表维度发布后,设置将码表的数值填入维度表中时的并行操作行数。当码表数值较多时,会导致落库失败,可以适当调小该参数。 −码表生成质量规则 :下拉选择即可。当码表的数据量较小时,选择“枚举值校验”即可;否则选择字段一致性校验。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据架构
        准备工作
        管理配置中心
      • 为应用挂载数据卷
        本文介绍如何为应用挂载数据卷。 Docker镜像是由多个文件系统叠加而成,当启动一个容器的时候,Docker会加载只读镜像层并在上面添加一个读写层。当删除Docker容器并通过该镜像重新启动时,之前的更改将会丢失。为了能够保存数据以及共享容器间的数据,Docker提出了数据卷的概念。简单来说,数据卷就是目录或者文件,它可以绕过默认的联合文件系统,以正常的文件或者目录的形式存在于主机上。 在Docker中,数据卷只是磁盘或另一容器中的目录。其生命周期不受管理,且Docker现在提供的卷驱动程序功能非常有限。容器引擎CCE采用的是Kubernetes的数据卷的概念,Kubernetes数据卷具有完善的生命周期管理,支持多种类型的数据卷,同时实例可以使用任意数量的数据卷。 云容器引擎支持四类本地磁盘挂载类型:支持hostPath、emptyDir、configMap、secret。各类型说明如下: hostPath:指定主机中的文件或目录挂载到容器的某一路径中; EmptyDir:用于临时存储,生命周期与容器实例相同。容器实例消亡时,EmptyDir会被删除, 数据会永久丢失; ConfigMap:将配置文件中的key映射到容器中,可以用于挂载配置文件到指定容器目录; Secret:将密钥中的数据挂载到指定的容器路径。 操作步骤 1.在创建应用或升级应用流程中,进去容器设置步骤,点击【数据存储】,点击【添加本地磁盘】,进入本地磁盘添加页面; 1)卷类型选择hostPath,表示在容器上挂载宿主机上的文件或目录。通常用于“容器应用程序生成的日志文件需要永久保存”或者“需要访问宿主机上Docker引擎内部数据结构的容器应用”,具体参数说明如下所示: 参数 参数说明 存储类型 选择主机路径 主机路径 输入主机路径,如/tmp 挂载路径 数据卷挂载到容器上的路径 注意: 请不要挂载在系统目录下,如“/”、“/var/run”等,会导致容器异常。建议挂载在空目录下,若目录不为空,请确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,应用创建失败 子路径 相对路径 权限 只读:只能读容器路径中的数据卷; 读写:可修改容器路径中的数据卷,容器迁移时新写入的数据不会随之迁移,会造成数据丢失; 2)卷类型选择emptyDir:容器分配到节点时系统将自动创建卷,初始内容为空。在同一个Pod中所有容器可以读写emptyDir中的相同文件。当Pod从节点上移除时,empryDir中的数据也会永久删除。通常用于临时数据的高速存储,具体参数说明如下所示: 参数 参数说明 存储类型 选择临时路径 磁盘介质 不勾选:存储在硬盘上,适用于数据量大,读写效率要求低的场景 勾选:存储在内存中,适用于数据量少,读写效率要求高的场景 挂载路径 数据卷挂载到容器上的路径。 注意: 请不要挂载在系统目录下,如“/”、“/var/run”等,会导致容器异常。建议挂载在空目录下,若目录不为空,请确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,应用创建失败 权限 只读:只能读容器路径中的数据卷 可写:可修改容器路径中的数据卷,容器迁移时新写入的数据不会随之迁移,会造成数据丢失 3)卷类型选择configMap:平台提供应用代码和配置文件的分离,configMap用于处理应用配置参数。用户需要提前创建应用配置,操作步骤请参见创建配置项,临时数据的高速存储,具体参数说明如下所示: 参数 参数说明 存储类型 选择配置项 配置项 选择已经建立好的配置项 说明: configMap需要提前创建 挂载路径 数据卷挂载到容器上的路径 权限 只读:只能读容器路径中的数据卷 4)卷类型选择secret:用户需要提前创建私密凭据,操作步骤请参见创建私密凭据,临时数据的高速存储,具体参数说明如下所示: 参数 参数说明 存储类型 选择私密凭据 卷类型 选择已经创建好的私密凭据 说明: secret需要提前创建,请参见 创建私密凭据 挂载路径 数据卷挂载到容器上的路径 权限 只读:只能读容器路径中的数据卷 2.点击【添加容器挂载】,可新增挂载项,点击【删除】可删除之前的容器挂载配置; 3.点击【确定】,完成本地磁盘的添加。
        来自:
        帮助文档
        云容器引擎(旧版)
        用户指南
        应用资源
        应用创建配置
        为应用挂载数据卷
      • 复制名称和重命名作业
        本章节主要介绍(可选)管理作业的复制名称和重命名作业。 您可以通过复制名称功能复制当前作业名称,通过重命名功能修改当前作业名称。 前提条件 已完成作业开发。如何开发作业,请参见开发作业。 复制名称 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要复制名称的作业,右键单击作业名称,选择“复制名称”,即可复制名称到剪贴板。 重命名作业 1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 3. 在作业目录中选择需要重命名的作业,右键单击作业名称,选择“重命名”。 4. 在弹出的“重命名作业名称”页面,配置新作业名。 重命名作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“”、“”、“.”,且长度为1~128个字符。 5. 单击“确定”,重命名作业。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        作业开发
        (可选)管理作业
        复制名称和重命名作业
      • 新建维度
        参数名称 说明 数据连接类型 在下拉列表中选择数据连接类型。 数据连接 选择所需要的数据连接。 如果您还未创建与数据源之间的数据连接,请前往DataArts Studio管理中心控制台进行创建。 数据库 选择数据库。如果您还未创建数据库,可以前往DataArts Studio数据开发控制台进行创建。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DWS表类型有: DWSROW:行存表。行存储是指将表按行存储到硬盘分区上。 DWSCOLUMN:列存表。列存储是指将表按列存储到硬盘分区上。 MRSHIVE类型仅支持HIVETABLE。 DISTRIBUTE BY 该参数仅DWS连接类型有效。可选取多个字段。 REPLICATION :在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH :采用这种分布方式,需要为用户表指定一个分布列(distribute key)。当插入一条记录时,系统会根据分布列的值进行hash运算后,将数据存储在对应的DN中。对于Hash分布表,在读/写数据时可以利用各个节点的IO资源,大大提升表的读/写速度。一般情况下大表(1000000条记录以上)定义为Hash表。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据架构
        模型设计
        维度建模
        新建维度
      • 迁移文件时加解密
        本章节主要介绍迁移文件时加解密。 在迁移文件到文件系统时,CDM支持对文件加解密,目前支持以下加密方式: AES256GCM加密 KMS加密 AES256GCM加密 目前只支持AES256GCM(NoPadding)。该加密算法在目的端为加密,在源端为解密,支持的源端与目的端数据源如下。 源端支持的数据源:OBS、FTP、SFTP、HDFS(使用二进制格式传输时支持)、HTTP(适用于OBS共享文件的下载场景)。 目的端支持的数据源:OBS、FTP、SFTP、HDFS(使用二进制格式传输时支持)。 下面分别以OBS导出加密文件时解密、导入文件到OBS时加密为例,介绍AES256GCM加解密的使用方法。其它数据源的使用方法一样。 源端配置解密 创建从OBS导出文件的CDM作业时,源端数据源选择OBS后,在“源端作业配置”的“高级属性”中,配置如下参数。 a.加密方式:选择“AES256GCM”。 b.数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。 c.初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。 这样CDM从OBS导出加密过的文件时,写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到OBS的作业时,目的端数据源选择OBS后,在“目的端作业配置”的“高级属性”中,配置如下参数。 a.加密方式:选择“AES256GCM”。 b.数据加密密钥:用户自定义密钥,密钥由长度64的十六进制数组成,不区分大小写但必须64位,例如“DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B”。 c.初始化向量:用户自定义初始化向量,初始化向量由长度32的十六进制数组成,不区分大小写但必须32位,例如“5C91687BA886EDCD12ACBC3FF19A3C3F”。 这样在CDM导入文件到OBS时,目的端OBS上的文件便是经过AES256GCM算法加密后的文件。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        迁移文件时加解密
      • MDR文件存储数据灾备/对象存储数据灾备相关问题
        文件存储数据灾备支持oceanfs吗? 支持。从协议兼容性角度,只要存储系统支持NFS 协议,均可使用 NAS 文件存储灾备方案进行数据保护。OceanFS 若基于 NFS 协议提供访问,则在理论上完全兼容。 文件存储数据灾备同步机配置要求是什么? 1. 同步机,1台同步机可保护多个NAS内的数据。 2. 同步机配置:CPU 16 core,32GB内存,200GB系统盘。缓存硬盘建议NAS总量的百分之一。 3. 网络要求:与增量数据相关。 对象存储如何实现做同城双活? 对于跨地域(异地)场景,建议使用对象存储数据灾备方案,通过异步复制等方式保障数据在不同地域间的安全。 对象存储数据灾备同步机配置要求是什么? 1. 同步机(drnode):1台同步机可保护多个DTO内的数据; 2. 同步机配置:CPU 16 core,32GB内存,200GB系统盘。缓存硬盘建议DTO总量的1%; 3. 网络要求:与增量数据相关。
        来自:
        帮助文档
        多活容灾服务
        常见问题
        MDR文件存储数据灾备/对象存储数据灾备相关问题
      • 在开发环机引用数据集
        本文介绍如何在科研助手中在在开发机中引用数据集。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中,选择【开发机】。 3. 在【开发机】页面中,点击左上角【创建开发机】 4. 在【创建开发机】页面,【存储配置】【数据集】中,点击【添加】按钮。 5. 此时在下拉条中,可以选择之前已经创建好的数据集,若还未创建数据集,可单击【创建数据集】按钮。 6. 在选择完挂载数据集之后,用户可自定义填入例如“/tmp”类似的容器挂载路径。 7. 若不需要挂载数据集,也可点击右方删除操作,取消挂载数据集。
        来自:
        帮助文档
        科研助手
        用户指南
        数据存储
        数据集管理
        在开发环机引用数据集
      • TeleDB数据管理服务
        本文为您介绍组成TeleDB管控数据管理服务的元数据管理、查询窗口、数据导入导出、慢查询分析、容量评估、会话管理和锁分析功能等模块。 TeleDB管控数据管理服务由元数据管理、查询窗口、数据导入导出、慢查询分析、容量评估、会话管理和锁分析功能等模块组成。它旨在为企业提供一套全面的数据管理解决方案,包括数据的存储、访问、分析和安全等核心环节。通过TeleDB管控数据管理模块,企业可以实现对数据的集中式管理和存储,从而简化了数据的访问和检索过程。 元数据管理模块 :提供对实例、数据库、模式、表和可编程对象等各级数据库对象的元数据管理,在数据库的创建、编辑、删除等常规操作需提供界面化操作支持,可以实时同步数据库的元数据信息。 查询窗口模块 :数据库开发者常用功能,提供功能丰富的SQL输入框,包括语法提示、脚本保存以及结果集的返回,支持对结果集进行界面可视化编辑进行数据更新。 数据导入导出模块 :支持多种文件格式的数据导入到数据库,以及从数据库中导出数据。支持的文件格式为:sql、txt和csv。支持不同层级的数据导入导出,分别支持库/模式以及表级的数据导出。同时,也支持不同层级数据库对象的结构导出。 慢查询分析 :慢查询统计、索引推荐主要和管控实例交互获取,慢查询分析、语句优化主要和业务实例交互获取,性能容量评估操作建议可联动慢查询分析,进行服务调用,实例元数据为服务入口,Agent代理主要用作网络跨区服务,ZooKeeper主要负责服务注册及发现的功能。 性能容量评估 :性能容量评估的监控指标数据主要和管控实例交互获取,实例元数据为服务入口,Agent代理主要用作网络跨区服务,ZooKeeper主要负责服务注册及发现的功能。 会话管理 :会话管理通过业务实例获取全局会话和异常会话的信息,并提供部分会话、全部会话的终止功能,实例元数据为服务入口,Agent代理主要用作网络跨区服务,ZooKeeper主要负责服务注册及发现的功能。 锁分析: 锁分析通过管控实例获取到业务实例最近一次发生死锁的信息,获取到死锁的事务环信息和回滚的事务信息并展示说明,实例元数据为服务入口,Agent代理主要用作网络跨区服务,ZooKeeper主要负责服务注册及发现的功能。
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品
        技术白皮书
        方案简介
        TeleDB数据管理服务
      • 恢复租户数据
        本章节主要介绍恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据,在组件故障恢复或者卸载重新安装的场景下,所有租户的部分配置数据可能状态不正常,需要手动恢复。 操作步骤 在MRS Manager,单击“租户管理”。 1. 在左侧租户列表,单击某个租户节点。 2. 检查租户数据状态。 a.在“概述”,查看“基本信息”左侧的圆圈,绿色表示租户可用,灰色表示租户不可用。 b.单击“资源”,查看“Yarn”或者“HDFS存储”左侧的圆圈,绿色表示资源可用,灰色表示资源不可用。 c.单击“服务关联”,查看关联的服务表格的“状态”列,“良好”表示组件可正常为关联的租户提供服务,“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常,需要恢复租户数据,请执行步骤4。 3. 单击“恢复租户数据”。 4. 在“恢复租户数据”窗口,选择一个或多个需要恢复数据的组件,单击“确定”,等待系统自动恢复租户数据。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        租户管理
        恢复租户数据
      • 数据接入
        本文主要介绍可信数据空间数据接入操作流程。 数据接入是提供方根据将本地通过数据连接,安全快速地将本地资源数据上传到可信数据摆渡区,经过运营审批,资源发布统一资源目录,形成公共的资源池。 流程步骤如下: 注意 若提供已有部署连接器,则可略过以下的连接申请、施工和监管的步骤,即省略1、2、3、4、5步,直接从第6步进行本地资源上传。 连接器申请(提供方) 操作路径:提供方空间连接器申请 提供方点击“提供方空间”,点击“连接器申请”,在弹出的界面填写连接器申请信息,包含了联系人、联系电话,联系地址,连接器类型,连接器版本,连接入口网络地址,使用描述以及其他一些申请资料等。其中,连接器分为标准版和全功能型。 1. 标准型接入连接器:适用于对数据流通安全性有基本要求的场景,如数据目录共享、标准化数据调用和基础数据交换等,满足金融、政府、科研等行业的数据合作需求 2. 全功能型接入连接器:适用于对数据安全性、计算能力和传输效率要求更高的复杂场景,如跨行业数据联合建模、隐私保护数据分析、金融风控、智能风控和其他高敏感数据交易场景。
        来自:
        帮助文档
        可信数据空间
        用户指南
        数据接入
      • 数据空间管理
        本页介绍天翼云TeleDB数据库如何对数据空间进行管理。 操作场景 您可按照百分比或分片形式对数据节点上的数据进行迁移。数据迁移需要实例集群内部至少有两个数据节点组。 操作步骤 1. 以用户名和密码登录分布式数据库TeleDB控制台,在左侧导航树上,单击数据空间管理 ,进入数据空间管理 页面。 2. 数据迁移 1. 选择数据迁移 页签,单击创建任务 ,出现创建迁移任务对话框。 2. 在创建迁移任务对话框,输入任务名称、源节点、目标节点和迁移类型。 任务名称:根据自己的需求填写,可自定义。 源节点:根据实际情况选择。 目标节点:根据自己的实际情况选择。 迁移类型:分为shard迁移 和百分比迁移 。 Shard迁移:按照分片迁移,需要选择分片,单次可迁移的分片最大为1000。选择分片迁移需移动分片至已选shard。 百分比迁移:按照源节点上的数据百分比进行迁移,需要输入1100的整数。 3. 单击确定完成任务迁移。 3. 空间清理 说明 当数据被删除或更新时,TeleDB将其标记为无效,但并不立即回收相关的存储空间。需要定期执行空间清理操作,以检查并释放被标记为无效的数据所占用的空间。这样可以确保数据库在长时间运行后不会因为无效数据的积累而占用过多的磁盘空间。 1. 选择空间清理 页签,单击创建任务 ,出现创建清理任务 对话框。 2. 选择源节点 、清理开始时间 和清理结束时间 ,单击确定 。 4. 空间回收 说明 经过空间清理任务后的实例并没有立即释放空间,用户可以通过空间回收任务对实例进行重建表和索引,自动释放被空间清理回收的空间。 1. 选择空间回收 页签,单击创建任务 ,出现创建回收任务 对话框。 2. 选择回收节点、设置回收开始时间和回收结束时间,单击确定完成空间回收。 5. 数据重平衡 说明 用户可以通过数据重平衡,依据磁盘使用率,把节点组原有的数据平均分布到节点组内各个节点上。该功能会自动生成迁移任务以及空间清理任务,用户可以在任务详情或者在对应功能页面查看任务具体执行情况。 1. 选择重平衡任务 页签,单击创建任务 ,出现创建数据重平衡任务 对话框。 输入任务名称,选择节点组,单击确定,完成数据重平衡。
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品历史版本
        V4.0.0版本产品文档
        管理平台使用手册
        数据空间管理
      • 安装LVM
        本实践将为您介绍如何安装LVM。 操作场景 默认情况下,弹性云主机系统中并没有安装LVM,因此需要您手工安装。本章节将帮助您查询您的弹性云主机是否安装了LVM以及如何去安装LVM。 本文以云主机的操作系统为“CentOS 7.5 64位”为例,不同云主机的操作系统的格式化操作可能不同,本文仅供参考。 操作步骤 以下操作步骤中云主机的操作系统为“CentOS 7.6 64bit”,回显仅供参考。 1. 登录控制中心。 2. 单击控制中心左上角的,选择地域,此处我们选择华东1。 3. 单击“计算>弹性云主机”,进入弹性云主机页面。 4. 单击待操作的弹性云主机所在行的“操作>远程登录”。 5. 以root用户身份登入云主机,登录之后如图: 6. 安装LVM管理工具的第一步首先是确认当前主机中是否已经安装过LVM管理工具,您可以执行命令:rpm qa grep lvm2,回显如图: 这样的回显表示当前主机中并未安装LVM管理工具。默认情况下,弹性云主机的LVM管理工具都是未安装状态。 7. 在未安装状态下执行命令 yum install lvm2,使用yum安装LVM管理工具,并根据提示信息完成安装。回显如下: 当出现“Complete!”时就说明已经安装成功。 8. 接下来可以再次执行命令 rpm qa grep lvm2来查验此云主机中是否已经安装成功LVM管理工具,具体回显信息如下,说明已经成功安装。
        来自:
        帮助文档
        云硬盘 EVS
        最佳实践
        使用LVM管理云硬盘
        实施步骤
        安装LVM
      • 修改数据复制方式
        关系数据库MySQL版支持切换主备实例的数据复制方式,以满足不同的业务需求。本文介绍如何修改关系数据库MySQL版实例的数据复制方式。 注意 仅II类型资源池支持该功能,具体支持情况以控制台页面展示为准。更多资源池信息,请参见功能概览。 背景信息 数据复制方式说明 您可以根据实际情况,切换主备实例的数据复制方式,支持切换为异步 或半同步,具体说明如下: 异步 应用更新数据时,主库执行完操作后立即向应用返回响应,然后就向备实例异步复制数据,这种数据复制方式通常具有较高的性能。 因此,在异步数据复制方式下,备实例不可用时不会影响主实例上的操作。而主实例异常不可用时可能会影响主备数据复制、导致主备实例数据不一致,极端情况下,可能会有数据丢失风险,请谨慎选择。 半同步 应用更新数据时,主库需要等待备库收到日志才向应用返回响应,这种方式提高了数据可靠性但对性能有一定影响: 可用性类型 是否退化 描述 可靠性 不退化(默认) 如果实例主库与其他所有备库通信故障,为保证数据一致性和完整性,主库将被设置为只读且不进行退化(一主一备实例默认设置可用性优先会退化),直至任一备节点恢复后可对外提供写服务。 可用性 退化(默认) 如果实例主库与其他所有备库通信故障,可能会导致退化(一主两备实例默认设置可靠性优先不退化),退化表现为主库等待备库响应数秒钟,在此期间会阻塞主库对业务写操作的响应,退化后,主库恢复正常、主库可正常写入数据。退化后的实例可能会有数据丢失风险,主备之间通信恢复正常后,实例重新转化为半同步状态。
        来自:
        帮助文档
        关系数据库MySQL版
        用户指南
        实例管理
        修改数据复制方式
      • 计费说明
        本文介绍数据管理服务的费用相关信息。 数据管理服务DMS分基础版和企业版,目前为了让更多的用户体验到我们的服务,我们提供限时免费使用企业版,需要用户订购DMS服务,订购服务有多种方式: 通过天翼云官网首页搜索数据管理服务DMS,点击立即开通进行订购;若此前已订购,则会自动跳转数据管理服务DMS控制台。 若未订购数据管理服务DMS,打开DMS管理控制台,也将自动跳转订购页面。请根据指引完成订购。 您可以充分利用这一机会,免费尝试数据管理服务的各种功能,包括但不限于查询窗口、数据源管理、数据导入、数据导出、SQL变更审批、自定义审批流、数据权限管控、团队管理等。 此外,我们的数据管理服务还提供了用户友好的界面,让您可以轻松地进行数据库管理。 在试用期间,您还可以体验到我们专业的技术支持和客户服务,以确保您在使用过程中得到及时的帮助。 注意 我们鼓励您在试用期间充分了解和评估我们的数据管理服务,限时免费结束后,我们将根据实际情况调整价格策略。在启用付费功能后,我们将提前通过站内信、短信、电子邮件或其他方式发送计费说明给已使用付费功能的用户。
        来自:
        帮助文档
        数据管理服务
        计费说明
        计费说明
      • 配置HTTP源端参数
        本章节主要介绍配置HTTP源端参数。 作业中源连接为HTTP连接时,源端作业参数如下表所示。当前只支持从HTTP URL导出数据,不支持导入。 表 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 列表文件 选择“是”,将待上传的文本文件中所有URL对应的文件拉取到OBS,文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中,这里需要选择已建立的OBS连接。 obslink 列表文件OBS桶 存储文本文件的OBS桶名称。 obscdm 列表文件或目录 在OBS中存储文本文件文件的自定义目录,多级目录可用“/”进行分隔。 test1 文件格式 当前CDM只支持选择“二进制格式”,不解析文件内容直接传输,不要求原文件格式必须为二进制。 二进制格式 压缩格式 选择对应压缩格式的源文件进行迁移: 无:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 TAR.GZ:表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 压缩格式非无时,显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则则保持原样传输。当输入或为空时,所有文件都会被解压。 文件分隔符 传输多个文件时,CDM使用这里配置的文件分隔符来区分各个文件,默认为l。列表文件显示为“是”时,显示该参数。 l QUERY参数 该参数设置为“是”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“否”时,上传到OBS的对象使用的对象名,包含query参数。 否 加密方式 如果源端数据是被加密过的,则CDM支持解密后再导出。这里选择是否对源端数据解密,以及选择解密算法: 无:不解密,直接导出。 AES256GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES256GCM(NoPadding)。该参数在目的端为加密,在源端为解密。 AES256GCM 忽略不存在原路径/文件 如果将其设为是,那么作业在源路径不存在的情况下也能成功执行。 否 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数,密钥由长度64的十六进制数组成,且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES256GCM”时显示该参数,初始化向量由长度32的十六进制数组成,且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F MD5文件名后缀 校验CDM抽取的文件,是否与源文件一致。 .md5
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置HTTP源端参数
      • 同步对象管理
        本页介绍如何进行数据同步实例的对象映射配置,以及如何查看已配置的对象映射关系。 对象名映射 数据传输服务DTS在配置同步任务时,支持用户为源库的库名、schema和表名添加映射关系。 例如在目标库存在同名库表的情况下,可将现有源库的库表名进行映射编辑,数据传输服务DTS将同步映射后的名称到目标库。 在【数据同步】实例列表页面,选择待配置的同步实例,点击“实例配置”(或选择已配置的实例,点击“编辑实例”),完成源库及目标库配置后,进入配置同步对象及高级配置步骤,在源库对象窗口中展开待迁移库的对象,进行映射关系的配置。 具体操作与数据迁移实例类似,参考数据迁移的对象名映射。 查看映射关系 数据同步实例进行对象映射配置后,可在【数据同步】实例列表页面选择已配置对象映射关系的数据同步实例,点击“实例ID”进入【实例管理】页面,点击右上角“实例详情”进入【同步信息】页面,再点击【同步信息】页面右上角的“查看迁移对象”按钮,查看同步对象映射关系。 具体操作与数据迁移实例类似,参考数据迁移的查看映射关系。
        来自:
        帮助文档
        数据传输服务DTS
        用户指南
        数据同步
        实例配置和实例编辑
        同步对象管理
      • 跨帐号迁移业务数据(迁移系统盘+数据盘)
        步骤四:创建新的云主机 1、帐号B使用共享镜像创建新的云主机(该云主机由整机镜像创建),并验证业务数据是否迁移成功。 说明: 选择整机镜像切换云主机操作系统时,仅能恢复整机镜像的系统盘数据。因此,请勿选择已有弹性云主机执行切换OS操作。请通过整机镜像创建新的云主机,迁移整机镜像中的数据盘数据、系统盘数据。 在共享镜像“fullimageecstest”所在行,单击操作列的“申请主机”。 进入弹性云主机购买页面。 2、选择计费模式、实例规格规格等参数,并单击“立即购买”。注意: 区域:必须和接受共享镜像的区域一致; 镜像:选择“共享镜像 > fullimageecstest(整机镜像)”。 3、返回云主机列表,等待几分钟,云主机创建成功。 4、登录云主机,验证数据是否迁移成功。 查看系统盘,显示文件“system disk.txt”,再查看数据盘,显示文件“data disk.txt”,数据迁移成功。 图 查看系统盘数据 图 查询数据盘数据
        来自:
        帮助文档
        镜像服务 IMS
        最佳实践
        跨帐号迁移业务数据(迁移系统盘+数据盘)
      • 1
      • ...
      • 78
      • 79
      • 80
      • 81
      • 82
      • ...
      • 438
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      物理机 DPS

      GPU云主机

      多活容灾服务 MDR

      天翼云CTyunOS系统

      训推服务

      AI Store

      知识库问答

      人脸检测

      动作活体识别

      推荐文档

      上传资料常见问题

      导入数据

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号