AI创作平台套餐32.67元/年起,花卷聆记AI录音卡598元起
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 818 天翼云云智盛典 NEW 爆款云主机低至1.5折起,Token套餐低至9.9元/月起
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
星辰TokenHub
  • 模型广场
  • 体验中心
  • 服务接入
星辰MaaS平台
  • 星辰MaaS智能体平台
  • 星辰大模型
大模型
  • glm-5.3-flash
  • GLM-5.2
  • deepseek-v4-pro-0813
  • deepseek-v4-flash-0731-new
  • qwen3.8-flash
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
应用托管
  • 天翼云DramaFlow2.0
  • 应用实例
科研助手
  • 开发机
  • 并行计算
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
智能体引擎
  • 智能体引擎
可信数据空间
  • 可信数据空间
公共算力服务
  • 裸金属
  • 定制裸金属
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入AI Store公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 智教云电脑
  • WPS 365 天翼云版
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)
  • 琥珀数据压缩归档服务
智慧教育
  • 智擎思政平台(个人版)
  • 智擎研学平台(个人基础版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      数据集成工具_相关内容
      • 数据脱敏快速入门
        本章节为您介绍如何快速使用数据脱敏能力。 第一步:新增数据源 1.使用系统管理员账号登录数据脱敏实例。 2.在左侧目标栏选择“数据资产管理 > 数据源/目标”,进入“数据源/目标”管理页面。 3.单击页面左上角的“新增”按钮,在右侧的窗口中数据需要新增数据源的相关信息。 注意 不同的数据源类型会存在不同的参数填写情况。 若您选择的数据源类型为StructFile下的LOCAL/FTP/SFTP,且文件类型为csv/txt/del,则可以在高级属性中填写表头行数:若表头行数为0,将自动填充表头;若行数大于1,则仅保留最后一行作为新表头,此配置可以使数据扫描更加准确。 4.填写完成后,单击窗口左下角的“测试连接”按钮,测试数据源的连通性。 5.连接成功后,若需要再新增目标请单击“保存并新增数据目标”重复上述操作,否则请单击“保存”按钮。 第二步:配置脱敏任务 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“脱敏/水印任务 > 结构化任务 ”,进入“结构化任务”页面。 3.单击页面左上角的“新增”按钮,进入“任务新增”界面。 4.填写完成后,单击“下一步”即可完成脱敏规则的基础配置。 第三步:配置脱敏规则 在完成基础配置后,会开始脱敏规则的创建。 配置数据脱敏任务时,您可以选择手动配置所需字段对应的脱敏规则,或者一键选择数据安全专区提供的脱敏模板。 若您希望创建自己的脱敏模板,可单击“管理”按钮,进入对应配置页面配置自定义脱敏模板,单击“保存”后单击“刷新” ,即可在下拉框中选择新创建的自定义模板。如下图所示。
        来自:
        帮助文档
        数据安全专区
        快速入门
        数据脱敏快速入门
      • 备份概述
        本节介绍了云数据库GaussDB 的备份概述。 云数据库GaussDB 支持数据库实例的备份和恢复,以保证数据可靠性。备份目前将以未加密的方式存储。 备份的作用 当数据库或表被恶意或误删除,虽然云数据库GaussDB 支持高可用,但备机数据库会被同步删除且无法还原。因此,数据被删除后只能依赖于实例的备份保障数据安全。 全量备份 全量备份(Full Backup)表示对所有目标数据进行备份,包含备份时刻点上数据库的全量数据,耗时时间长(和数据库数据总量成正比),自身即可恢复出完整的数据库。全量备份总是备份所有选择的目标,即使从上次备份后数据没有变化。 差量备份 差量备份(Differential Backup)只包含从指定时刻点之后的增量修改数据,耗时时间短(和增量数据成正比,和数据总量无关),但是必须要和全量备份数据一起才能恢复出完整的数据库。云数据库GaussDB 默认自动每30分钟对上一次自动备份后更新的数据进行备份,支持修改备份周期为最小15分钟,最大1440分钟。 自动备份 云数据库GaussDB 会在数据库实例的备份时段中创建数据库实例的自动备份。系统根据您指定的备份保留期保存数据库实例的自动备份。如果需要,您可以将保存的备份恢复。 手动备份 用户还可以创建手动备份对数据库进行备份,手动备份是由用户启动的数据库实例的全量备份,会一直保存,直到用户手动删除。
        来自:
        帮助文档
        云数据库GaussDB
        用户指南
        数据备份
        备份概述
      • 配置迁移实例
        本页详细介绍如何配置迁移实例。 基本流程 用户在成功购买天翼云DTS迁移实例之后,实例默认是“待配置”状态,需要完成实例的配置,才可以真正实现数据的迁移。 前置条件 1. 准备好待迁移的数据库实例。 2. 已成功订购天翼云DTS实例。 3. 其他合理且必要的条件。 具体步骤 1、登录天翼云官网门户,进入数据传输服务DTS控制台。 登录天翼云 在天翼云门户首页顶部菜单栏,点击“控制中心”进入【控制中心】页面。 在【控制中心】页面顶部的资源池下拉列表框中选择相应资源池(目前支持上海36/华东1/西南1/华北2/长沙42/杭州7 ),找到页面中的“数据库”服务列表,选择“数据传输服务DTS”,进入DTS控制台。 2、进入数据迁移实例列表页面。 在控制台左侧菜单栏点击“数据迁移”,进入【数据迁移】实例列表页面。 3、选择待配置实例,点击“实例配置”进入实例配置页面。 DTS实例订购成功后,选择对应实例ID的操作,点击“实例配置”,进入配置页面。
        来自:
        帮助文档
        数据传输服务DTS
        用户指南
        数据迁移
        实例配置和实例编辑
        配置迁移实例
      • RDS控制台
        本文主要介绍如何从数据管理服务跳转到云数据库控制台页面。 前提条件 已登录数据管理服务。 操作步骤 1. 点击 数据资产 > 实例管理 ,进入实例列表界面。 2. 在实例列表页面中,在点击 RDS控制台 按钮。 3. 选择对应的数据库类型以及目标资源池。 4. 点击 确定 按钮,即可跳到对应资源池的实例管理控制台页面。
        来自:
        帮助文档
        数据管理服务
        用户指南
        数据资产
        实例管理
        实例列表
        RDS控制台
      • 通过Flink作业处理OBS数据
        本章节主要介绍通过Flink作业处理OBS数据的最佳实践。 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。 在本示例中,我们使用MRS集群内置的Flink WordCount作业程序,来分析OBS文件系统中保存的源数据,以统计源数据中的单词出现次数。 操作流程 本示例操作流程如下: 创建MRS集群 创建并购买一个包含有Flink组件的MRS集群,详情请参见购买自定义集群。 说明 本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 在本示例中,由于我们要分析处理OBS文件系统中的数据,因此在集群的高级配置参数中要为MRS集群绑定IAM权限委托,使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择系统默认的“MRSECSDEFAULTAGENCY”,也可以自行创建其他具有OBS文件系统操作权限的自定义委托。 集群购买成功后,在MRS集群的任一节点内,使用omm用户安装集群客户端,具体操作可参考安装并使用集群客户端。 例如客户端安装目录为“/opt/client”。
        来自:
        帮助文档
        翼MapReduce
        最佳实践
        数据分析
        通过Flink作业处理OBS数据
      • 重颁发
        证书重颁发,是指在证书仍然有效时,由于某些特殊原因,用户需要获取一张新证书。 操作场景 通常在下述场景下,需要重颁发证书: 密钥泄露或丢失:为了网站的安全,建议重颁发一张新证书。 域名删减:原有的证书将不再适用,需要重颁发证书以匹配新域名。 密钥算法升级:通过密钥算法升级,可优化安全性、性能、合规性,系统性地提升安全防护能力并优化资源效率。 约束限制 适用产品:SSL证书、私有(内网)证书 适用品牌:CFCA、GlobalSign、标准版、DigiCert(SecureSite、GeoTrust、TrustAsia) 适用算法:国际、国密 重颁发次数限制:单张证书在有效期内(199天 )最多可申请3次重颁发,第3次申请后,重颁发按钮置灰。 重颁发后新证书的有效期: CFCA、GlobalSign:原证书剩余时间,仅在证书到期前30天内重颁发时将获得199天续期证书。 标准版、DigiCert(SecureSite、GeoTrust、TrustAsia):199天。 操作步骤 1. 登录证书管理服务控制台。 2. 选择“SSL证书管理 > SSL证书列表”或“私有证书管理 > 私有证书列表”。 3. 选择需要进行重颁发的证书,单击“操作”列的“重颁发”。 4. 填写证书申请的相关信息。 参数 说明 证书绑定域名 第一个域名将作为证书通用域名名称(不可修改)。只可删减其他域名。 密钥算法 可选择“RSA”、“ECC”或“SM2”。 证书请求文件 CSR是一个包含网站、服务、国家、组织、域名、公钥和签名的编码文件,用于从可信的证书颁发机构(CA)获取证书。 支持“系统生成”或“手动生成”两种方式: 系统生成:根据用户所配置的信息,系统自动生成一个CSR。为保障您的证书顺利申请,建议您使用系统生成CSR的方式,避免因内容不正确而导致的审核失败。 手动生成:在下拉框中选择已手动创建的CSR,使用已创建的CSR申请证书。 注意 请不要在证书签发完成前删除CSR。 手动生成将无法署到天翼云产品。 私钥文件 填写您的CSR私钥。 您可以单击“上传”并选择存储在本地计算机的证书私钥文件,将文件内容上传到文本框,或者使用文本编辑工具打开KEY格式的证书私钥文件,复制其中的内容并粘贴到该文本框。 5. 单击“确定”,提交申请。 证书状态更新为“申请审核中重颁发”。申请通过后,证书状态将更新为“已签发”。 新证书签发后,原证书吊销说明: 品牌 是否吊销 吊销说明 CFCA 是 原证书将在3天内吊销。 GlobalSign 否 原证书与新证书可同时使用。 标准版、DigiCert(SecureSite、GeoTrust、TrustAsia) 吊销的场景:仅当申请重颁发时删减域名,原证书将在新证书签发3 天后吊销。 不吊销的场景:其他场景不吊销原证书。
        来自:
        帮助文档
        证书管理服务
        用户指南
        SSL证书
        管理SSL证书
        重颁发
      • 数据轨迹
        本章节介绍ZooKeeper的数据轨迹功能 概述 在使用ZooKeeper的过程中可能会遇到Znode变更的情况,而在Znode变更之后,若相关的客户端没有收到变更事件的推送,会导致排查问题的难度加大,此时可以通过ZooKeeper数据轨迹功能提高问题的排查效率。 前提条件 已开通微服务引擎MSE,参考章节:创建ZooKeeper引擎 开通ZooKeeper实例并且状态正常。 操作步骤 1. 登录微服务引擎MSE注册配置中心管理控制台,选择资源池。 2. 在左侧导航栏,选择注册配置中心 > 实例列表。 3. 在实例列表页面,单击目标实例ID、实例名称或者目标行“管理”按钮均可跳转至实例基础信息页面。 4. 在左侧导航栏,选择数据管理> 数据轨迹。 变更记录 可以通过两个维度去查询数据轨迹:路径和SessionId,同时也支持查看近7天的数据轨迹数据。 变更时间:表示当前Znode变更事件发生的时间。 Path: 表示该Znode的Path。 变更及推送事件:表示当前时间段内的Znode变更及推送事件。变更事件中显示本次变更的事件类型;推送事件中展现推送发生时间,及被推送的具体客户端的SessionId。
        来自:
        帮助文档
        微服务引擎
        用户指南
        注册配置中心
        ZooKeeper
        数据轨迹
      • 创建数据智能中台
        本文主要介绍如何快速创建数据智能中台。 本章主要介绍如何快速创建数据智能中台产品。 1. ++注册天翼云账号++ 2. ++实名认证++ 3. 搜索数据智能中台产品 4. 按照订购流程选择具体配置,包括:产品规格、购买时长、项目描述等信息 5. 登录到++数据智能中台++++控制台++查看部署进度 6. 部署完成后可以在控制台查看访问方式
        来自:
        帮助文档
        数据智能中台
        快速入门
        创建数据智能中台
      • 表管理
        名称 功能说明 Where条件 您可通过where查询,快速获取查询信息。 复制行 双击选择行,单击“复制行”,即可复制所选行数据信息。 删除行 双击选择行,单击“删除行”,即可删除所选行数据信息。 复制列 在列下拉框中选择所需复制的列,即可复制列信息。 列设置 您可通过“列设置”筛选出需显示的列信息。 16进制显示Binary类型 列内容以Binary类型显示时,需要勾选此选项,否则显示乱码。 新增 向表内添加数据。 刷新 支持对表数据进行手动更新。 提交编辑 支持对数据进行二次编辑。 单行详情 显示指定数据行详细信息。
        来自:
        帮助文档
        数据管理服务
        用户指南
        分布式关系型数据库DRDS数据库管理(开发工具)
        库管理
        表管理
      • 配置Ranger数据连接
        本章节主要介绍如何配置Ranger数据连接。 本指导旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除。也能够避免集群迁移时Ranger元数据的迁移。 前置条件 已创建RDS服务MySQL数据库的实例,请参考 管理数据连接章节配置数据连接 中的 创建数据连接。 说明 对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考 管理数据连接章节[配置数据连接]( ) 中的 数据连接前置操作,新建用户并为该用户进行赋权。 对于MRS 3.x及之后版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,数据库用户不允许为root用户,请参考 管理数据连接章节[配置数据连接]( )中的 数据连接前置操作,新建用户并为该用户进行赋权。 Ranger元数据外置到Mysql前置操作 该前置操作仅在MRS 3.1.0及之后版本需要执行。 1.登录FusionInsight Manager页面,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。选择“集群 > 服务 > 服务名称 ”。 当前MRS 3.1.x集群支持Ranger鉴权的组件为: HDFS、HBase、Hive、Spark、Impala、Storm、Kafka组件。 2.在服务“概览”页面右上角单击“更多 > 停用Ranger鉴权”,如果“停用Ranger鉴权”是灰色,则表示未开启Ranger鉴权无需停用Ranger鉴权,如下图所示。 3.(可选)如需使用已有鉴权策略请执行该步骤在Ranger Web页面导出已有组件的鉴权策略,切换Ranger元数据完成后可重新导入已有的鉴权策略。此处以Hive为例,导出后会生成本地的json格式的策略文件。 a.登录FusionInsight Manager页面。 b.选择“集群 > 服务 > Ranger”,进入Ranger服务概览页面。 c.单击“基本信息”区域中的“RangerAdmin”,进入Ranger WebUI界面。 admin用户在Ranger中的用户类型为“User”,如需查看所有管理页面,可点击右上角用户名后,选择“Log Out”,退出当前用户。 d.使用rangeradmin用户(默认密码为Rangeradmin@123)或者其他具有Ranger管理员权限用户重新登录。 e.单击Hive组件对应行的导出按钮,导出鉴权策略。 详见下图:导出鉴权策略 f.单击“Export”,导出后会生成本地的json格式的策略文件。 详见下图: 导出Hive鉴权策略
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        管理数据连接
        配置Ranger数据连接
      • 创建迁移任务
        参数 说明 数据源 目前数据存储所用的源端云厂商,如阿里云、腾讯云、华为云等。 Access key/Secret sccess key 访问源端云厂商数据所用提供的AK/SK。 EndPoint 访问源端数据的EndPoint。 BucketName 待迁移数据的源Bucket名称。
        来自:
        帮助文档
        媒体存储
        控制台指南
        对象存储
        数据迁移
        创建迁移任务
      • 将MySQL同步到MySQL
        参数 描述 流速模式 流速模式支持限速和不限速,默认为不限速。 限速 自定义的最大同步速度,全量同步过程中的同步速度将不会超过该速度。 当流速模式选择了“限速”时,你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为全天限流,您也可以根据业务需求自定义时段限流。自定义的时段限流支持最多设置3个定时任务,每个定时任务之间不能存在交叉的时间段,未设定在限速时间段的时间默认为不限速。 流速的大小需要根据业务场景来设置,不能超过9999MB/s。 不限速 对同步速度不进行限制,通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗,消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s,假设高速模式使用了80%带宽,则同步对源数据库将造成80MB/s的读操作IO消耗。 说明 限速模式只对全量阶段生效,增量阶段不生效。 您也可以在创建任务后修改流速模式。具体方法请参见 修改流速模式。 增量阶段冲突策略 该冲突策略特指增量同步中的冲突处理策略,全量阶段的冲突默认忽略。冲突策略目前支持如下三种形式: 忽略 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。 报错 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。 覆盖 当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。 当数据发生冲突时,针对如下情况,建议选择“忽略”或者“覆盖”,否则建议选择“报错”: 目标数据库存在数据 多对一同步场景 目标数据库手动更新数据 是否过滤DROP DATABASE 实时同步过程中,源数据库端执行的DDL操作在一定程度上会影响数据的同步能力,为了降低同步数据的风险,数据复制服务提供了过滤DDL操作的功能,目前支持默认过滤删除数据库的操作。 是,表示过程中不会同步用户在源数据库端执行的删除数据库的操作。 否,则表示过程中将相关操作同步到目标库。 对象同步范围 对象同步范围支持普通索引和增量DDL同步。您可以根据业务需求选择是否进行同步。 数据同步拓扑 数据同步功能支持多种同步拓扑,您可以根据业务需求规划您的同步实例。数据同步拓扑说明可参考 数据同步拓扑介绍。 增量支持DDL 用户根据需求选择增量同步的DDL类型,不同链路支持的DDL类型以显示为准。 一对一、一对多场景:如果业务上认为源和目标应该使用保持严格一致,那么高危类DDL也应该勾选并同步。如果业务上确定某个高危DDL不应该发生,则可以不勾选同步高危类DDL,这样DRS将拦截过滤这个DDL,从而起到保护目标数据的作用。但需要知晓,过滤DDL的附带问题是可能导致同步失败,例如过滤删列动作。 多对一数据聚合场景:最佳方式是推荐只选择同步加列DDL,其他大部分DDL同步都可能因目标表修改而导致数据不一致或多对一中其他任务失败的情况发生。 同步对象 可选表级同步、库级同步,您可以根据业务场景选择对应的数据进行同步。 选择数据的时候支持搜索,以便您快速选择需要的数据库对象。 如果有切换源数据库的操作,请在选择同步对象前单击右上角的 ,以确保待选择的对象为最新源数据库对象。 在同步对象右侧已选对象框中,可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射,具体操作可参考对象名映射。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        出云
        将MySQL同步到MySQL
      • 分类分级统计
        分类分级报表 分类分级报表是生成分类分级报告的原始数据来源。您可以通过数据资产视角 和分类分级视角,进一步了解分类分级统计详情。 数据库资产视角 数据资产视角以Schema为统计单位,展示字段包括:Schema、数据库、所属数据源、数据表数、字段数、敏感字段数、未梳理字段数、梳理率、数据量、分级字段数统计、分类字段统计; 支持按数据表数、字段数、敏感字段数、未梳理字段数、梳理率、数据量一键正排或倒排。 单击分类字段统计列“查看”按钮,可查看该Schema对应的字段数分类分布详情。搜索项有:Schema、数据库、所属数据源。 分类分级视角 分类分级视角以模板中的分类为统计单位,用户可自主调整分类统计层级(默认展示该模板最末一级),列表展示字段包括:分类、分级、包含数据示例、数据表数、数据字段数、敏感字段数、数据量; 支持按数据表数、字段数、敏感字段数、数据量一键正排或倒排。 搜索项有:行业模板(必填,默认选中默认模板)、分类(可多选)、分级(可多选)。
        来自:
        帮助文档
        数据安全专区
        用户指南
        数据分类分级操作指导
        分类分级统计
      • 配置OBS源端参数
        参数类型 参数名 说明 取值样例 基本参数 桶名 待迁移数据所在的桶名。 BUCKET2 基本参数 源目录或文件 “列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件(最多50个),默认以“l”分隔,也可以自定义文件分隔符。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 FROM/example.csv 基本参数 文件格式 文件格式指CDM以哪种格式解析数据,可选择以下格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式:以JSON格式解析源文件,一般都是用于迁移文件到数据表的场景。 CSV格式 基本参数 列表文件 当“文件格式”选择为“二进制格式”时,才有该参数。 打开列表文件功能时,支持读取OBS桶中文件(如txt文件)的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径(不支持目录),例如直接写为如下内容: /052101/DAY20211110.data /052101/DAY20211111.data 是 基本参数 列表文件源连接 当“列表文件”选择为“是”时,才有该参数。可选择列表文件所在的OBS连接。 OBStestlink 基本参数 列表文件OBS桶 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶名。 01 基本参数 列表文件或目录 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 此处建议选择为文件的绝对路径。当选择为目录时,也支持迁移子目录中的文件,但如果目录下文件量过大,可能会导致集群内存不足。 /0521/Lists.txt 基本参数 JSON类型 当“文件格式”选择为“JSON格式”时,才有该参数。JSON文件中存储的JSON对象的类型,可以选择“JSON对象”或“JSON数组”。 JSON对象 基本参数 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时,才有该参数。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符,默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时,才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符,使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时,才有该参数。 , 高级属性 使用包围符 选择“是”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。 否 高级属性 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段,当选择“是”时,“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时,才有该参数。 是 高级属性 正则表达式 分隔字段的正则表达式。 ^(d. d) (w ) [(. )] ([w.] ) (w. ). 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时,CDM默认是全部写入,如果该参数选择“是”,CDM会将CSV文件的第一行数据作为标题行,不写入目的端的表。 否 高级属性 编码类型 文件编码类型,例如:“UTF8”或“GBK”。只有文本文件可以设置编码类型,当“文件格式”选择为“二进制格式”时,该参数值无效。 GBK 高级属性 压缩格式 当“文件格式”为“CSV格式”或“JSON格式”时该参数才显示。选择对应压缩格式的源文件: 无:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 TAR.GZ:表示只传输TAR.GZ格式的文件。 无 高级属性 压缩文件后缀 压缩格式非无时,显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则则保持原样传输。当输入或为空时,所有文件都会被解压。 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式: 不处理。 重命名:作业执行成功后将源文件重命名,添加用户名和时间戳的后缀。 删除:作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业,否则会挂起等待一段时间,等待时长在下方“等待时间”中配置。 否 高级属性 标识文件名 选择开启作业标识文件的功能时,需要指定启动作业的标识文件名。指定文件后,只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 高级属性 等待时间 选择开启作业标识文件的功能时,如果源路径下不存在启动作业的标识文件,作业挂机等待的时长,当超时后任务会失败。 等待时间设置为0时,当源端路径下不存在标识文件,任务会立即失败。 单位:秒。 10 高级属性 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径,CDM使用这里配置的文件分隔符来区分各个文件,默认为 。 高级属性 过滤类型 满足过滤条件的路径或文件会被传输,该参数有“无”、“通配符”和“正则表达式”三种选择。 通配符 高级属性 目录过滤器 “过滤类型”选择“通配符”时,用通配符过滤目录,符合过滤器规则的目录,允许进行迁移。支持配置多个路径,中间使用“,”分隔。 input 高级属性 文件过滤器 “过滤类型”选择“通配符”时,用通配符过滤目录下的文件,符合过滤器规则的文件,允许进行迁移。支持配置多个文件,中间使用“,”分隔。 .csv, .txt 高级属性 时间过滤 选择“是”时,可以根据文件的修改时间,选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时,可以指定一个时间值,当文件的修改时间大于该时间才会被传输,输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量,例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))} 表示:只迁移最近90天内的文件。 20190601 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时,可以指定一个时间值,当文件的修改时间小于该时间才会被传输,输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量,例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示:只迁移修改时间为当前时间以前的文件。 20190701 00:00:00 高级属性 加密方式 如果源端数据是被加密过的,则CDM支持解密后再导出。这里选择是否对源端数据解密,以及选择解密算法: 无:不解密,直接导出。 AES256GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES256GCM(NoPadding)。该参数在目的端为加密,在源端为解密。 AES256GCM 高级属性 忽略不存在原路径/文件 如果将其设为是,那么作业在源路径不存在的情况下也能成功执行。 否 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数,密钥由长度64的十六进制数组成,且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数,初始化向量由长度32的十六进制数组成,且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时,该参数才显示。 校验CDM抽取的文件,是否与源文件一致。 .md5
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置OBS源端参数
      • 应用场景
        本节主要介绍应用场景 SQL变更场景 需要为某一角色设置对某个数据库的结构权限、数据权限等权限进行变更时,可以使用此功能方便操作。 优势: 预检查:此功能可以规避用户使用错误SQL语句进行变更时,提前察觉,方便用户进行预处理。 审批限制:方便企业管理者对数据和数据变更人员的管理。 备份与回滚:备份功能有助于客户在执行SQL失败或返回数据库更改前的状态,保证了数据的安全性。 库管理场景 对象列表下包括表、视图、存储过程、事件、触发器和函数六部分。 表:MySQL数据表包含基本信息、字段/列信息、虚拟列、索引、外键5大组成部分,其中,虚拟列、索引、外键为可选项。通过在数据库中的表操作,可以直接操作数据。 视图:就是一个表或者多个表的一个映射,一般只做查询使用。 事件:即时间触发器,它可以完成在特定的时间特定的操作。 存储过程:存储过程是一组为了完成特定功能的SQL语句集,它通常存在于数据库中,用户只需要修改对应的参数就可以实现某一特定事务。 触发器:触发器是在对某一张表进行操作前后(增、删、改),需要实现对另一张关联表的操作所设计的自动执行的sql语句。触发器经常用于增强数据的完整性约束和原子性的事件规则。 函数:包括系统函数和用户自定义函数,通过设置不同的函数,实现某一功能的复用。
        来自:
        帮助文档
        数据管理服务
        产品简介
        应用场景
      • 分布式存储架构及可扩展性
        相比于传统的集中式数据库,分布式数据被分散存储在多个物理位置(多台服务器或数据中心)上,并将这些分散的存储资源构成一个虚拟的存储设备。这种存储方式不仅实现在线扩容能力,同时也提升了数据的检索能力。而且分布式数据库利用SQL语言进行分布式查询和处理,使其性能和扩展性得到显著提升。 分布式数据存储原理 分布式存储架构通常由三个部分组成:客户端、元数据服务器(协调节点)和数据服务器(数据节点)。其主要流程是:客户端负责发送读写请求,缓存文件元数据和文件数据。元数据服务器(协调节点)管理元数据和处理客户端的请求。数据服务器(数据节点)存放文件数据,保证数据的可用性和完整性。分布式存储主要通过以下几种方式实现: 数据分片‌:在分布式存储系统中,数据被分成多个部分,每个部分存储在不同的数据节点上,以实现数据的分布式存储和管理。这种分片通常使用哈希函数或一致性哈希算法来实现。 主备复制‌:为了提高数据的可靠性和可用性,分布式存储系统通常分为主备节点。每个数据都存储在不同的数据节点上,以确保即使某些节点出现故障,仍然可以从其他节点中恢复数据。 数据一致性‌:确保数据在不同节点之间的一致性是分布式存储系统的关键。为了实现数据同步和管理,分布式存储系统使用数据同步和管理机制,如Paxos算法、Raft算法或ZooKeeper等分布式协调服务。 数据访问‌:在分布式存储系统中,数据可以并行地从多个节点中读取和写入,以提高读写性能和吞吐量。数据访问使用负载均衡机制实现,如分布式哈希表、分布式缓存或分布式文件系统等技术。 通过这种存储方式可实现TeleDB在线扩容能力,在业务无感知的情况下,在线弹性伸缩,提升系统容量和处理能力,以便满足大规模存储应用的需求。
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品
        技术白皮书
        产品核心功能
        分布式存储架构及可扩展性
      • 如果用户主密钥被彻底删除,用户数据是否还可以解密?
        不可以。 若用户主密钥被彻底删除,KMS将不再保留任何该密钥的数据,使用该密钥加密的数据将无法解密;若用户主密钥没有被彻底删除,则可以通过KMS界面取消删除用户主密钥。 若用户主密钥是通过KMS导入的密钥,且仅删除了密钥材料,则可以将本地备份的密钥材料再次导入原来的空密钥,回收用户数据。若密钥材料没有在本地备份,则无法回收用户数据。
        来自:
        帮助文档
        数据加密
        常见问题
        密钥管理类
        如果用户主密钥被彻底删除,用户数据是否还可以解密?
      • 查看监控数据
        本文主要介绍查看监控数据。 操作场景 云监控对Kafka实例的运行状态进行日常监控,可以通过控制台直观的查看Kafka实例各项监控指标。 前提条件 已创建Kafka实例,且实例中有可消费的消息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法,查看监控数据。 在Kafka实例名称后,单击。跳转到云监控页面,查看实例、节点、队列和消费组的监控数据,数据更新周期为1分钟。 单击Kafka实例名称,进入实例详情页。在左侧导航栏单击“监控”,进入监控页面,查看实例、节点、队列和消费组的监控数据,数据更新周期为1分钟。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        监控
        查看监控数据
      • 配置OBS桶
        本章节主要介绍配置的配置OBS桶。 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 配置方法 1.登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 详见下图:选择数据开发 2.在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 3.选择“OBS桶”。 4.配置OBS桶的信息。 详见下图:配置OBS桶 5.单击“保存”,完成配置。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        配置管理
        配置
        配置OBS桶
      • 新建对账作业
        导出对账作业 系统支持批量导出对账作业,一次最多可导出200个对账作业。 1.选择“数据质量监控 > 对账作业”,选择要导出的对账作业。 2.单击“导出”,弹出“导出对账作业”对话框。 3.单击“导出”,切换到“导出记录”页签。 4.在导出文件列表中,单击最新导出文件对应的“下载”,可将质量作业的Excel表格下载到本地。 导入对账作业 系统支持批量导入对账作业,一次最大可导入1M数据的文件,并且最多200个对账作业。 1.选择“数据质量“监控” > 对账作业”,单击“导入”,弹出“导入对账作业”对话框。 2.在“导入配置”页签,选择模板名称重名策略。 终止:如果对账作业名称有重复,则全部导入失败。 跳过:如果对账作业名称有重复,会忽略后继续导入。 覆盖:如果对账作业名称有重复,会覆盖现有同名作业。 3.单击“上传文件”,选择准备好的数据文件。 说明 可通过如下两种方式填写数据文件: (推荐使用)通过“导出”功能,可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”,将数据填写好,再导入至系统中。 4.分别配置数据连接、集群、目录、主题、的映射资源信息。单击“导入”,将填好的Excel表格模板导入到系统。 数据连接:选择导入后的数据连接类型。 集群:如果数据连接类型是DLI,需要选择对应的队列。 目录:选择导入后的对账作业存储目录。 主题:如果配置了消息通知,需要选择主题。 5.单击“导入记录页签”,可查看对应的导入记录。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据质量
        数据质量监控
        新建对账作业
      • 删除实例数据
        本节主要介绍如何删除实例数据 Redis管理控制台支持删除实例数据。删除实例数据操作无法撤销,且实例数据被删除后将无法恢复,请谨慎操作。 前提条件 只有当Redis实例处于“运行中”状态,才能执行此操作。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页,单击目标实例名称进入实例详情管理。 4. 左侧菜单点击CloudDBA>Redis节点管理,进入Redis节点管理界面。 5. 在Redis节点管理界面,点击上方按钮清空实例数据,可删除实例数据。
        来自:
        帮助文档
        分布式缓存服务Redis版
        用户指南
        实例日常操作
        删除实例数据
      • 将SQL Server同步到SQL Server
        前置网络协议与安全环境限制 协议与认证强制要求 :不支持 Windows 身份认证方式,仅支持 SQL Server 身份认证。不支持 TLS 1.0 和 TLS 1.1 协议的同步,必须将源库升级到 TLS 1.2 及以上版本。 TDE透明数据加密 :不支持迁移源数据库中开启了 TDE(透明数据加密)的数据库,若需迁移,必须在配置迁移任务前将其彻底关闭。同时,也不支持列加密。 操作须知 DTS同步过程一般包含四个阶段:预检查阶段、结构同步阶段、全量阶段、增量阶段。为了确保数据同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。 如同步对象为表级别,则单次同步任务仅支持同步最多3000张表。当超出数量限制,任务会在提交后会请求报错。如果遇到这种情形,建议您拆分待同步的表,分批配置成多个任务,或者配置为整库同步。 目标库关联RDS数据库的字符集必须与源数据库一致。 目标库若已存在行数据,DTS在增量同步过程中源库相同主键的数据将覆盖目标库已存在的数据,因此在同步前需要用户自行判断数据是否需要清除,建议用户在同步前自行清空目标库。 目标实例及关联RDS实例的运行状态必须正常,若关联RDS实例是主备实例,复制状态也必须正常。 目标库关联RDS实例必须有足够的磁盘空间,建议至少为待同步数据量的2.5倍。(全量数据同步会并发执行 INSERT 操作,导致目标数据库的表产生碎片,因此全量同步完成后目标数据库的表存储空间会比源实例的表存储空间大)。 SQL Server的TIMESTAMP类型字段不能显式赋值,只能自动生成,所以目标库库的TIMESTAMP值自动生成,跟源库的字段值存在差异。 增量同步时,CDC机制会在源库的cdc这个schema下产生一些数据库对象,请勿操作,否则影响增量同步。 在任务启动、任务全量同步阶段,不建议对源数据库做删除类型的DDL操作,这样可能会引起任务同步失败。 同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。 同步过程中,不允许对源库需要同步的表结构进行修改。 选择表级对象同步时,增量同步过程中不建议对表进行重命名操作。 增量同步场景下,不支持源数据库进行恢复操作。 增量同步场景下,不支持无主键表的数据增量同步,因为无主键表的增量同步性能远低于有主键的表,而且不能保证数据的一致性。 如果开启 CDC 的表需要写入的单字段数据长度超过 64KB,由于 CDC 作业默认最大处理长度限制,必须提前在源库执行 exec spconfigure 'max text repl size', 1; 命令进行配置调整,否则会导致同步失败或截断。 CDC 组件默认仅保留 3 天数据,若源库单表日均变更超千万条,建议使用 spcdcchangejob 命令将保留时间调整为 1440 分钟(24小时)或更长。 极端场景下,开启 CDC 的表数量不建议超过 1000 张,否则极易导致任务延迟或运行不稳定。聚集列存储索引表不支持开启 CDC。 待同步的表不仅需要有主键,还需要具备聚集索引且包含主键列;已经开启 CDC 的表不支持进行任何主键相关的变更,增量同步期间不支持重建索引操作,否则会造成数据丢失。 切勿使用 sprename 命令修改对象名称,应直接使用 ALTER 命令,否则会导致任务运行失败。 全量数据同步运行期间,建议将源库的事务处理模式启用 READCOMMITTEDSNAPSHOT(已提交读隔离),防止产生的共享锁影响业务正常写入。 在业务正式切换到目标实例前,务必手动结束该数据同步任务,或者回收 DTS 账号在目标库的写权限。避免任务意外自动恢复后用旧数据覆盖目标端新业务数据。 sys.sysservers视图的srvname字段与SERVERPROPERTY函数返回值保持一致。 若单次同步任务中开启CDC的表数量大于1000,则预检查会失败。 日志备份模式与全量物理备份前提:为保证增量同步正常进行,源库的数据日志必须开启,且备份模式必须设置为 Full。
        来自:
        帮助文档
        数据传输服务DTS
        用户指南
        数据同步
        入云
        将SQL Server同步到SQL Server
      • 产品基本概念
        概念 说明 站点复制对 一对拥有复制关系的生产站点和容灾站点。 云容灾网关 云容灾网关将生产站点所有被容灾的服务器上的数据进行汇聚和重删压缩加密,并实时同步到容灾站点。 代理客户端 代理客户端将所在服务器上的数据实时传输到云容灾网关。 开启保护 生产业务位于生产站点时,数据同步停止后可执行此操作,用来开始数据同步。 切换 将业务从用户的生产站点切换到容灾站点。切换后数据同步中断,保护实例的状态是切换完成。 切回 切换完成后,当前生产业务位于容灾站点,通过切回操作,可将生产业务从容灾站点切回到生产站点。切回完成后,数据不再进行同步。 反向重保护 切换完成后,数据不会自动反向同步(容灾站点到生产站点),保护实例处于停止保护状态,如需开始反向数据同步,需要进行反向重保护操作。 重保护 切回完成后,数据不会自动同步(生产站点到容灾站点),保护实例处于停止保护状态,如需开始数据同步,需要进行重保护操作。 停止保护 生产业务位于生产站点时,数据同步中或者同步完成后可执行此操作,用来停止数据同步。
        来自:
        帮助文档
        存储容灾服务
        产品简介
        存储容灾服务的相关概念
        产品基本概念
      • 将PostgreSQL同步到PostgreSQL
        使用建议 注意 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约610个session连接数,需要考虑该连接数对业务的影响 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        入云
        将PostgreSQL同步到PostgreSQL
      • 移除服务器(集群版适用)
        参数 类型 描述 是否必须 serverId String 要移除服务器的服务器ID。 是 force Boolean 是否强制移除服务器。 注意 强制移除服务器,可能造成数据丢失。 取值: true:是。 false:否。 默认值为false。 否 deleteLocalData Boolean 移除服务器时,是否删除服务器上HBlock数据目录中的数据。 取值: true:删除服务器上HBlock数据目录中的数据。 false:不删除服务器上HBlock数据目录中的数据。 默认值为false。 否
        来自:
        帮助文档
        存储资源盘活系统
        API参考
        服务器管理
        移除服务器(集群版适用)
      • 多数据盘-服务配置修改建议
        本章节主要介绍同一节点配置多块数据盘场景的服务配置修改建议。 操作场景 创建翼MapReduce集群、新增节点组以及扩容节点时,用户可以为节点配置多块数据盘,但组件配置中默认是1块。如需使用多块数据盘,需要用户将配置目录中的信息改为多块,详细操作方法请参见下述信息。 说明 该能力适用于2.15.2~2.18.0翼MapReduce版本。 操作步骤 1、默认的配置文件 1)HDFS 配置文件:hdfssite.xml plaintext dfs.namenode.name.dir /data01/hadoop/hdfs/namenode namenode元数据存放位置 dfs.datanode.data.dir /data01/hdfs 设置datanode节点存储数据文件的本地路径 dfs.datanode.failed.volumes.tolerated 0 决定停止数据节点提供服务允许卷的出错次数, 0则表示任务卷出错都要停止数据节点 dfs.journalnode.edits.dir /data01/hadoop/hdfs/journal 存储journalnode edit文件的目录 2)YARN 配置文件:yarnsite.xml plaintext yarn.nodemanager.logdirs /data01/hadoop/yarn/log Nodemanager本地数据盘日志存储目录, 使用逗号分隔, 一般个数与{nmlocaldirs}对应 yarn.nodemanager.localdirs /data01/hadoop/yarn/local Nodemanager本地数据盘存储目录, 使用逗号分隔 配置文件:mapredsite.xml plaintext mapreduce.jobhistory.recovery.store.leveldb.path /data01/hadoop/mapreduce/jhs Jobhistory恢复信息本地存储路径
        来自:
        帮助文档
        翼MapReduce
        用户指南
        服务配置修改建议
        多数据盘-服务配置修改建议
      • 将DRDS同步到DRDS
        本章节介绍如何将DRDS同步到DRDS。 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 DRDS实例 DRDS实例 前提条件 已登录数据复制服务控制台。 满足实时同步支持的数据库类型和版本,详情请参见实时同步。 使用建议 注意 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约610个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        入云
        将DRDS同步到DRDS
      • 查看异常行为检测事件
        本文介绍DSC针对云上数据使用异常行为实时告警与审计的方法 数据安全中心DSC对云上数据使用提供异常行为的实时告警与审计,可查看“近30分钟”、“近3小时”、“近24小时”、“近7天”、“近30天”的异常行为数据,并且DSC将异常事件数据保留180天。DSC服务还能够检测敏感数据的访问、操作、管理等相关的异常行为,并且提供告警提示信息,用户可以确认和处理异常事件。以下行为被视为异常事件: 合法用户访问、下载、修改、权限更改、权限删除敏感数据。 合法用户更改、删除与敏感数据存储桶相关的权限。 非法用户在未经授权的情况下访问、下载敏感数据。 访问敏感数据的用户登录终端存在异常情况。 前提条件 当前异常事件处理页面含有异常事件。 操作步骤 1. 单击左上角的,选择区域或项目。 2. 在左侧导航树中,单击,选择“安全 > 数据安全中心”,进入数据安全中心总览界面。 3. 在左侧导航树中选择“数据风险检测 > 数据使用审计”,进入“数据使用审计”页面,参数说明请参考下表。 在列表的右上角,可选择“近30分钟”、“近3小时”、“近24小时”、“近7天”、“近30天”的时间周期,事件类型以及事件状态来展示您想要的异常行为事件信息。 参数名称 参数说明 用户ID 资源所有者对应的ID。 事件类型 DSC将异常事件分成了三种类型: 数据访问异常: 敏感文件的越权操作。 敏感文件的下载操作。 数据操作异常: 敏感文件的更新操作。 敏感文件的文件内容追加操作。 敏感文件的删除操作。 敏感文件的复制操作。 数据管理异常: 添加桶时,检测到桶为公共读或公共读写桶。 添加桶时,检测到私有桶对匿名用户或注册用户组开通了访问/ACL访问权限。 含有敏感文件的桶出现桶策略更改、删除操作。 含有敏感文件的桶出现桶ACL更改、删除操作。 含有敏感文件的桶出现跨区域复制配置的更改、删除操作。 敏感文件的对象出现ACL更改、删除操作。 事件名称 导致异常事件发生的具体事件。 告警时间 异常事件发生的具体时间。 状态 状态说明如下: “待处理”:异常事件未进行处理。 “违例确认”:已处理异常事件为违例确认。 “违例排除”:已处理异常事件为违例排除。 4. 在异常事件的操作列,单击“查看详情”,查看该事件的详细信息。 您可以根据异常事件的详细信息判断该事件是否为违例事件,从而确定如何来处理该事件,具体的处理方法请参见处理异常行为检测事件。
        来自:
        帮助文档
        数据安全中心
        用户指南
        数据安全运营
        数据使用审计
        查看异常行为检测事件
      • 网盘同步科研文件
        本文介绍科研文件与百度网盘之间的数据同步流程。 操作步骤 1.登录科研助手++管理控制台++。 2.在控制台左侧导航栏中,选择【数据存储】。 3.在【数据存储】弹出的选项中,选择【科研文件管理】,进入科研文件详情页。点击右上角【网盘同步】。 4. 点击左上角【添加】按钮,点击【更新授权】,点击【获取授权码】。 5. 进入百度账号页面,登陆后复制授权码,填写至【更新授权】中,确认无误点击【授权】。 6.授权完成后,点击【浏览文件】,可浏览查看网盘的相关文件集数据信息。 7.勾选数据并点击【确认】,进行下载给本地盘。 8.等待数据同步完成,即可完成百度网盘数据同步。
        来自:
        帮助文档
        科研助手
        用户指南
        数据存储
        科研文件管理
        网盘同步科研文件
      • 是否支持数据持久化?
        本文介绍分布式缓存服务Redis版数据持久化 支持,全部规格都支持RDB+AOF组合持久化策略,提升备份和恢复效率。 Redis 提供两种主要的持久化方式: RDB 持久化: Redis 可以周期性地将数据集快照写入磁盘。这个快照是一个二进制文件,包含了某个时间点上的数据集的副本。RDB 持久化是通过调用 SAVE 或 BGSAVE 命令来触发的,也可以配置自动触发快照的条件。RDB 文件对于备份和灾难恢复非常有用,但可能会导致一些数据丢失,因为数据只在指定的时间点进行持久化。 AOF 持久化: Redis 通过将写命令追加到一个文件(Append Only File,AOF 文件)的方式来记录每个写操作。AOF 持久化可以确保更小的数据丢失,因为每个写操作都会被记录。AOF 文件以文本形式存储,当服务器重新启动时,可以通过重新执行 AOF 文件中的命令来恢复数据。
        来自:
        帮助文档
        分布式缓存服务Redis版
        常见问题
        功能类
        是否支持数据持久化?
      • DSC对可识别和脱敏的数据的字符集是否有要求?
        本章为您介绍DSC对可识别和脱敏的数据的字符集是否有要求? DSC对可识别和脱敏的数据字符集没有任何要求。 DSC可以识别的数据源对象:查看DSC能够识别哪些数据源对象?章节。 DSC支持识别的敏感数据类型:查看DSC支持识别的敏感数据类型?章节。
        来自:
        帮助文档
        数据安全中心
        常见问题
        数据识别和数据脱敏
        DSC对可识别和脱敏的数据的字符集是否有要求?
      • 开发一个DLI Spark作业
        本章节主要介绍DataArts Studio的开发一个DLI Spark作业流程。 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时,大部分时间会使用SQL对数据进行分析处理,有时候处理的逻辑特别复杂,无法通过SQL处理,那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。 操作流程如下: 1. 创建DLI集群,通过DLI集群的物理资源来运行Spark作业。 2. 获取Spark作业的演示JAR包,并在数据开发模块中关联到此JAR包。 3. 创建数据开发模块作业,通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS,并创建桶,例如“obs://dlfexample”,用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI,并创建Spark集群“sparkcluster”,为Spark作业提供运行所需的物理资源。 获取Spark作业代码 本示例使用的Spark作业代码来自maven库,此Spark作业是计算π的近似值。 1. 获取Spark作业代码JAR包后,将JAR包上传到OBS桶中,存储路径为“obs://dlfexample/sparkexamples2.101.1.1.jar”。 2. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。 选择数据开发 3. 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。单击“新建资源”,在数据开发模块中创建一个资源关联到步骤1的JAR包,资源名称为“sparkexample”。 创建资源
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        使用教程
        开发一个DLI Spark作业
      • 1
      • ...
      • 89
      • 90
      • 91
      • 92
      • 93
      • ...
      • 444
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      818 天翼云云智盛典

      爆款云主机低至1.5折起,Token套餐低至9.9元/月起

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性高性能计算 E-HPC

      公共算力服务

      科研助手

      星辰MaaS模型服务平台

      人脸比对

      花卷慧办

      通用型OCR

      营业执照识别

      驾驶证识别

      推荐文档

      云课堂 第一课:玩转天翼云安全组

      绑定和解绑弹性IP

      iOS客户端需求

      编辑

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号