介绍分布式消息服务Kafka的数据保护技术 天翼云分布式消息服务Kafka通过多种数据保护手段和措施，保障您在Kafka实例上的数据的安全性。 容灾 根据数据和服务的不同可靠性需求，您有多种选择。您可以选择在一个可用区（即单个机房）内部署Kafka实例，或者选择跨多个可用区（即同城灾备）进行部署。目前跨可用区在华东1、华南2支持跨可用区部署。具体请参考容灾策略。 副本冗余 通过配置适当数量的副本和分布在不同的节点上，Kafka可以提供高可用性和数据冗余，以保护数据免受节点故障的影响。同时，副本机制还可以提高读取性能，因为客户端可以从就近的副本中读取数据，而不必从远程节点获取数据。 数据持久化 Kafka中数据的持久化是通过将消息写入磁盘上的日志文件来实现的。这种设计使得Kafka能够提供高吞吐量和持久性，即使在发生故障或重启时也能够保留数据。此外，Kafka还提供了数据复制和故障转移机制，以确保数据的可用性和可靠性。

本章节主要介绍产品定义 数据管理服务（Data AdminService,简称DAS），是一种基于管理控制台提供数据管理、结构管理、会话以及用户管理的服务，方便用户高效管理和安全使用数据。目前可支持关系型数据库MySQL、关系型数据库SQL Server 、关系型数据库PostgreSQL、分布式关系型数据库DRDS、文档数据库DDS。

场景描述 在源Redis和目标Redis网络互通的前提下，使用在线迁移功能，可将源Redis中的数据以全量同步或者全量同步+增量同步的方式迁移至目标Redis中。操作界面全新改版，重构迁移任务创建全流程，对任务配置、数据源选择、参数配置等模块全面优化，同步扩充迁移配套能力，简化多场景数据迁移配置步骤，有效提升用户操作体验与整体数据迁移效率，支持天翼云 Redis 实例、自建自定义 Redis 等多源数据向目标实例迁移。 说明 如果源Redis禁用了PSYNC命令，仅可进行全量同步，否则可进行全量同步+增量同步。 如果源Redis和目标Redis网络不通，请根据场景使用 如果源Redis和目标Redis在相同db下存在相同的key数据，将按照迁移勾选的进行处理。 如果迁移双方为主备架构，当迁移过程中出现主从切换时，迁移可能发生中断。 建议目标Redis内核版本不低于源Redis版本，否则可能出现命令不兼容问题，导致迁移中断。 建议源端Redis无大key存在，否则迁移可能发生中断。 对业务影响 在线迁移，相当于在源Redis增加一个slave节点进行数据同步，建议在业务低峰期进行迁移操作。 迁移双方实例均是天翼云实例时，迁移任务将部署在源端节点并占用一定的服务器资源（占用的服务器资源与迁移数据量相关）。

媒体存储满足海量视频、图片及其它非结构化数据存取、处理及弹性扩展要求等场景。 应用场景 场景优势 场景示例 搭配产品/功能指引 视频监控存储 不限制存储空间大小，可根据所需存储量弹性扩展存储空间。 属地化建设与服务，支持专网接入，保障客户数据安全。 提供标准化存储协议，应用无缝接入。 智能视图服务 线上教育培训 支持防盗链，黑白名单等多重安全保护措施。 推荐搭配云点播服务，提供媒资管理一站式服务，支持海量媒资记录检索。 转码等媒体处理能力与存储服务共址建设。 推荐搭配CDN加速服务，快速对接加速分发，保证热点内容观看体验。 云点播 CDN加速 企业视图存储应用 支持海量数据存储，能够处理高并发的数据读写操作。 支持弹性扩展，根据容量和性能付费，无需预先投入大量硬件资源。 自动化的数据生命周期管理实现冷热数据分离，节省成本。 高可用性和异地容灾备份，满足业务连续性的要求。 提供多重安全措施和数据冗余措施，包括加密传输、权限控制和数据跨区备份等。 提供多种存储接入协议，兼容多类上层应用的接入和使用需求。 数据迁移 支持主流厂商的数据迁移。 可灵活配置迁移规则，支持多种迁移策略以及数据覆盖规则。 采用HTTPS数据加密通道，保证迁移传输安全。 数据迁移 数据云上备份 因业务运行需要，希望所有写入媒体存储的数据能够在另一存储区域进行备份，以防止在数据发生不可逆损毁时，有安全、可用的备份数据，可实时切换业务访问路径，保证业务不中断。 存储桶复制 图片文件处理 媒体存储提供一体化图片处理能力以及视频截帧能力，用户上传文件后，可对图片或视频文件进行数据处理，如：图片裁剪、图片缩放、水印、视频截帧等。 数据处理

本文将为您介绍如何查看监控指标数据。 操作场景 将弹性云主机实例加入伸缩组后，云监控会自动为其开启监控，用户可以通过云监控更好地掌握伸缩组内实例运行状况。 前提条件 当伸缩组内没有实例时，即实例数为0时，无法在监控中查看到任何监控数据。 当伸缩组内云主机实例处在关机、故障、删除状态时，您无法查看其CPU使用率、内存使用率等性能指标，必须确保弹性伸缩组内的弹性云主机处于正常运行状态。 操作步骤 查看监控指标数据您可以从两个入口进入： 在弹性伸缩组页面查看。 在云监控页面查看。 在弹性伸缩组页面查看 1. 登录控制中心。 2. 单击控制中心左上角的，选择弹性伸缩组所在地域。 3. 单击“计算>弹性伸缩服务”，进入弹性伸缩管理控制台。 4. 点击待查看实例监控指标数据的伸缩组名称，进入到伸缩组详情页面。 5. 在详情页面的下方，单击“监控”进入监控页签，即可查看伸缩组内实例的监控指标数据。 在云监控页面查看 1. 登录控制中心。 2. 单击控制中心左上角的，选择弹性伸缩组所在地域。 3. 单击“管理与部署>云监控”，进入云监控管理控制台。 4. 在左侧的导航栏中单击“云服务监控>弹性伸缩监控”，进入到“弹性伸缩监控”页面。 5. 进入到“弹性伸缩监控”页面后，可以查看到当前已创建的弹性伸缩组，在待查看监控性能数据的伸缩组所在行，单击“操作>查看监控图表”，即可进入监控指标数据详情页面。 您可以在监控指标数据详情页面查看伸缩组内当前实例“近 1 小时”、“近 3 小时”、“近 12 小时”、“近 24 小时”、“近 7 天”“近15天”的监控性能数据。如果您想查看更长时间范围的监控曲线，请在监控视图中单击图标，进入大图模式查看。

本章节主要介绍跨源连接相关问题中有关跨源分析的问题。 如何实现跨数据源查询 跨数据源查询步骤如下： 1. 假设数据存放在云上多个不同的地方，例如存放在OBS上。 2. 在DLI中创建数据表，数据表对应的位置配置为数据所在的位置，例如OBS的某个桶路径（该数据实际还是在OBS中，不用迁移）。 3. 在DLI中编写SQL直接查询分析这些数据。 如何实现跨区域访问数据 1. 打通不同区域间的VPC网络。 2. 在DLI中创建增强型跨源链接，绑定队列。 3. 添加DLI的路由。 创建DLI关联RDS表时，如果RDS表有自增主键或者其他自动填充的字段时，在DLI中插入数据时，对应字段如何填写？ 在DLI中插入数据时，ID字段填写NULL。

产品优势 即开即用 非侵入式性能数据采集，无需修改业务代码即可轻松接入APM，数据来源如下： APM Agent：基于自研Agent通过非侵入方式采集业务调用数据、服务存量数据、调用的KPI数据等应用指标。 超高性能 支持亿级调用链业务吞吐，无惧流量凶猛，为用户体验保驾护航。 生态开放 开放了运营、运维数据查询接口和性能指标、采集标准，支持自主开发。 智能分析 AI智能阈值检测，机器学习历史基线数据产生告警，通过RCA（Root Cause Analysis）分析找到问题根因。

参数 参数说明 系统盘 节点云主机使用的系统盘，供操作系统使用。 您可以设置系统盘的规格为40GB1024GB之间的数值，缺省值为50GB。 加密：数据盘加密功能可为您的数据提供强大的安全防护，加密磁盘生成的快照及通过这些快照创建的磁盘将自动继承加密功能。 目前仅在部分Region显示此选项，具体以界面为准。 默认不加密。 点选“加密”后，可在弹出的“加密设置”对话框中，选择已有的密钥，若没有可选的密钥，请单击后方的链接创建新密钥，完成创建后单击刷新按钮。 数据盘 节点云主机使用的数据盘，供容器运行时和Kubelet组件使用。br您可以设置数据盘的规格为100GB32768GB之间的数值，缺省值为100GB。 至少需要一块数据盘 ，供容器运行时和Kubelet组件使用，该数据盘不能被删除卸载，否则会导致节点不可用。 单击后方的“展开高级设置”可进行如下设置： 自定义空间分配：勾选后可定义容器运行时在数据盘上占用的空间比例，容器运行时的空间用于存放容器运行时工作目录、容器镜像数据以及镜像元数据。数据盘空间分配详细说明请参见 目前仅在部分Region显示此选项，具体以界面为准。 − 默认不加密。 − 点选“加密”后，可在弹出的“加密设置”对话框中，选择已有的密钥，若没有可选的密钥，请单击后方的链接创建新密钥，完成创建后单击刷新按钮。 添加多个数据盘 最多可以添加4个，默认情况直接创建为裸盘，不做任何处理。您也可以展开高级配置，选择如下配置。 默认：默认情况直接创建为裸盘，不做任何处理。 挂载到指定目录：将数据盘挂载到指定目录。 作为持久存储卷：适用于对PV有性能要求的场景。持久存储卷的节点会添加上node.kubernetes.io/localstoragepersistent标签，取值为linear或striped。 作为临时存储卷：适用于对EmptyDir有性能要求的场景。说明持久存储卷和临时存储卷仅在集群版本 > v1.21.2r0 时支持创建，且临时存储卷需要Everest插件版本>1.2.29，持久存储卷需要Everest插件版本>1.2.31。持久存储卷和临时存储卷支持如下两种写入模式。 线性（linear）：线性逻辑卷是将一个或多个物理卷整合为一个逻辑卷，实际写入数据时会先往一个基本物理卷上写入，当存储空间占满时再往另一个基本物理卷写入。 条带化（striped）：创建逻辑卷时指定条带化，当实际写入数据时会将连续数据分成大小相同的块，然后依次存储在多个物理卷上，实现数据的并发读写从而提高读写性能。条带化模式的存储池不支持扩容。多块存储卷才能选择条带化。 本地盘说明 节点规格为“磁盘增强型”或“超高I/O型”时，有一块数据盘可以是本地盘。本地磁盘实例有宕机风险，不保证数据可靠性，建议您使用云硬盘存储您的业务数据。

数据加密 推荐使用HTTPS协议访问天翼云媒体存储，可以有效提高数据传输过程中的安全性。HTTPS是一种互联网通讯协议，它可以有效防止潜在攻击者使用中间人攻击或类似攻击来窃听或操纵网络流量。我们推荐访问天翼云媒体存储的时候，使用HTTPS进行数据传输。 敏感或者静态数据，推荐您对数据进行加密存储，能避免数据泄露风险。天翼云媒体存储支持服务端加密，当用户配置服务端加密后，将对收到的文件进行加密，再将加密文件持久化保存。当用户通过请求下载文件时，天翼云媒体存储自动将加密文件先解密再返回给用户。详情参考：服务端加密。 数据备份和灾难恢复 建立完善的数据备份机制和灾难恢复计划，以应对意外事件，确保数据的可用性，完整性和安全性。 建议启用版本控制，可以有效应对对象数据误删除，误覆盖的场景。版本控制功能是一种在相同的桶中保留对象的多个版本的策略。当发生数据被误删除或者被误覆盖的时候，可以通过对象多版本，快速恢复误删除/误覆盖的对象数据。详情参考：版本控制。 使用桶复制实现跨区域拷贝，构建数据异地备份，实现异地数据容灾。天翼云媒体存储提供了桶复制功能，他可以帮助您自动进行异地数据备份，实现异地数据容灾的作用。详情参考：存储桶复制。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 循环执行的子作业 是 选择需要循环执行的子作业。 数据集 是 For循环算子需要定义一个数据集，这个数据集用来循环替换子作业中的变量，数据集的一行数据会对应一个子作业实例。数据集的来源包括： 来自于上游节点的输出。例如DLI SQL、Hive SQL、Spark SQL的select语句，或者Shell节点的echo等。使用EL表达式为：{Job.getNodeOutput('preNodeName')}，即前一个节点的输出值。 来自于给定的数组。如一维数组：[['001'],['002'],['003']] 。 子作业并发数 是 循环产生的子作业可以并发执行，您可设置并发数。 子作业实例名称后缀 否 For循环生成的子任务名称：For循环节点名称 + 下划线 + 后缀。后缀可配置，如果不配置，则按照数字顺序依次递增。 作业运行参数 否 仅当子作业配置作业参数后，出现该参数。 节点属性中子作业参数配置为空时，子作业使用自身参数变量执行。 节点属性中子作业参数配置后，将使用配置参数变量执行。节点属性中子作业参数配置的方法或者EL表达式，将根据父作业的环境变量读取替换。

本文主要介绍CoapClient监控 介绍APM采集的CoapClient监控指标的类别、名称、含义等信息。 表调用接口指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 ::::::: 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） url url 请求的url ENUM LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） requestType 报文类型 该调用的报文类型 ENUM LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） concurrentMax 最大并发 该方法的最大并发 INT MAX 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） errorCount 错误数 该方法的错误数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） invokeCount 调用次数 该方法的调用次数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） maxTime 最大响应时间 该方法在采集周期内最大响应时间 INT MAX 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） runningCount 正在执行数 该方法在采集时间点正在执行数量 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range1 010ms 响应时间在010ms范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range3 100500ms 响应时间在100500ms范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range4 5001000ms 响应时间在5001000ms范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range5 110s 响应时间在110s范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range6 10s以上 响应时间在10s以上请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） totalTime 总响应时间 该方法的总响应时间 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） method 请求类型 该调用的请求类型 ENUM LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） lastError 错误信息 错误信息 STRING LAST 状态码（statusInfo ，以接口返回的状态码维度统计接口调用数据。） statusInfo 状态码 状态码 ENUM LAST 状态码（statusInfo ，以接口返回的状态码维度统计接口调用数据。） count 调用次数 该状态码的发生次数 INT SUM 状态码（statusInfo ，以接口返回的状态码维度统计接口调用数据。） url 采样url 该状态码在采集周内采样的url STRING LAST 集群调用(CON类报文)（clustercon，以调用方集群id维度统计接口调用数据(CON类报文)。） clusterId 集群id 调用方的集群id ENUM LAST 集群调用(CON类报文)（clustercon，以调用方集群id维度统计接口调用数据(CON类报文)。） invokeCount 调用次数 该集群的调用次数 INT SUM 集群调用(CON类报文)（clustercon，以调用方集群id维度统计接口调用数据(CON类报文)。） totalTime 总响应时间 该集群调用的总响应时间 INT SUM 集群调用(CON类报文)（clustercon，以调用方集群id维度统计接口调用数据(CON类报文)。） errorCount 错误次数 该集群调用的错误次数 INT SUM CoapClient版本（version） version 版本 版本 STRING LAST

LTS折线图 折线图属于趋势类分析图表，一般用于表示一组数据在一个有序数据类别（多为连续时间间隔）上的变化情况，用于直观分析数据变化趋势。在折线图中，可以清晰的观测到数据在某一个周期内的变化，主要反映在： 递增性或递减性 增减的速率情况 增减的规律（如周期变化） 峰值和谷值 所以，折线图是用于分析数据随时间变化趋势的最佳选择。同时，也可以绘制多条线用于分析多组数据在同一时间周期的变化趋势，进而分析数据之间的相互作用和影响（如同增同减，成反比等）。 查看折线图 1. 登录管理控制台，选择“管理与部署 > 云日志服务 LTS”，进入“日志管理”页面。 2. 在日志管理页面中，选择目标日志组和日志流，进入日志流详情页面。 3. 选择“日志分析”。 4. 输入查询和分析语句，设置查询和分析的时间范围，单击“查询”。 5. 单击图标，使用折线图展示查询数据。在通用配置下方，参考下表配置参数。 类别 参数 说明 标准配置 格式化 在下拉框选择K,Mil,Bil 、1000000 或Byte,KB,MB等格式，将Y轴按照指定格式进行显示。 标准配置 单位 自定义配置Y轴的单位。 标准配置 小数点位数 设置显示数值小数点位数。 标准配置 图表名称字号 设置图表名称的字号大小。 查询分析设置 X轴数据 支持数字或字符串数据。 查询分析设置 Y轴数据 支持数字或字符串数据，可以选择多个数据。 查询分析设置 维度列 请从下拉列表中选择，一般为有序数据类别。 查询分析设置 趋势对比 当X轴为时间数据时，且不设置维度列时，可开启该按钮。 开启后，设置比较对象时间，时间小于等于24小时。设置完成后，将当前时间的数据与对象时间数据进行比较。 图例配置 隐藏图例 开启后，可以隐藏图例和对比值的显示。 图例配置 图例位置 选择图表顶部或图表右边。 图例配置 对比数值 选择显示最大值、最小值、平均值、求和值等，可勾选多个。 图形配置 连接方式 设置线图显示格式，可选择直线或曲线。 图形配置 线宽 折线的线宽。 图形配置 是否显示点 开启该功能后，显示折线的连接点。 图形配置 上边距 坐标轴距离图表上边界距离。 图形配置 下边距 坐标轴距离图表下边界距离。 图形配置 左边距 坐标轴距离图表左边界距离。 图形配置 右边距 坐标轴距离图表右边界距离。 Tooltip配置 排序方式 提示框配置，当Y轴数据选择多个时，可对其进行排序显示。 X轴 显示X轴 开启后，显示X轴数据。 X轴 X轴名称 设置X轴名称。 Y轴 显示Y轴 开启后，显示Y轴数据。 Y轴 Y轴名称 设置Y轴名称。 Y轴 Y轴位置 设置Y轴位置，左边或者右边。

业务场景对比 对比项 GeminiDB Redis 开源Redis 业务场景 GeminiDB Redis的特点： 关心重要数据安全。 关心系统稳定性，不希望高峰期间发生宕机。 关心数据一致性。 GeminiDB Redis适用的业务场景： 数据量小场景，GeminiDB Redis提供更低成本。 数据量大场景，开源Redis难以胜任，GeminiDB Redis完美驾驭。 开源Redis的特点： 对数据安全性要求低，接受核心数据丢失或被LRU挤出。 对稳定性要求低，接受OOM宕机发生。 接受多点访问数据不一致。 开源Redis适用的业务场景： 往往只能用于数据量小、数据有效期短的业务。 其他对比优势 对比项 GeminiDB Redis 开源Redis 成本 成本降低75%~90% GeminiDB Redis支持全量数据落盘，采用GaussDB基础组件服务，拥有极大价格优势。 硬件成本极高开源Redis的全部数据保存在纯内存介质中，且自身Fork机制导致内存使用率低。 最大容量 PB级数据量GeminiDB Redis采用存算分离架构，使得存储资源自由扩容的同时计算层资源也可以同步弹性伸缩，性能有保障。 百GB级数据量如果开源Redis集群持续增加数据量，一方面会导致硬件成本突增，另一方面其内部Gossip集群管理效率也将变得极低。 容量利用率 100% GeminiDB Redis采用纯自研架构，不受Fork问题影响，用户购买的持久化存储空间几乎全部可用。 物理压缩：对存储介质中的数据块整体进行二次压缩。 根据实际业务测试，String、Hash等常用结构在GeminiDB Redis实例中，存储空间占用仅为开源Redis的70%~85%。 只使用逻辑压缩 时延 平均时延差距不大，p9999表现有一定差距。 平均时延较低，p9999时延较低。 扛写能力 强 GeminiDB Redis支持多节点同时写入，且采用多线程架构，吞吐轻松翻倍。 弱 开源Redis集群中仅主节点可写，且属于单线程架构，业务高峰有OOM宕机风险。 数据可靠性 高 逐条命令实时落盘，底层三副本冗余存储，无数据丢失风险。 低 内存数据秒级落盘，且主从异步复制不及时，存在数据丢失风险。 数据一致性 强一致性 GeminiDB Redis实现了三副本强一致，多点访问无脏读风险。 弱一致性 开源Redis采用主从异步复制，多点访问存在数据不一致问题。 可用性 强 即使N1个节点同时故障，GeminiDB Redis实例依然可用。 中等 如果有一半的主节点发生故障，开源Redis集群将不可用。任意一对主从节点故障，开源Redis集群将不可用。 故障恢复 分钟级恢复，数据恢复时长与数据量无关 在全量数据下沉存储的Shared Everthting架构下，数据只需被可用节点接管即可，几乎不需耗时加载。 数据量越大，恢复耗时越久 数据物理分散在多个独立节点上，故障恢复需要将RDB快照从磁盘加载进内存，耗时久。 负载均衡 支持 细粒度数据分片，节点间实现动态负载均衡。 不支持 开源Redis需要依赖第三方组件。 扩容 平滑扩容 节点扩容：分钟级完成，业务秒级感知。 容量扩容：秒级完成，业务0感知。 Shared Everthting架构下，底层数据可被任一节点访问，扩容过程不发生数据拷贝搬迁，速度极快。 耗时长，对业务影响大 各节点本地内存装载数据分片，迁移意味着新节点的加入以及数据的拷贝搬迁，耗时长。 安全 高 GeminiDB Redis采用纯自研架构，不存在开源Redis安全漏洞问题。提供虚拟私有云、子网、安全组、DDoS防护以及SSL安全访问等多层安全防护体系，实现租户隔离和访问控制。 低 开源Redis内核不定期会爆出安全漏洞问题，如CVE202132761等。如版本升级不及时，随时有被恶意利用风险。网络环境安全级别取决于所使用的云服务质量。 运维 一站式服务 GeminiDB Redis提供成熟的迁移方案、实时监控、故障预警和数据库专家团队724小时支撑。 取决于所使用的云服务质量

本文主要介绍创建迁移任务 操作场景 使用对象存储迁移服务创建对象存储任务，对业务环境的对象数据实施迁移。 如果待迁移的整桶数据超过3TB或者对象个数超过500万，建议使用创建迁移任务组进行数据迁移。 前提条件 已获取源端和目的端账号的AK/SK。 源端账号拥有list Bucket，get BucketLocation，list Object，head Object，get Object等权限，具体权限获取方式请联系源端云服务商。 list Bucket、get BucketLocation权限在迁移前选择桶时使用，如果使用指定桶名时可不用配置。 目的端拥有OBS OperateAccess权限，获取方式请参见创建IAM用户并授权使用OBS。 已在天翼云OBS服务中创建桶。 操作步骤 步骤 1在浏览器中输入 步骤 2单击左侧导航栏的“迁移实施”页签，展开右侧出现的“对象存储迁移”页签，单击“迁移任务 > 创建迁移任务”，仔细阅读弹出的隐私协议声明，勾选“同意以上隐私协议”，单击“确定”，进入“创建迁移任务”页面。 创建迁移任务 阅读，同意对象存储服务隐私协议，单机确认。 步骤 3选择源端/目的端。 选择源端 源端选择参数： 参数 说明 : 数据源 待迁移的源端云服务提供商。 appID 如果源端云服务提供商为腾讯云，则需要输入该参数，appID 是您腾讯云帐户的一个标识。 访问密钥 源端云服务提供商的访问密钥（AK）。最大长度是100个字符。 私有访问密钥 源端云服务提供商的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。 区域 源端云服务提供商所在区域 桶名 待迁移数据所在的桶。 选择目的端： 目的端选择参数 参数 说明 : 数据源 云服务提供商，选择天翼云 访问密钥 天翼云的访问密钥（AK）。最大长度是100个字符。 私有访问密钥 天翼云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。输入访问密钥和私有访问密钥后，请单击“连接目的端桶”。 桶名 存放迁移数据的天翼云OBS桶。 步骤 4单击“下一步”，设置任务参数。 步骤 5选择迁移方式。 选择文件/文件夹 单击“选择”，选择待迁移的文件或文件夹后，单击“确定”。对于已选择的文件或文件夹，您可以单击从迁移对象列表中删除。 如果选择的云服务提供商为七牛，则不支持选择文件/文件夹。 若不设置该参数，则默认迁移全桶数据。 针对每个迁移任务，在同一目录层级下，您最多可以选择500个文件或文件夹。 由于OBS服务的规格限制，请确认对象迁移到目的端后的名称不超过1024个字符，否则将导致任务失败。 指定对象列表 指定对象列表方式，一般用于增量迁移场景，用户需要将待迁移的源端对象名称写入对象列表文件，并将生成的对象列表文件放在天翼云OBS桶中，对象存储迁移服务将会迁移指定对象列表文件中的所有对象。 b.选择“列表文件所在桶（天翼云）”。 此参数中列出的桶是通过输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。 c.在“对象列表文件”区域内单击“选择”，选择用户指定的对象列表文件，单击“确定”。 对象列表文件大小不能超过100MB。 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 对象列表文件必须是UTF8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL Encode编码。 对象列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 对象列表文件中每行长度不要超过65535，否则会导致迁移失败。 对象列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。 对象列表文件如果是归档数据，迁移前需要先手动恢复，对象存储迁移服务才能访问和获取。 输入对象前缀 在“添加对象数据”区域内输入对象数据名称或者名称前缀，系统会自动匹配出数据。您可以单击，从这些匹配到的迁移数据列表中删除不需要迁移的数据。 若不添加该参数，则默认迁移全桶的数据。 指定URL列表 指定URL列表方式，一般适用于HTTP或HTTPS源端的迁移场景，用户需要将待迁移的文件URL和目的端对象名称写入URL列表文件，并将生成的URL列表文件放在天翼云OBS桶中，对象存储迁移服务将会迁移指定URL列表文件中的所有对象。 d.选择“列表文件所在桶（天翼云）”。 此参数中列出的桶是通过输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。 出于安全考虑，若您的源端同时支持HTTP和HTTPS协议，建议迁移时使用HTTPS协议；若使用HTTP协议，会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。 URL列表迁移不支持URL重定向。 e.在“选择URL列表文件”区域内单击“选择”，选择用户指定的URL列表文件，单击“确定”。 URL列表文件大小不能超过100MB。 URL列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 URL列表文件必须是UTF8无BOM格式编码格式。 URL列表文件中每行只能包含一个URL和目的端对象名称。 URL列表文件中每行长度不要超过65535，否则会导致迁移失败。 URL列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。 URL列表文件中每行使用制表符t分割URL和目的端对象名称，格式为：[URL][制表符][目的端对象名称]，其中目的端对象名称使用URL Encode编码，例如： doc%2f%e6%96%87%e4%bb%b61.txt doc%2fthefile2.txt the%20file.txt the+file2.txt doc/thefile.txt 以上示例中，URL所表示的文件，被复制到目的端桶后，对象会被分别命名为：doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。 URL列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 步骤 6（可选）设置“源端参数”。 当您的源端云服务提供商提供了下表中首列相应的功能时，才会出现此部分参数。 源端参数 参数 说明 : 源端使用自定义域名下载 当默认域名不能满足您的迁移需求，比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用，且您的源端云服务提供商支持自定义域名时，可以勾选此选项。说明当源端云服务提供商是七牛云时，因其对默认域名的使用做了限制，为确保您的迁移顺利进行，系统已为您自动勾选此参数。勾选此选项后，进行如下设置：在“自定义域名传输协议”中选择传输协议。说明HTTP协议安全级别低于HTTPS协议，推荐使用HTTPS协议。填写“桶自定义域名”。如果您使用了源端云服务提供商提供的CDN鉴权，则选择“启用CDN鉴权校验”，并配置校验类型和秘钥。说明l您需要参见源端云服务提供商的相关资料配置CDN后，才能使用CDN相关功能。l使用源端CDN产生的费用遵从源端云服务提供商的计费规则，费用由源端云服务提供商向您收取。l不支持URl重定向。单击“检查”，检查配置是否正确。l如果检查未通过，请单击“详情”查看未通过的原因。l如果检查通过，则可继续进行其他迁移配置。 解冻归档数据 归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。l勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。l不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。说明l目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。l解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。l解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。l归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。l对象存储数据从源端云服务提供商迁移到天翼云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 步骤 7单击“高级选项”后面“展开”，展开高级选项参数。 步骤 8（可选）设置高级选项参数。 高级选项参数 参数 说明 : 服务端加密 如果勾选“KMS”，对迁移数据进行KMS服务端加密后再存储至目的OBS桶中。说明使用KMS服务端加密可能会降低迁移速率10%左右。当前区域支持KMS加密时，此参数方可用。 记录失败对象 选择是否记录迁移失败的对象。l选择“否”，则不记录迁移失败的对象。如果迁移失败，只能全量重传。l选择“是”，记录迁移失败的对象。如果迁移失败，支持只对迁移失败对象进行重传。说明迁移失败的对象将被记录在一个以任务名称命名的失败对象列表文件中，普通任务：上传到目的端桶的“oms/failedobjectlists/”路径下；任务组任务：上传到目的端桶的“oms/failedobjectlists”路径下。该文件记录了迁移任务失败的摘要信息，包括：失败原因、发生时间（参照当前区域所属时区）、失败对象（经过URL编码）、失败对象（未经过URL编码）、源端SDK返回的错误码。当迁移失败对象重传成功后，失败对象列表文件仍会保留在目的端。您如果不再需要该文件，请手动删除。 解冻归档数据 归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。l勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。l不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。说明l目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。l解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。l解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。l归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。l对象存储数据从源端云服务提供商迁移到天翼云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 迁移指定时间后的对象 选择是否使用时间过滤源端待迁移对象。l选择“否”，不过滤源端待迁移对象。l选择“是”，仅迁移在指定时间之后修改的源端待迁移对象。需要单击，设置迁移指定时间。 流量控制 设置迁移任务在指定时段的最大流量带宽。l选择“否”，不进行流量控制。l选择“是”，进行流量控制。需要执行以下步骤：1.单击“新增流量控制”。下方新增一条规则记录。2.在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。限制最大流量的数值范围：1~ 200MB/s。3. 重复步骤，增加新的流量控制规则。您也可以单击“操作”栏的，删除本行记录。说明最多可以创建5条记录。即使在创建任务后，您也可以在任务详情中继续设置流量控制规则。 描述 输入本次迁移任务的简单描述信息。最多可输入255个字符。 步骤 9 单击“下一步”，进入确认信息页面。 步骤 10 确认迁移信息的设置，并启动迁移。 1.浏览各项迁移参数的设置是否正确。 如果有误，可以单击“上一步”返回之前的页面进行修改。 2.单击“开始迁移”。 提示创建迁移任务成功。查看迁移任务列表已新增该任务。 关于迁移任务状态，参见查看迁移任务。 任务创建后，会生成一个任务ID供您快速识别。它显示在列表中任务的左上角，由源端桶名+目的端桶名+时间序列标识拼接而成。

项目 描述 卷名称 设置卷名称。 字符串形式，长度范围是1~16，只能由字母、数字和短横线（）组成，字母区分大小写，且仅支持以字母或数字开头。 iSCSI目标 设置iSCSI目标名称。 iSCSI目标名称：字符串形式，长度范围1~16，只能由小写字母、数字、句点（.）和短横线（）组成，且仅支持以字母或数字开头。 说明 创建卷时可以选择已经存在的iSCSI目标；也可以输入新的iSCSI目标名称，在创建卷的同时创建新的iSCSI目标。 缓存存储池 指定缓存存储池（仅集群版支持）。如果指定了缓存存储池，卷数据首先写入缓存存储池，然后再存入存储池。 存储池 指定存储池（仅集群版支持），表示最终存储池，卷数据最终落在该存储池内。默认使用集群的基础存储池。 注意 存储池与缓存存储池不能是同一个存储池。 容量 设置卷容量。整数形式，数字后面可以选择单位（GiB、TiB、PiB）。 扇区大小 设置磁盘扇区大小。 取值：512 Bytes、4 KiB。默认值为4 KiB。 说明 扇区大小的选取：根据自身业务场景，一般情况下，单次I/O操作的数据大小大于或接近4 KiB，则推荐选择4 KiB；单次I/O操作的数据大小接近512 Bytes，则推荐选择512 Bytes。如果对接VMware等虚拟化平台，则推荐选择512 Bytes。 卷存储模式 卷存储模式： 本地模式：数据全部保留在本地。 缓存模式：本地保留部分热数据，全部数据异步存储到对象存储中。 存储模式：本地保留全部数据，并异步存储到对象存储中。 存储类型默认为本地模式。 卷冗余模式 卷冗余模式（仅集群版支持）： 取值： 副本： 单副本。 两副本。 三副本。 EC N+M ：纠删码模式。其中N、M为正整数，N≥M，且N+M≤128。表示将数据分割成N个片段，并生成M个校验数据。分片大小可以为1 KiB、2 KiB、4 KiB、8 KiB、16 KiB、32 KiB、64 KiB、128 KiB、256 KiB、512 KiB、1024 KiB、2048 KiB、4096 KiB。 说明 以下场景均为集群可用的前提下： 创建EC N+M的卷后： 卷所在存储池可用故障域数量大于等于卷的最小副本数时，可以向卷中写数据。卷所在存储池可用故障域数量小于最小副本数时，不能向卷写数据，且系统会产生告警。 卷所在存储池可用故障域数量大于等于N+M，卷数据正常，不会产生降级。卷所在存储池可用故障域数量处于[N, N+M），卷数据将处于降级状态，建议尽快添加或修复故障域。卷所在存储池可用故障域数量小于N时，已写入的数据发生损毁。 创建副本模式的卷后： 卷所在存储池可用故障域数量大于等于卷的最小副本数时，可以向卷中写数据。卷所在存储池可用故障域数量小于最小副本数时，不能向卷写数据，且系统会产生告警。 卷所在存储池可用故障域数量大于等于副本数，卷数据正常，不会产生降级。对于两副本、三副本卷，卷存储池所在故障域大于等于1，但小于副本数时，卷数据将处于降级状态，建议尽快添加或修复存储池故障域。卷所在存储池无可用故障域时，已写入的数据发生损毁。 最小副本数 最小副本数（仅集群版支持）。点击“卷冗余模式”后的“更多”按钮，可以填写最小副本数。 对于副本模式的卷，假设卷副本数为X，最小副本数为Y（Y必须≤X），该卷每次写入时，至少Y份数据写入成功，才视为本次写入成功。 对于EC N+M模式的卷，假设该卷最小副本数设置为Y（必须满足N≤Y≤N+M），必须满足总和至少为Y的数据块和校验块写入成功，才视为本次写入成功。 取值：整数。对于副本卷，取值范围是[1, N]，N为副本模式卷的副本数，默认值为1。对于EC卷，取值范围是[N, N+M]，默认值为N。 折叠副本数 指定卷的折叠副本数（仅集群版支持）。在数据冗余模式下，同一份数据的不同副本/分片默认分布在不同的故障域，当故障域损坏时，允许根据卷的冗余折叠原则，将多份数据副本放在同一个故障域中，但是分布在不同的path上。 注意 如果存储池故障域为path，此参数不生效。 取值：整数。对于副本卷，取值范围是[1, N]，N为副本模式卷的副本数，默认值为1；对于EC卷，取值范围是[1, N+M]，默认值为1。 高可用 卷的高可用类型（仅集群版支持）： 主备：该卷关联对应target下的所有IQN。 禁用：不启用主备，该卷关联对应target下的1个IQN。 默认值为主备。 写策略 卷的写策略： 回写：指数据写入到内存后即返回客户端成功，之后再异步写入磁盘。适用于对性能要求较高，稳定性要求不高的场景。 透写：指数据同时写入内存和磁盘，并在都写成功后再返回客户端成功。适用于稳定性要求较高，写性能要求不高，且最近写入的数据会较快被读取的场景。 绕写：指数据直接写到磁盘，不写入内存。适用于稳定性要求较高，性能要求不高，且写多读少的场景。 默认值为回写。 压缩策略 设置卷的本地数据压缩策略： 不压缩：不对卷本地数据进行压缩。 Zstandard：使用Zstandard压缩算法对卷本地数据进行压缩。 默认值是不压缩。 压缩级别 使用Zstandard压缩算法对卷本地数据进行压缩时，可配置的压缩级别。 取值：整数形式，取值范围是[22, 22]，默认值是3。 说明 压缩级别是一个在压缩速度与压缩比之间进行权衡的参数：级别值越低，压缩速度越快，但压缩率越低；级别值越高，压缩比越好，但压缩速度越慢，消耗的CPU和内存资源也更多。 数据目录 单机版本创建卷时，指定卷数据的存储位置（仅单机版支持）。 如果创建卷时不指定数据目录，使用服务器设置的默认数据目录。 取值：只能包含字母、数字、汉字和特殊字符(~ ! @ $ ( ) + ; . :)。

本章节主要介绍作业配置管理。 CDM作业管理界面的“配置管理”页签，主要操作如下： CDM作业最大抽取并发数 CDM作业定时备份/恢复 CDM作业参数的环境变量 CDM作业最大抽取并发数 最大抽取并发数取值范围为1300，用于限制作业运行的总抽取并发数。如果当前所有作业总并发数超过限制，超过部分将排队等待。请您参考各单作业抽取并发数估算最大总抽取并发数。 单作业的抽取并发量配置原则如下： CDM迁移作业的抽取并发数，与集群规格和表大小有关。并发抽取数取值范围为1300，若配置过大，则以队列的形式进行排队。 建议每1CUs（1CUs1核4G）配置为4，如下表所示，您也可以根据实际情况进行调整。另外，每行数据大小为1MB以下的可以多并发抽取，超过1MB的建议单线程抽取数据。 说明 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 单作业的抽取并发数，受到作业“配置管理”中所配置的“最大抽取并发数”影响。“最大抽取并发数”配置的是抽取并发总数。 表 抽取并发数参考配置 CDM集群规格 vCPUs/内存 抽取并发数参考配置 cdm.large 8核16GB 16 cdm.xlarge 16核32GB 32 cdm.4xlarge 64核128GB 128

本文主要介绍数据中台数据建模的数仓规划。 数据中台采用分层式数据仓库架构，通过对各个数据层级中的模型信息进行系统化的管理和标准化处理，实现了数据模型的一致性和规范性。此外，借助于模块化设计理念，该架构不仅能够支持用户依据具体的业务需求灵活地扩展或调整模型，同时也保证了整个数据模型的全局一致性和易于维护性。这样的设计方式极大地提高了系统的适应性和灵活性，同时确保了数据模型在长期运行中的稳定性和高效性。 前提条件 需要完成主题规划和数仓分层设计信息配置后，才能进行物理建模操作，主题划分和数仓分层设计请参见2.3.1数仓主题规划和2.3.2数仓分层设计。 需要完成数据源接入，才可进行物理建模操作。 使用限制 已拥有所需数据源使用权限 新建模型 数仓分层的模型支持用户根据实际业务场景进行自定义。具体操作如下： 1.进入数仓规划主页面。 2.在数据数仓规划控制台，点击切换的“物理表 > 维度模型”。 3.单击上面的“+新建”，进入“新建模型”页面。 4.配置模型相关参数。 5.模型创建 6.单击“确定”。模型新建完成。 7.更多操作如下：单击已新建的数仓模型右侧的“编辑”，可以修改模型的信息。 8.单击“删除”，可以删除数仓模型。删除操作无法恢复，请谨慎操作。如果模型包含实体， 无法删除。 9.单击模型的“数据表”或“字段”可以跳转到对应的“物理建表”、“维度建表”页面。

本文介绍了如何通过数据传输服务DTS跨账号迁移天翼云关系数据库MySQL版数据。 前提条件 源端 账号权限要求： 对MySQL库的查询权限。 对待迁移库的查询权限。 部分全局权限：RELOAD、LOCK TABLES、REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW、PROCESS。 如果是整实例迁移，需要对所有数据库的查询权限。 其他要求： 已绑定公网eip。 目标端 账号权限要求： 需要以下全局权限：ALTER、ALTER ROUTINE、CREATE、CREATE ROUTINE、CREATE TEMPORARY TABLES、CREATE USER、CREATE VIEW、DELETE、DROP、EVENT、EXECUTE、INDEX、INSERT、LOCK TABLES、PROCESS、RELOAD、SELECT、SHOW DATABASES、SHOW VIEW、TRIGGER、UPDATE。 其他要求： 已创建关系数据库MySQL版。 已绑定公网eip。 注意 这里的源端是指需要跨账号迁移的源天翼云数据库。 约束限制 如迁移对象为表级别，则单次迁移任务仅支持迁移最多600张表。当超出数量限制，任务会在提交后会请求报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 源数据库GTID状态建议为开启状态，源数据库实例没有开启GTID的情况下DTS不支持主备HA切换，因为DTS任务会因为位点不续接而中断导致无法恢复。 目标库关联RDS数据库的字符集必须与源数据库一致。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为7天。否则DTS在增量迁移时可能因无法获取Binlog而导致任务失败。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 目标实例及关联RDS实例的运行状态必须正常，若关联RDS实例是主备实例，复制状态也必须正常。 目标库关联RDS实例必须有足够的磁盘空间。（全量数据迁移会并发执行 INSERT 操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大，且会产生大量的BINLOG，占用大量空间）。 目标库实例若选择将时间戳类型（TIMESTAMP，DATETIME）的列作为分片键，则源库数据在迁移到目标库之后，作为分片键的该时间戳类型列的秒精度将被丢弃。 由于DTS不迁移USER信息，因此在调用目标库的视图、存储过程和函数时需要对调用者授予读写权限。 在任务启动、任务全量迁移阶段，不建议对源数据库做删除类型的DDL操作，这样可能会引起任务迁移失败。 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 迁移过程中，不允许对源库需要迁移的表结构进行修改。 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。 增量迁移场景下，不支持源数据库进行恢复操作。 增量迁移场景下，不支持无主键表的数据增量迁移，因为无主键表的增量迁移性能远低于有主键的表，而且不能保证数据的一致性。 说明 详细信息请参考

本文介绍了如何通过数据传输服务DTS将数据从其他云数据库迁移至天翼云关系数据库MySQL版。 前提条件 源端 账号权限要求： 对MySQL库的查询权限。 对待迁移库的查询权限。 部分全局权限：RELOAD、LOCK TABLES、REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW、PROCESS。 如果是整实例迁移，需要对所有数据库的查询权限。 其他要求： 已开通公网访问，并能获取外网连接地址。 目标端 账号权限要求： 需要以下全局权限：ALTER、ALTER ROUTINE、CREATE、CREATE ROUTINE、CREATE TEMPORARY TABLES、CREATE USER、CREATE VIEW、DELETE、DROP、EVENT、EXECUTE、INDEX、INSERT、LOCK TABLES、PROCESS、RELOAD、SELECT、SHOW DATABASES、SHOW VIEW、TRIGGER、UPDATE。 其他要求： 已创建关系数据库MySQL版。 已绑定弹性公网IP。 约束限制 如迁移对象为表级别，则单次迁移任务仅支持迁移最多600张表。当超出数量限制，任务会在提交后会请求报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 源数据库GTID状态建议为开启状态，源数据库实例没有开启GTID的情况下DTS不支持主备HA切换，因为DTS任务会因为位点不续接而中断导致无法恢复。 目标库关联RDS数据库的字符集必须与源数据库一致。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为7天。否则DTS在增量迁移时可能因无法获取Binlog而导致任务失败。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 目标实例及关联RDS实例的运行状态必须正常，若关联RDS实例是主备实例，复制状态也必须正常。 目标库关联RDS实例必须有足够的磁盘空间。（全量数据迁移会并发执行 INSERT 操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大，且会产生大量的BINLOG，占用大量空间）。 目标库实例若选择将时间戳类型（TIMESTAMP，DATETIME）的列作为分片键，则源库数据在迁移到目标库之后，作为分片键的该时间戳类型列的秒精度将被丢弃。 由于DTS不迁移USER信息，因此在调用目标库的视图、存储过程和函数时需要对调用者授予读写权限。 在任务启动、任务全量迁移阶段，不建议对源数据库做删除类型的DDL操作，这样可能会引起任务迁移失败。 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 迁移过程中，不允许对源库需要迁移的表结构进行修改。 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。 增量迁移场景下，不支持源数据库进行恢复操作。 增量迁移场景下，不支持无主键表的数据增量迁移，因为无主键表的增量迁移性能远低于有主键的表，而且不能保证数据的一致性。 说明 详细信息请参考

本节主要介绍概述 操作场景 本章介绍如何登录数据管理服务并实现对数据库中的数据管理。 使用流程 通过控制台进行数据管理的使用流程如下： 步骤一：登录数据管理服务 步骤二：新增数据库登录 步骤三：登录数据库 步骤四：数据管理操作

本文介绍DRDS使用过程的一些常用概念。 计算节点 计算节点是负责执行数据处理和查询计算的节点。计算节点通常负责解析查询请求，执行数据库操作，进行数据的聚合、过滤、排序等计算操作，并最终返回查询结果。计算节点是数据库系统中的核心部分，负责处理客户端的查询请求，执行查询操作，以及在分布式环境下协调不同存储节点的数据处理。 存储节点 存储节点是负责存储实际数据的节点。在分布式数据库中，数据通常被水平拆分成多个数据分片，然后存储在不同的存储节点上。每个存储节点承担一部分数据，以实现数据的水平扩展，提高系统的性能和可伸缩性。 分片 分片（又称Sharding）是一种在分布式数据库中水平划分数据的概念。它将数据库中的数据拆分成多个较小的逻辑片段（也称为分片或分区），然后将这些分片分散存储在不同的存储节点上，以实现水平扩展和分布式存储。 schema 概念 schema即逻辑库，在后续介绍中将统称为schema，它类似于传统单体数据库中的数据库，是一个逻辑上的数据库容器。schema是多个数据库分片的集合。 介绍 对实际应用来说，并不需要知道分布式数据库中间件的存在，应用开发人员只需要知道数据库的概念，所以分布式数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。 DRDS实例的schema，包括所有逻辑表、分片规则、全局序列等数据，schema切分后形成多个分片，分布在多个存储节点上。 逻辑表

本文主要介绍如何通过kafka导入日志。 本文主要介绍如何将天翼云分布式消息服务Kafka的数据导入到云日志服务，实现数据的查询分析、加工等操作。 注意 当前功能为试用阶段，仅在华北2资源池开放。 创建数据导入任务 1. 登录云日志服务控制台。 2. 左侧菜单栏点击“日志接入”，进入接入管理页面 3. 在“数据导入”模块中，点击“分布式消息服务Kafka数据导入” 4. 选择目标日志项目和日志单元，单击下一步。 5. 设置接入配置，配置如下参数，确认无误后，单击下一步。 参数 说明 接入配置名称 导入任务的唯一标识 Kafka 实例 选择kafka实例作为数据源 Topic 列表 选择Kafka主题，当前仅支持导入公有Topic 消费组 选择kafka中的消费组， 起始位置 选择开始导入数据的位置。 最早：从已有的第一条Kafka数据开始导入 最晚：从最近生成的Kafka数据开始导入 数据格式 待导入数据的格式。若您选择JSON字符串，导入任务会将原始数据解析为keyvalue对格式，只解析到第一层。 编码格式 选择导入数据的编码格式（即字符集），目前仅支持UTF8和GBK。 6. 创建索引。默认开启全文索引，您也可以根据需要手动创建字段索引用于字段查询。 7. 点击完成，即可完成导入任务创建。等待1分钟左右，在查询日志界面能查询到日志，则说明导入成功。

本节主要介绍概述 使用场景 主实例支持搭建主备高可用架构，当主实例所在区域发生突发生自然灾害等状况，主节点（Master）和备节点（Slave）均无法连接时，可将异地灾备实例切换为主实例，在应用端修改数据库链接地址后，即可快速恢复应用的业务访问。数据复制服务提供的实时灾备功能，可实现主实例和跨区域的灾备实例之间的实时同步。 一次完整的数据灾备，是以任务作为导向，依次进行灾备进度观察、灾备日志分析、灾备数据一致性对比等多项操作。通过多项指标和数据的对比分析，可以帮助您实现不同业务系统间的数据实时同步。 使用流程 数据灾备的使用流程如下： 步骤一：创建灾备任务。根据需要，选择业务数据库和灾备数据库，创建灾备任务。 步骤二：查询灾备进度。灾备过程中，可以通过查看灾备进度了解数据灾备完成情况。 步骤三：查看灾备日志。灾备日志包含告警、错误和提示等类型的信息，可根据此类信息分析系统存在的问题。 步骤四：对比灾备项。数据灾备提供对比功能，可根据需要查看对象级对比、数据级对比等，来确保业务数据库和灾备数据库的数据一致性。

本章节主要介绍通知管理的通知周期概览。 操作场景 用户可以按照天/周/月为调度周期配置通知任务，向相关人员发送通知。让相关人员可以定期跟踪作业的调度情况（作业调度成功数量，作业调度失败异常数量以及作业失败详情）。 约束限制 该功能依赖于OBS服务。 前提条件 已开通消息通知服务并配置主题，为主题添加订阅。 已提交作业，且作业不是“未启动”状态 已开通对象存储服务，并在OBS中创建文件夹。 配置通知 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“运维调度 > 通知管理”。 3. 在页面右侧的“周期概览”页签，单击“通知配置”，弹出“通知配置”页面，配置如下表所示的参数。 通知参数 参数 是否必选 说明 通知名称 是 设置发送的通知名称。 调度周期 是 选择通知发送的调度周期，可以设置为按“天”、“周”或“月”发送。 说明 按天发送，通知记录为以发送时间往前推24小时时间段的数据；按周发送，通知记录为往前推七天时间段的数据；按月发送，通知记录为往前推30天时间段的数据 选择时间 是 设置通知发送的具体日期。 当调度周期为周时，可设置为一周中星期一至星期日的某一天或某几天。 当调度周期为月时，可设置为一月中每月1号至每月31号的某一天或某几天。 具体时间 是 设置通知发送的具体时间点，可以精确设置到小时和分钟。 选择概览通知的主题 是 单击下拉选项，设置通知发送的主题。 选择OBS桶 是 单击“OBS”设置通知记录数据存储的位置。 开关 是 是否开启通知，默认开启。 4. 单击“确定”。 5. 通知配置完成后，您可以在通知的“操作”列进行如下操作。 单击“编辑”，打开“通知配置”页面，可以重新编辑通知。编辑完成后选择“确定”，保存修改。 单击“记录”，打开“查看记录”页面，可以查看作业的调度情况。 单击“删除”，打开“删除通知”页面，选择“确定”，删除通知。

本章节主要介绍ALM14012 Journalnode数据不同步的告警。 告警解释 在主NameNode节点上，系统每5分钟检测一次集群中所有JournalNode节点的数据同步性。如果有JournalNode节点的数据不同步，系统产生该告警。 当Journalnode数据同步5分钟后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14012 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 NameService名 产生告警的NameService名称。 对系统的影响 当一个JournalNode节点工作状态异常时，其数据就会与其他JournalNode节点的数据不同步。如果超过一半的JournalNode节点的数据不同步时，NameNode将无法工作，导致HDFS服务不可用。 可能原因 JournalNode实例不存在（被删除或被迁移）。 JournalNode实例未启动或已停止。 JournalNode实例运行状态异常。 JournalNode节点的网络不可达。 处理步骤 查看JournalNode实例是否启动 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，在告警列表中单击此告警。 2.查看“定位信息”，获取告警产生的JournalNode节点IP地址。 3..选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”，在实例列表中查看告警节点上是否存在JournalNode实例。 是，执行步骤5。 否，执行步骤4。 4.选择“运维 > 告警 > 告警”，在告警列表中单击此告警“操作”栏中的“清除”，在弹出窗口中单击“确定”，处理完毕。 5.单击该JournalNode实例，查看其“配置状态”是否为“已同步”。 是，执行步骤8。 否，执行步骤6。 6.勾选该JournalNode实例，单击“启动实例”，等待启动完成。 7.等待5分钟后，查看告警是否清除。 是，处理完毕。 否，执行步骤15。

本节为您介绍云迁移服务迁移时限制数据访问相关内容。 云迁移期间限制对数据的访问对于力求安全传输信息的企业来说是至关重要的一步。您应该采取多个步骤来确保只有预期的用户才能在必要时访问数据。这些步骤包括如下： 实现和实施用户级身份验证和授权规则。 建立可靠的双因素身份验证流程。 使用来自云提供商的内置安全策略。 传输之前加密所有数据。 迁移期间定期审计谁拥有访问权。 迁移过程中，对拥有敏感信息的系统完成定期的漏洞扫描。 删除与被解雇员工相关的任何凭据或访问密钥。

本章节为您介绍非结构化数据的分类分级任务。 针对非结构化数据，分类分级任务列表的展示字段包括：数据源名称、数据源类型、主机窗口、业务系统、部门、责任人、创建用户、创建时间、最近更新时间、分类分级状态。 您可以通过输入数据源名称、主机、分类分级状态来查询现有任务，并且可以对任务进行（批量）删除、（批量）执行、编辑、查看结果等操作。 新增分类分级任务 1.使用安全管理员账号登录数据分类分级实例。 2.在左侧导航栏选择“分类分级任务 > 非结构化数据”即可进入“非结构化数据”页面。 3.单击页面左上角的“新增”按钮，开始新增分类分级任务。 4.填写数据源相关参数。 参数 参数说明 填写样例 数据源名称 自定义数据源名称 Test 数据源类型 选择连接数据源的类型： FTP SFTP LOCAL LOCAL 主机 填写连接数据源的主机IP地址 192.168.0.1 端口 填写连接数据源的主机端口 8080 账号 填写连接主机的账号 admin 密码 填写连接主机的账号密码 5.填写完成后，单击“保存”即可完成数据源新增。 后续操作 编辑分类分级任务：选择需要编辑的分类分级任务，选择“操作”列的“编辑”按钮即可编辑分类分级任务。 删除分类分级任务：选择需要删除的分类分级任务，选择“操作”列的“更多 > 删除”按钮即可删除分类分级任务。 执行分类分级任务：选择需要执行的分类分级任务，选择“操作”列的“执行”按钮即可执行分类分级任务。 说明 除分类分级结果外，扫描过程中，系统在扫描过程中还会检测文件是否包含敏感字段信息，结果记录为“敏感字段匹配次数”。 查看分类分级任务结果：选择需要查看结果的分类分级任务，选择“操作”列的“查看”按钮即可查看结果。

不支持。 目前不支持将用户已购买的数据盘挂载至应用云主机。 用户可在购买应用云主机订购时选购数据盘，或在应用云主机的云盘管理界面新增数据盘，以上操作完成购买后，系统将自动为您挂载，无需其他操作。

本章节介绍HDFS服务常见问题。 HDFS误删数据怎么恢复 HDFS 设计时考虑了数据安全性，为了实现数据误删可恢复，提供回收站保护机制。HDFS 回收站（Trash）是 Hadoop 提供的数据保护机制，类似于操作系统的回收站。当用户执行删除操作时，文件不会立即被物理删除，而是移动到回收站目录中，在配置的时间间隔内可以恢复。 恢复步骤 1、确认删除操作执行的时间和用户 去到Active NameNode节点，通过审计日志查询删除操作的时间和用户。 plaintext grep 'cmddelete' /var/log/hadoop/hdfs/hdfsaudit.log grep 'src ' 若删除操作的执行时间已经超过回收站数据保留时间，则数据无法恢复。 2、找到回收站中对应目录 plaintext 如果删除操作时间已经超过回收站间隔时间，则对应目录为： /user/ /.Trash/ 如果删除操作时间没有超过回收站间隔时间，则对应目录为： /user/ /.Trash/Current 3、执行mv恢复数据 plaintext 执行mv hdfs dfs mv 怎么调整副本数 HDFS 多副本机制是在硬件不可靠、数据珍贵且不可丢失的现实背景下，采用空间换可靠性策略，通过将同一数据冗余存储在不同节点上，实现大规模分布式存储系统的高可靠、高可用、高吞吐目标。 设计目标： 高可靠性：容忍硬件故障，数据不丢失。 高可用性：节点故障不影响服务。 高吞吐量：并行读取、数据本地性。 简单可靠：以空间换可靠性，运维简单。 存在写入放大 每个数据块写入时需复制多次。 副本修复也会引发额外数据复制。 对网络带宽和磁盘IO 造成压力。 存储成本增加 副本数× 数据量 总存储空间 例：10TB数据，3副本 30TB存储开销。 权衡：可靠性vs 存储成本 合理设置副本数，有效使用存储空间。 副本数设置 1、客户端命令设置目录或文件的副本数 plaintext

本节主要介绍统计概览中的概览页面。 点击“统计概览”>“概览”，可用查看存储桶当日统计，包括：标准存储、低频访问存储、互联网下行流量、互联网上行流量、Get类请求和Put类请求。 点击该页面的“昨日关键数据”（统计时间范围为北京时间当前时刻的前一天00:0024:00的数据），可用查看各数据位置昨日的标准存储（峰值）、低频访问存储（峰值）、互联网下行流量、请求次数、数据取回。 项目 描述 当日统计 当日的存储容量，包括标准存储和低频访问存储。 当日流量 当日的流量统计，可以选择互联网下行流量（下载量）、互联网上行流量（上传量）。 当日请求次数 当日的请求次数，可以选择： 全部：包括所有的Put类请求和Get类请求。 Put类请求。 Get类请求。 昨日关键数据 统计时间范围为北京时间当前时刻的前一天00:0024:00的数据。 数据位置 存放文件的位置。 标准存储（峰值） 标准存储类型的文件的容量峰值。 低频访问存储（峰值） 低频访问存储类型的文件的容量峰值。 互联网下行流量 从互联网下载文件的数据流量。 请求次数 统计产生的GET请求、HEAD请求、PUT请求、POST请求、DELETE请求、OTHERS的次数，以及所有请求的次数总和。统计产生返回码200、204、206、403、404、4xx的次数，以及所有返回码返回次数的总和。 数据取回 低频访问存储类型的文件在查看和下载时产生的从OOS服务端读取数据的数据量。 点击该页面的“当月关键数据”（统计时间范围为北京时间当前月份的1号00：00至当前时刻的能获取到的最后一个数据），可用查看各数据位置当月的标准存储（峰值）、低频访问存储（峰值）、互联网下行流量、请求次数、数据取回。

项目 描述 服务器ID 服务器ID，可以通过下拉框选择服务器。 时间范围 可以选择相对时间： 近2小时 近6小时 近1天 近7天 近1年 自定义时间段，选择开始日期和结束日期，精确到天。 注意 起始时间必须早于结束时间，且起始时间不能早于服务器当前时间一年。 数据目录使用率 所有数据目录所在磁盘使用率的平均值。 容量配额使用率 HBlock所有数据目录容量配额使用率的平均值。 HBlock服务器 HBlock服务器的性能。 CPU使用率 服务器CPU使用率。 内存使用量 服务器内存使用量。 内存总量 服务器内存总量。 数据目录使用量 数据目录所在磁盘使用量的总和。 数据目录总容量 数据目录所在磁盘容量的总和。 配额使用量 HBlock已使用容量配额。 配额 HBlock容量配额总和。 客户端<>HBlock 当前服务器上，客户端与HBlock之间的数据传输情况。 读带宽 客户端从HBlock服务器读取数据的带宽。 写带宽 客户端向HBlock服务器写入数据的带宽。 总带宽 客户端与HBlock服务器之间的总带宽。 读IOPS 客户端从HBlock服务器读取数据的IOPS。 写IOPS 客户端向HBlock服务器写入数据的IOPS。 总IOPS 客户端与HBlock服务器之间的总IOPS。 读时延 客户端从HBlock服务器读取数据的时延。采集周期内，服务器关联卷的读时延平均值。 写时延 客户端向HBlock服务器写入数据的时延。采集周期内，服务器关联卷的写时延平均值。 总时延 客户端与HBlock服务器之间的总时延。采集周期内，服务器关联卷的读写时延平均值。 HBlock<>Cloud 当前服务器上，HBlock与云之间的数据传输情况。 上云上传带宽 HBlock服务器器向云上传数据的带宽。 上云下载带宽 HBlock服务器从云下载数据的带宽。 上云总带宽 HBlock服务器与云之间的总带宽。

操作分类 具体操作 描述 基础配置 新增应用系统 新增应用系统 删除应用系统 删除应用系统 修改应用系统 修改应用系统 新增站点 创建站点 删除站点 删除站点 修改站点 修改站点 启用站点 启用站点 禁用站点 禁用站点 重置站点 重建站点业务数据，在故障站点恢复正常后操作 新增单元 新增单元 删除单元 删除单元 修改单元 修改单元 新增单元组 新增单元组 删除单元组 删除单元组 修改单元组 修改单元组 接入层配置 选择接入层网关 绑定接入层网关 移除接入层网关 解绑接入层网关 新增单元组URI配置 新增业务流量路由 删除单元组URI配置 删除业务流量路由 修改单元组URI配置 修改业务流量路由 数据层配置 新增数据源 新增数据层数据源 删除数据源 删除数据层数据源 修改数据源 修改数据层数据源 新增同步任务 新增数据同步任务 删除同步任务 删除数据同步任务 修改同步任务 修改数据同步任务 启动同步任务 启动数据同步任务 停止同步任务 停止数据同步任务 绑定链路 绑定同步链路与数据传输服务实例 解绑链路 解绑同步链路与数据传输服务实例 启动链路 启动同步链路所绑定任务 停止链路 停止同步链路所绑定任务 消息层配置 新增数据源 新增消息层数据源 删除数据源 删除消息层数据源 修改数据源 修改消息层数据源 新增同步任务 新增消息同步任务 删除同步任务 删除消息同步任务 修改同步任务 修改消息同步任务 启动同步任务 启动消息同步任务 停止同步任务 停止消息同步任务 创建路由任务配置 创建消息路由任务配置 删除路由任务配置 删除消息路由任务配置 创建路由任务 创建路由任务 删除路由任务 删除路由任务 启用路由任务 启用路由任务 停用路由任务 停用路由任务 重置位点 重置目标实例消费位点 容灾切流 基础配置推送 发起基础配置推送 流量切换 发起流量切换 主备切换 发起主备切换 取消步骤 取消切流过程指定步骤 忽略步骤 跳过切流过程指定步骤 重试步骤 重试切流过程指定步骤