1.创建数据库 在使用DataArts Studio数据集成将数据迁移上云之前，我们需要在目的端数据湖中创建目标数据库。根据数据湖治理落地流程，建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库，从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念，此处可先简单了解，在数据架构时将深入了解与操作。 您可以参考以下任一一种方式在数据湖中创建数据库。 您可以在DataArts Studio数据开发模块中，可视化方式创建数据库，具体操作请参见“数据开发 > 数据管理 > 新建数据库”章节。 您可以通过在DataArts Studio数据开发模块或数据湖产品的SQL编辑器上，开发并执行用于创建数据库的SQL脚本，从而创建数据库。在DataArts Studio数据开发模块开发脚本的具体操作请参见“数据开发 > 脚本开发 > 开发脚本> 开发SQL脚本”章节；数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。 2.创建数据表 在使用DataArts Studio数据集成将数据迁移上云之前，我们需要在目的端数据湖的SDI层数据库中创建一个目标表，用于存储原始数据。批量数据迁移场景下，关系型数据库之间的迁移和关系型数据库到Hive的迁移支持自动创建目标表，这种情况下可以不预先在目的端数据库中创建目标表。 您可以参考以下任一一种方式在数据湖中创建原始数据表。如果表字段个数较多，建议使用编写SQL脚本的方式创建表。 您可以在DataArts Studio数据开发模块中，可视化方式创建数据表，具体操作请参见“数据开发 > 数据管理 > 新建数据表”章节。 您可以通过在DataArts Studio数据开发模块或数据湖产品的SQL编辑器上，开发并执行用于创建数据表的SQL脚本，从而创建数据表。在DataArts Studio数据开发模块开发脚本的具体操作请参见“数据开发 > 脚本开发 > 开发脚本> 开发SQL脚本”章节；数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。

本章节主要讲述我的数据模块。 我的数据是数据智能助理的核心数据资产管理中心，提供数据表、指标、字典等元数据的统一接入与管理功能。系统当前支持接入星海数据中台以及其他中台数仓中的数据，支持包括MySQL、Hive等多种数据源的元数据自动同步，实现数据资产的标准化治理。通过可视化界面管理业务指标定义、数据字典映射及同义词配置，确保数据理解的一致性。该模块为智能问答、NL2SQL等场景提供可靠的元数据支撑，帮助用户快速定位和使用数据资产，提升数据开发效率。 数据表 1. 接入配置 进入"我的数据">"数据表"，点击"接入配置"，填写基础信息和接入脚本，即可根据同步策略和接入配置定期更新接入数据智能助理的数据表元数据。 对于数据中台，数据智能助理已提供默认数据库表接入配置脚本，可以直接进行数据同步，对于其他数据中台，需要手动填写接入配置的脚本。 2. 查询配置 点击“查询配置”，可以查看元数据同步的配置代码。 3. 同步 点击"同步"，系统将会执行接入脚本，手动触发一次数据表元数据更新。 4. 数据表元数据编辑 元数据同步后，可以在左侧目录树查看不同数据源、数据库下的数据表，选择某个具体的表可以查看表元数据，并可以编辑表和字段的中文名、描述、以及字段注释等信息，字段还可以关联词典，用于对话时更精准的匹配。

方式一：控制台操作解冻 您可以登录您源端云服务商的控制中心，通过对象存储的控制界面，对待迁移的源端数据直接进行解冻操作。 您可以登录您源端云服务商的控制中心，通过对象存储的控制界面，配置生命周期规则，对待迁移的数据修改存储类型实现解冻。该方式耗时较长，一般不推荐。 方式二：命令行工具操作解冻 若您的源端为其他云服务商，您可以使用源端云服务商的对象存储提供的命令行工具，例如：腾讯云COSCMD工具、华为云obsutil、阿里云ossutil等。 注意 若您设置对象存储的生命周期管理规则，请务必确保迁移数据期间源端数据不会再被转为归档存储。 后续操作 创建迁移任务 源端数据解冻完成后，您可以在迁移任务列表创建迁移任务。 具体操作，您可阅读不同的源端云服务商的迁移教程：各云服务商迁移至ZOS教程。 注意 迁移任务结束后，您可以手动在您的目的端对象存储的存储桶中查看已经迁移完成的数据。

前提条件 已获取“主机运维”模块管理权限。 已获取资源访问控制权限，即已被关联访问控制策略或访问授权工单已审批通过。 已在本地安装客户端工具。 资源主机网络连接正常，且资源账户登录帐号和密码无误。 操作步骤 1 登录云堡垒机系统。 2 选择“运维 > 主机运维”，进入主机运维列表页面。 3 选择数据库协议类型的主机，单击“登录”，弹出客户端工具选择窗口。 首次登录数据库资源，弹出SsoDBSettings下载窗口，可下载SsoDBSettings工具。 选择客户端工具 4 选择本地已安装客户端工具，单击“确定”。 自动调用本地数据库客户端工具。 5 登录数据库资源进行操作。 配置SSO单点客户端 以Navicat客户端为例，示例配置客户端路径。 1 打开本地SsoDBSettings单点登录工具。 单点登录工具界面 2 在“Navicat路径”栏后，单击路径配置。 3 根据本地Navicat客户端安装的绝对路径，选中Navicat工具的exe文件后，单击“打开”。 查找本地工具绝对路径 4 返回SsoDBSettings单点登录工具配置界面，可查看已选择的Navicat客户端路径。 确认配置路径 5 单击“保存”，返回云堡垒机“主机运维”列表页面，即可登录数据库资源。 批量登录主机进行运维 通过Web浏览器支持批量登录主机，提供“文件传输”、“文件管理”和“预置命令”等功能。用户在主机上执行的所有操作，被云堡垒机记录并生成审计数据。 本小节主要介绍如何通过Web浏览器批量登录主机。

容器监控 Prometheus监控服务和云容器引擎默认实现了产品能力集成，可将您创建的容器集群无缝接入到Prometheus监控平台中，实现集群及工作负载的一体化监测。 自定义监控 支持添加自定义服务发现集成，实现自定义采集接入，并可查看相关指标、监控大盘及告警信息。同时，提供Remote Write标准接口，允许通过该接口远程接入开源Prometheus的监控数据，从而在Prometheus监控服务上收集和展示这些自定义数据。 服务发现 提供默认服务发现、ServiceMonitor、PodMonitor和自定义服务发现。使用这些服务发现机制，可以优化用户对容器集群的监控范围控制，确保采集到所需的指标数据，以便对不同的服务和Pod进行监控和分析。 聚合实例 聚合实例能够将当前地域内的所有Prometheus实例整合为一个虚拟聚合视图。通过该实例，用户可以集中执行统一的指标查询和告警管理。 告警规则 通过创建Prometheus监控告警规则，用户可以设定针对特定Prometheus实例的告警规则。当告警规则设置的条件满足后，系统会产生对应的告警事件。如果想要收到通知，需要进一步配置对应的通知策略以生成告警并且以短信、邮件、或Webhook等方式发送通知。 告警规则模板 当用户需要为多个Prometheus实例统一配置相同告警规则时，可通过Prometheus告警规则模板功能实现标准化管理。

本章介绍初始化Linux数据盘(fdisk)。 操作场景 本文以物理机的操作系统为“CentOS 7.0 64位”为例，采用fdisk分区工具为数据盘设置分区。 MBR格式分区支持的磁盘最大容量为2 TB，GPT分区表最大支持的磁盘容量为18 EB，因此当为容量大于2 TB的磁盘分区时，请采用GPT分区方式。对于Linux操作系统而言，当磁盘分区形式选用GPT时，fdisk分区工具将无法使用，需要采用parted工具。关于磁盘分区形式的更多介绍，请参见初始化数据盘场景及磁盘分区形式介绍。 不同服务器的操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应的服务器操作系统的产品文档。 前提条件 已登录物理机。 已挂载数据盘至物理机，且该数据盘未初始化。 划分分区并挂载磁盘 本操作以该场景为例，当物理机挂载了一块新的数据盘时，使用fdisk分区工具将该数据盘设为主分区，分区形式默认设置为MBR，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 1. 执行以下命令，查看新增数据盘。 plaintext fdisk l 回显类似如下信息： plaintext [root@bmsb656 test] fdisk l Disk /dev/sda: 42.9 GB, 42949672960 bytes, 83886080 sectors Units sectors of 1 512 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk label type: dos Disk identifier: 0x000cc4ad Device Boot Start End Blocks Id System /dev/xvda1 2048 2050047 1024000 83 Linux /dev/xvda2 2050048 22530047 10240000 83 Linux /dev/xvda3 22530048 24578047 1024000 83 Linux /dev/xvda4 24578048 83886079 29654016 5 Extended /dev/xvda5 24580096 26628095 1024000 82 Linux swap / Solaris Disk /dev/sdb: 10.7 GB, 10737418240 bytes, 20971520 sectors Units sectors of 1 512 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes 表示当前的服务器有两块磁盘，“/dev/sda”是系统盘，“/dev/sdb”是新增数据盘。 2. 执行以下命令，进入fdisk分区工具，开始对新增数据盘执行分区操作。 plaintext fdisk 新增数据盘 以新挂载的数据盘“/dev/sdb”为例： plaintext fdisk /dev/sdb 回显类似如下信息： plaintext [root@ecsb656 test]

关于CMSSMS大型整机及数据库的迁移有何注意事项？ 1. 能否迁移 CMSSMS理论上具备迁移整机和数据库的能力。但对于大型整机（系统总待迁移量2T以上且存在大量大小文件）以及大型库（数据库+系统200G以上且增量大于500r/s），需提前对风险及预期效果进行预估和调整。其中，大型数据库不建议使用CMSSMS迁移，因其涉及数据量大、增量变化快、数据一致性要求高等复杂因素，CMSSMS可能难以满足性能和稳定性需求。 2. 专业迁移工具推荐 对于大型数据库迁移，建议使用数据库专业迁移工具。这些工具针对数据库迁移场景进行了优化，能更好地应对数据量大、增量变化快等问题，确保迁移过程高效且数据一致。 3. 若因特殊原因必须使用CMSSMS进行大型整机及数据库迁移，需特别注意以下事项： （1）停止相关应用进程：在“停止增量”步骤前，务必停止相关应用进程，避免迁移过程中数据发生变化，影响迁移结果。 （2）迁移测试与全流程预估： 迁移测试：提前测试迁移过程中可能出现的卡慢问题（如迁移准备遍历、全量过程遍历大小文件、增量传输数据变化等），评估迁移工具的性能和稳定性。 全流程预估：根据测试结果，实际预估全流程迁移时长，制定合理的迁移计划，避免影响迁移项目进程。 4. 总结 对于大型整机及数据库的迁移，不建议使用CMSSMS工具。若因特殊原因必须使用，需严格遵循上述注意事项，做好迁移测试和全流程预估，以降低迁移风险。

为大于2TB数据盘创建GPT分区 MBR只支持处理不大于2 TB的容量，且只支持划分4个主区。如果您需要使用大于2 TB的数据盘，您必须采用GPT格式。 1. 通过控制台远程连接，运行以下命令安装Parted工具： yum install y parted 2. 查看实例上的数据盘信息。 运行以下命令： fdisk l 运行结果如下所示： 3. 使用Parted工具为数据盘进行分区。 运行以下命令开始分区： parted /dev/vdb 在Parted工具的交互式界面中，运行以下命令将默认的MBR分区格式转换为GPT分区格式： mklabel gpt 运行以下命令，划分一个主分区，并设置分区的开始位置和结束位置： mkpart primary 1 100% 运行以下命令，检查分区是否对齐： aligncheck optimal 1 运行结果如下所示： 1 aligned 说明 如果返回的是1 not aligned，说明分区未对齐，建议您运行以下命令 ，再根据（+）/的公式计算出最佳分区模式的起始扇区值。 cat /sys/block/vdb/queue/optimaliosize cat /sys/block/vdb/queue/minimumiosize cat /sys/block/vdb/alignmentoffset cat /sys/block/vdb/queue/physicalblocksize 假设1024为计算得出的推荐扇区值，则您可以运行mkpart primary 1024s 100%重新划分一个主分区。 运行以下命令，查看分区表： print 运行以下命令，退出Parted工具： quit Parted工具分区结果如下所示。 4. 运行以下命令，使系统重读分区表： partprobe

四、工作流集成 云工作流实现了天翼云在OpenAPI门户的几乎所有产品的API集成。在云工作流中编排使用天翼云产品OpenAPI主要有两种集成方式：普通集成和优化集成。 普通集成 普通集成是指允许云工作流直接调用云产品的OpenAPI服务接口，不对这些服务接口做任何包装处理和实现优化，共计可使用多达上万条API服务接口。更多信息，请参见普通集成。 优化集成 优化集成是指对部分高频使用的云产品服务接口进行包装和优化处理，简化接口使用难度，方便用户在云工作流中编排使用。更多信息，请参见集成简介。 在云工作流下可以按照三种集成模式去进行调用集成其他云服务，只有在标准工作流下可以选择不同的集成模式去调用云服务， 快速工作流只能是请求响应模式去调用其他云服务： 请求响应模式（RequestComplete） 调用其他云服务后， 同步等待响应返回后方可进行下一个执行状态。 等待系统回调（WaitForSystemCallback） 指定等待系统回调后， 工作流会进入到TaskSubmitted状态， 工作流系统自身会查询到目标调用集成服务的执行状态（成功或者失败）从而将工作流从TaskSubmitted等待状态转换为TaskSuccess状态或者TaskFailed状态， 继续工作流执行执行下一个状态。 等待任务令牌（WaitForTaskToken） 指定等待任务令牌后， 工作流会进入到TaskSubmitted状态。用户可通过OpenAPI在用户自定义的业务逻辑中回调通知工作流当前任务的执行结果（成功或者失败）从而工作流从TaskSubmitted等待状态转换为TaskSuccess状态或者TaskFailed状态， 继续工作流执行下一个状态。可以理解的一个场景是业务审批场景， 在业务审批节点通过或者拒绝后， 审批流程继续执行或者终止执行。

数据类型 说明 采集和存储方式 数据用途 服务工单数据 技术类、业务类工单清单。 工单的编号、描述、问题分类、创建时间、解决时间等工单信息。 经自动化工具调用工单API查询结果，中途不存储数据，月报结果按照租户隔离存储。 自动化统计分析，生成月报“服务工单”内容。 云服务资源实例数据 客户创建的资源列表，各资源数量。 资源id、名称、状态、规格、创建时间、IP地址、使用量及服务资源相关的基本配置信息。 经自动化工具调用云服务API查询结果，中途不存储数据，月报结果按照租户隔离存储。 自动化统计分析，生成月报“资源概况”内容。 资源负载监控数据 CPU使用率、内存使用率、磁盘使用率、磁盘读写速率、 IP出口带宽、IP入口带宽、并发连接数、新建连接数、网络延迟、网络丢包率等资源监控指标。 经自动化工具调用云服务API查询结果，中途不存储数据，月报结果按照租户隔离存储。 自动化统计分析，生成月报“资源概况”内容。

本节介绍了初始化容量大于2TB的Linux数据盘（parted）的相关内容。 操作场景 本文以云主机的操作系统为“CentOS 7.4 64位”、磁盘容量为3 TB举例，采用Parted分区工具为容量大于2 TB的数据盘设置分区。 MBR支持的磁盘最大容量为2 TB，GPT最大支持的磁盘容量为18 EB，因此当您初始化容量大于2 TB的磁盘时，分区形式请采用GPT。对于Linux操作系统而言，当磁盘分区形式选用GPT时，fdisk分区工具将无法使用，需要采用parted工具。关于磁盘分区形式的更多介绍，请参见“初始化数据盘场景及磁盘分区形式介绍”。 不同云主机的操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应的云主机操作系统的产品文档。 注意 首次使用磁盘时，如果您未参考本章节对磁盘执行初始化操作，主要包括创建分区和文件系统等操作，那么当后续扩容磁盘时，新增容量部分的磁盘可能无法正常使用。 前提条件 已挂载数据盘至云主机，且该数据盘未初始化。 已登录云主机。 弹性云主机请参见《弹性云主机用户指南》。 物理机服务器请参见《物理机用户指南》。 划分分区并挂载磁盘 本操作以该场景为例，当云主机挂载了一块新的数据盘时，采用parted分区工具为数据盘设置分区，分区形式设置为GPT，文件系统设为ext4格式，挂载在“/mnt/sdc”下，并设置开机启动自动挂载。 1.执行以下命令，查看新增数据盘。 lsblk 回显类似如下信息： [root@ecscentos74 ~]

共享盘类型选择 安全需求优先 NAS 共享盘：如果您极其重视数据安全，且希望数据仅在天翼AI云电脑环境内流转，不暴露在公网环境中，NAS 共享盘是匹配高密级数据场景的选择。它只能通过AI云电脑挂载访问，这种特性极大地降低了数据在公网环境下可能面临的安全风险，为数据提供了更可靠的安全保障。例如，对于一些对数据保密性要求极高的企业，如金融、科研等行业，其核心数据的存储和共享使用 NAS 共享盘能有效防止数据泄露。 网络共享盘：虽然网络共享盘也具备一定的安全措施，但由于支持公网访问，相比之下，数据面临的安全风险会略高一些。不过，它的权限管控和访问审计功能非常强大，能通过细致的权限设置和全面的操作记录，对企业内部的数据访问进行严格管理和监控，从而在一定程度上保障数据安全。适用于对合规性管理要求较高的大型企业，即便数据在公网环境下有访问需求，也能通过严格的权限和审计机制降低风险。 功能需求侧重 NAS 共享盘：主要功能在于满足基本的文件共享存储需求。在企业内部，员工可以便捷地共享办公文档、项目资料等，提供一个集中的文件管理平台。如果您的企业或团队主要需求是简单高效地进行文件共享，对其他复杂功能需求较少，NAS 共享盘完全可以满足日常工作中的文件协作需求。 网络共享盘：除了文件共享功能外，更强调权限管控、访问审计以及与其他企业系统的集成功能。对于大型企业而言，不同部门和职位对数据的访问和操作权限有严格要求，网络共享盘能够设置细致的权限，满足这种精细化管理需求。同时，与 ERP、CRM 等系统的集成功能，能实现企业数据的无缝流通，提高整体信息化管理水平，促进业务流程的自动化和数据的统一管理，适合业务流程复杂、信息化程度高的大型企业。

本节为您介绍迁移前准备工作。 使用或注册天翼云账号，并完成 实名认证。 1. 打开天翼云门户网站，单击“免费注册”。 2. 在注册页面，请填写“邮箱地址”、“登录密码”、“手机号码”，并点击“同意协议并提交” 按钮，如1分钟内手机未收到验证码，请再次点击“免费获取短信验证码”按钮； 3. 注册成功后，可到邮箱激活您的账号，即可体验天翼云。 如需实名认证，请参考 会员服务 实名认证。 帐号余额不少于100元，避免迁移过程中欠费，导致迁移失败。主机迁移服务本身免费，但迁移过程中会创建按量付费资源并产生少量费用。具体请参见计费说明。 用户开通并使用数据迁移工具服务。 使用您的天翼云账号完成登录。 在云迁移中心产品主页，单击“立即开通”按钮进入控制中心。 4. 单击控制中心上方的，选择您目标机资源所在区域。此处示例我们选择的是福州4。 5. 点击迁移管理中的“工具中心”，可以看到数据迁移工具（CMCZMT），点击进入控制台。 确认迁移源是否满足要求 需对数据迁移工具支持迁移的对象存储做确认，具体请见兼容性列表。 迁移网络打通 数据源 需要数据迁移的源节点及迁移后数据存放的目标节点对象存储的endpoint需要对数据迁移工具放通网络，并提供接入需要的AK/SK。

2.2.2.隧道插件/SDK配置 请注意SDK和插件的嵌入方式，参考截图： 2.2.3.配置NE插件的目标 2.2.4.配置APP的plist字段 plist文件增加com.wireguard.ios.appgroupid的配置，用于配置AppGroup的配置字段，对应的Groupid为客户集成项目自身的GroupId，请不要配置错误（重要重要重要）。 2.3.NE插件重签名流程补充说明 1. 选择给到的TyyAppResign.app的签名工具打开如下图。 2. Input File:选择给到的开发SDK中的LXRVPNNetworkExtension.appex插件。 3. 选择开发者的签名证书。 4. 选择开发者的签名描述文件（需要具备前面章节描述的权限的描述文件）。 5. VPN APP Groups ID 配置为当前appid配置的groupid。 6. 点击start完成重改签名。 3.整体流程介绍

本节为您介绍数据库迁移工具任务搜索。 数据库迁移工具提供数据同步搜索功能，用户可根据任务ID、任务名称、任务状态、时间、是否是异常任务筛选出想要查看的数据同步任务。

本章节主要介绍翼MapReduce服务的作业管理功能。 作业管理为用户提供向集群提交作业的入口，支持包括MapReduce、Spark、HiveQL和SparkSQL等类型的作业。结合数据湖治理中心（DataArts Studio），提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过数据湖治理中心（DataArts Studio），用户可以先在线开发调试MRS HiveQL/SparkSQL脚本、拖拽式地开发MRS作业，完成MRS与其他20多种异构数据源之间的数据迁移和数据集成；通过强大的作业调度与灵活的监控告警，轻松管理数据作业运维。

安全策略检测 登录成功后将进行安全检测，分为客户端检测、边缘节点检测，不同检测位置对应不同场景。 若是客户端检测，在客户端层开辟沙箱隔离区进行终端数据安全管控，此外将持续进行检测终端环境，异常情况进行及时处置，比如发现存在异常进程，则会断开内网连接，要求进行处置。 若是边缘节点检测，登录成功的用户将就近与边缘节点进行建立连接，边缘节点集成DDoS、WAF防护插件，将优先进行大规模流量清洗以及WAF安全检测，正常流量转发至零信任网关进行横向扫描防护等，发现异常及时进行处置。 聚合加速回源 安全检测策略通过后将CDN智能选路、中转收敛，将访问转发给客户连接器，通过聚合加速方式来减轻源站连接器并发压力，提高访问速度。 边缘接入服务 AOne边缘接入服务，基于优质的边缘网络资源和应用安全加速能力，为企业网络提供安全、高性能网络连接、TCP/UDP协议加速、私有协议加速等服务。客户可以将任意位置的数据资源安全连接到边缘网络入口，通过高速通道、智能路由及安全防护技术，实现数据高速、稳定、安全的跨地域传输，帮助客户解决全球访问卡顿、延迟过高问题，为客户快速集成一个交付即用、按需弹性且安全的网络环境。

此小节介绍运维资源类问题。 云堡垒机支持图形化运维Linux主机吗？ 支持。 云堡垒机支持纳管VNC协议类型的资源，并通过Web浏览器登录资源，实现Linux主机的图形化运维。 您需要在添加主机资源时，将“协议类型”选择为“VNC”。 云堡垒机支持手机APP运维吗？ 云堡垒机暂时不支持手机APP运维，但可以通过手机浏览器访问云堡垒机系统。 1 打开手机浏览器，输入https:// EIP地址 ，进入云堡垒机系统登录页面。 2 输入用户登录名和密码，完成用户登录验证。 登录成功后，可管理部门、用户、资源、策略、系统配置等系统数据，以及审批工单和下载日志。 不支持“主机运维”和“应用运维”登录。 如何配置SSO单点登录工具？ 云堡垒机数据库运维使用单点登录（Single Sign On，SSO）工具，登录主机运维方式的数据库资源。 云堡垒机默认使用SsoDBSettings单点登录工具，用户登录数据库资源前，需在本地安装好SSO单点登录工具和数据库客户端工具，并配置正确数据库客户端的路径到SSO单点登录工具上。 登录数据库资源前，需参照如何配置云堡垒机的安全组？放通对应场景的端口。 以Navicat客户端为例，示例正确的配置客户端路径操作。 1 打开本地SsoDBSettings单点登录工具。 2 在“Navicat路径”栏后，单击路径配置。 3 根据本地Navicat客户端安装的绝对路径，选中Navicat工具的exe文件后，单击“打开”。 4 返回SsoDBSettings单点登录工具配置界面，可查看已选择的Navicat客户端路径。 5 单击“保存”，返回云堡垒机“主机运维”列表页面，即可登录数据库资源。

如何提升云硬盘的性能？ 用户可以通过LVM管理云硬盘以及为云硬盘构建RAID磁盘阵列来提升云硬盘的性能。 详情请参见： 通过LVM创建逻辑卷，并格式化文件系统 使用云硬盘构建RAID磁盘阵列 数据盘容量是否可与系统盘容量合并？ 不支持合并。 您可以通过扩容云硬盘来扩展数据盘或系统盘的容量大小，以增加存储空间。 MBR和GPT分区形式有什么不同？ MBR（Master Boot Record主引导记录）和GPT（Globally Unique Identifier Partition Table GUID分区表）是两种不同的磁盘分区形式，选择哪种分区形式取决于磁盘的容量，具体的区别如下表： 分区方式 支持最大磁盘容量 支持分区数量 分区工具 MBR 2TB 4个主分区 3个主分区和1个扩展分区 Linux 操作系统：fdisk 工具或parted 工具 GPT 18EB（目前云硬盘支持的最大容量为32TB） 不限制分区数量 Linux 操作系统：parted 工具 云硬盘格式化后还能恢复数据吗？ 不能。云硬盘格式化后无法再恢复数据。 建议您在格式化前先创建云硬盘快照，以备份未格式化前的云硬盘数据，在您有需要时可通过快照回滚操作恢复数据。

本文主要介绍数据中台的业务术语。 名词 解释 工作空间（团队） 工作空间是从系统层面为管理者提供对使用星海数据中台的用户（成员）权限、资源的管理能力。 工作空间作为成员管理、角色和权限分配的基本单元，每个团队都可具有独立的工作空间。 您只有在加入工作空间并被分配权限后，才可具备数据架构、数据集成、数据开发、数据治理、数据服务等组件的操作权限。 成员和角色 成员是被授予工作空间访问或使用权限的平台账号。在添加工作空间成员时，您需要同时为添加的成员设置相应的角色。 角色是一组操作权限的集合。不同的角色拥有不同的操作权限，把角色授予成员后，成员即具有了角色的所有权限。每位成员至少要拥有一个角色，并且可以同时拥有多种角色。 数据源 即数据的来源，本质是存储或处理数据的媒介，比如：关系型数据库、数据仓库、数据湖等。每一种数据源不同，其数据的存储、传输、处理和应用的模式、场景、技术和工具也不相同。 数据连接 定义访问数据实体存储（计算）空间所需的信息的集合，包括连接类型、名称和登录信息等。 脏数据 脏数据是对于业务没有意义或者格式非法的数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，导致因为转换不合理而无法写入的数据。 程序 程序是一种批处理文件的延伸，是一种纯文本保存的程序，一般来说的计算机脚本程序是确定的一系列控制计算机进行运算操作动作的组合，在其中可以实现一定的逻辑分支等。 作业 在数据开发中，作业由一个或多个节点组成，共同执行以完成对数据的一系列操作。 资源 用户可以上传自定义的代码或文本文件作为资源，并在节点运行时调用。 环境变量 环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。 补数据 手工触发周期方式调度的作业任务，生成过去某时间段内的实例。 主题设计 通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。 数据标准 数据标准用于描述公司层面需共同遵守的数据含义和业务规则。其描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为公司层面的标准在公司内被共同遵守。 码表 通常只包括一系列允许的值和附加文本描述，与数据标准关联用于生成值域校验质量监控。 关系建模 关系建模是用实体关系（Entity Relationship，ER）模型描述企业业务，它在范式理论上符合3NF，出发点是整合数据，将各个系统中的数据以整个企业角度按主题进行相似性组合和合并，并进行一致性处理，为数据分析决策服务，但是并不能直接用于分析决策。 维度建模 维度建模是一种数据仓库设计方法，旨在通过将数据组织成事实表和维度表的形式，以支持高效的数据分析和查询。它以业务过程为核心，将数据分解为描述业务事件的事实表 和描述业务属性的维度表。事实表存储与业务事件相关的量化数据，如销售额、订单数量等；而维度表则存储与业务相关的描述性信息，如时间、地点、客户等。这种结构使得数据易于理解、查询和分析，尤其适合于数据仓库和商业智能（BI）场景，能够高效支持复杂的多维分析和报告生成。例如，在零售行业，通过维度建模可以快速分析不同时间段、不同地区的销售数据，帮助企业管理者做出更精准的决策。 在星海数据中台数据架构中，维度建模是以维度建模理论为基础，构建总线矩阵、抽象出事实和维度，构建维度模型和事实模型，同时对报表需求进行抽象整理出相关指标体系，构建出汇总模型。 元数据 元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是关于数据的数据。元数据包括元数据实体和元数据元素。元数据元素是元数据的基本单元，若干个相关的元数据元素构成了元数据实体。 在数据中台中，元数据是数据的描述数据，可以为数据说明其属性（数据连接、类型、名称、大小等），或其相关数据（位于拥有者、标签、分类、密级等）。 数据服务 数据服务是基于数据分发、发布的框架，将数据作为一种服务产品提供，满足客户的实时数据需求，能复用并符合企业和工业标准，兼顾数据共享和安全。 API API（应用程序编程接口）是软件和系统之间进行交互的桥梁，它允许不同的应用程序通过一组定义好的协议和工具来请求服务或交换数据。在数据服务环境中，API主要用于“读取数据”的操作，即从数据库或数据表中检索信息。开发者可以通过API执行查询命令，以获取所需的数据。 统一认证系统 统一身份认证管理平台是一个多功能的在线服务系统，它通过互联网提供存储、计算、网络、数据库、应用托管、开发测试环境、安全措施、备份恢复以及自动化编排等一系列服务，旨在帮助用户灵活地管理和扩展IT资源，加速软件开发周期，提高业务效率，并支持各种规模和类型的组织实现数字化转型。

本文介绍使用Rediscli迁移自建Redis(AOF文件) 迁移介绍 Rediscli 是 Redis 自带的命令行客户端工具，它允许用户通过命令行与 Redis 服务器进行交互。 在本章节中，我们将重点介绍如何使用 Rediscli 工具以 AOF 文件的方式，将自建的 Redis 数据迁移到 DCS 缓存实例。 说明 进行迁移操作前，建议暂停相关业务，以避免数据丢失或不完整。 建议业务空闲时间进行迁移操作。 步骤1：生成AOF文件 使用以下命令来开启缓存持久化并生成 AOF 持久化文件： ./rediscli h {redisaddress} p {redisport} a {password} config set appendonly yes 如果 AOF 文件的大小不再变化，说明AOF文件为全量缓存数据。 说明 使用 Rediscli 工具登录 Redis 实例，输入命令“config get dir”可以查找生成的AOF文件保存路径。 如果没有进行特殊指定，该文件的文件名默认为 appendonly.aof。 如果需要关闭同步，可以使用 Rediscli 工具登录 Redis 实例，并输入命令 “config set appendonly no” 来关闭同步。 步骤2：上传AOF文件至天翼云ECS 为节省传输时间，请先压缩AOF文件再传输。 将压缩文件（如以SFTP/SCP等方式）上传到天翼云ECS。 说明 ECS需保证有足够的磁盘空间，供数据文件存储，同时需要与缓存实例网络互通，通常要求相同VPC和相同子网，且安全组规则不限制访问端口。 步骤3：导入数据 ./rediscli h {redisaddress} p {redisport} a {password} pipe < appendonly.aof 步骤4：迁移后验证 数据导入成功后，连接DCS缓存实例，通过dbsize命令，确认数据是否导入成功 如果导入不成功，需要分析原因，修正导入语句，然后使用flushall或者flushdb命令清理实例中的缓存数据，并重新导入。

本节为您介绍数据库迁移工具中创建迁移任务。 1. 在数据库迁移工具首页，点击“数据传输”列表中的“数据迁移”页签。然后在数据迁移页面点击右上角的创建任务按钮，进行数据迁移任务创建 2. 当点击完创建任务按钮后，可看到添加任务页面，如下：

本节为您介绍迁移管理相关问题。 迁移管理工具列表有哪些？ 服务器迁移服务（CMSSMS）、 数据库迁移服务（CMSDMS）、数据迁移工具（CMSZMS）。 迁移管理工具是否区分同构与异构迁移工具？ 区分。 云迁移服务提供工具中心管理功能，您可以在工具管理中心选择对应工具通过相应概述作为工具结构区分，也可以直接帮助中心查看对应相关引导。 迁移管理工具兼容性如何？ 云迁移管理工具，具备高效、稳定、易用等特点；支持阿里云、腾讯云、华为云多家云厂商，拥有迁移一体化平台、生命周期可视化界面表达。 云迁移各工具是否具备使用说明书？ 具备。 云迁移服务平台提供工具管理中心功能，你可以根据迁移工具概述选择，您也可以在云迁移服务工具中心中选择对应工具的帮助中心查阅信息。 调度管理中心调度任务能否支持显示调度状态？ 支持。 进入迁移中心调度管理页面详情中，调度任务列表可以显示调度状态信息。 创建调度任务需要几步操作？ 基本信息填写包括（调度名称、调度时间、重复规则、调度规则、问题错误处理）； 调度规则选项（继续任务、暂停任务、带宽限制、CPU限制、停止增量、开始核查、引导修复、取消何查） 错误处理（继续并发资源调度、中止并发资源调度） 资源选取，在列表中选择对应资源信息； 资源确认； 调度任务如何查看是否成功？ 查看调度任务具体步骤： 1. 左菜单栏进入调度管理； 2. 进入调度页，选择创建调度计划任务； 3. 查看计划任务调度状态； 4. 查看错误处理报告； 5. 点击操作栏中“日志”可以进入查看；

本章节主要介绍数据治理中心DataArts Studio产品的优势。 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台，提供全域数据集成、标准规范设计、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等，帮助企业构建完整的数据中台解决方案。 丰富的数据开发类型 支持多人在线协作开发，脚本开发可支持SQL、Shell在线编辑、实时查询；作业开发可支持CDM、SQL、MR、Shell、MLS、Spark等多种数据处理节点，提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管的调度，支持按时间、事件触发的任务触发机制，支持分钟、小时、天、周和月等多种调度周期。 可视化的任务运维中心，监控所有任务的运行，支持配置各类报警通知，便于责任人实时获取任务的情况，保证业务正常运行。

场景描述 Kafka管理应用用户生产消费权限的场景描述如下： 应用开发和测试：在应用开发和测试阶段，需要为开发人员和测试人员提供适当的生产和消费权限，以便他们能够读取和写入Kafka主题。这样可以确保他们能够有效地测试和验证应用程序的功能。 应用部署和运维：在将应用程序部署到生产环境中时，需要为运维团队提供适当的生产和消费权限。运维团队可以使用这些权限来监控和管理Kafka集群，并处理任何可能的故障或问题。 数据分析和报告：对于数据分析师和报告人员，他们可能需要从Kafka主题中读取数据进行分析和生成报告。为他们提供适当的消费权限可以帮助他们获取所需的数据，并进行相关的数据分析和报告工作。 数据集成和同步：在数据集成和同步的场景中，可能需要为特定的应用或系统提供生产和消费权限。这样可以确保数据的可靠传输和同步，以满足不同系统之间的数据需求。 多租户环境：在多租户环境中，需要管理不同租户之间的生产和消费权限。为每个租户分配独立的权限可以确保数据的隔离和安全性，同时满足不同租户的需求。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页的操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理界面，该页面展示用户列表。 （5）选择相应的用户，点击其右侧的”用户权限“按钮进行权限管理。 （6）生产权限。先点击”添加生产权限“按钮，在弹窗的左侧选择需要添加生产权限的Topic，然后点击中间按钮，最后点击”确定“完成添加。 （7）消费权限。左上角切换消费权限，点击”添加消费权限“按钮，在弹窗的左侧选择需要添加消费权限的Topic，然后点击中间按钮，最后点击”确定“完成添加。

本节为您介绍数据库迁移工具任务批量删除操作。 数据库迁移工具提供任务批量删除功能，用户可勾选要删除任务，再点击“批量删除”按钮，一次性删除多个同步任务。 操作步骤 1. 进入“数据库迁移工具”，点击“数据传输”展开菜单，点击“数据同步” 2. 用户可通过选择处于“已取消”或“失败”的任务，点击同步任务的“批量删除”按钮，删除选中任务。 3. 点击“确定”之后，选中的任务信息被移除。

本文为您介绍通过KMS实现云硬盘、对象存储、弹性文件等云服务的数据加密最佳实践。 密钥管理系统与天翼云产品无缝集成，在云产品中，仅需要选择在KMS中托管的主密钥，即可轻松实现对云产品数据的服务端加密。 云产品通过集成KMS实现对云上数据的加密存储，密钥由KMS托管，满足监管合规要求。整个服务端加密过程对用户透明无感知，只需要开启加密功能并指定密钥即可。同时用户无须自定构建和维护密钥管理基础设施，节省开发成本。 用户可以选择KMS为云产品自动创建的默认主密钥加密，也可以选择通过KMS创建的用户主密钥。其中默认密钥不收取密钥托管费用。 场景示意图 云产品开启服务端加密流程 加密云硬盘 在创建云硬盘页面，选择开启“磁盘加密”，并在密钥列表中选择加密密钥。 加密对象存储 在创建对象存储Bucket页面，选择开启“服务端加密”，并在密钥列表中选择加密密钥。 加密弹性文件 在创建文件系统页面，选择开启KMS加密，并在密钥列表中选择加密密钥。

本节为您介绍数据库迁移工具任务列表查看。 数据库迁移工具可以获取当前用户发起的数据同步类型任务，如任务名、源端配置信息、目标端配置信息、任务开始时间、任务执行状态等信息。

本文介绍非天翼云用户数据如何迁移至云上弹性文件服务。 应用场景 在第三方云厂商存储大量数据的用户，如果想要将数据迁移至天翼云弹性文件服务，若使用传统的方法，需要先将存储在第三方云厂商上的数据下载到本地，再手动将数据上传到弹性文件服务，整个过程耗时又耗力，容易存在漏传、误传等问题。 本文推荐您配置一个弹性云主机实例挂载文件系统作为数据传输的中转节点，然后通过迁移工具迁移数据至天翼云弹性文件服务，迁移工具可以选择SFTP客户端。仅需简单配置，即可把数据从第三方云厂商轻松、平滑地迁移至SFS。 工具介绍 本实践以FileZilla作为SFTP客户端作为指导示例。 迁移工具 特点 应用场景 SFTP客户端 支持众多操作系统平台，提供图形化操作界面。 少量文件需要一次性上传至NFS文件系统。 将NFS文件系统内的数据下载到本地。 前提条件 具备一个NFS协议弹性文件系统，且务必确认文件系统容量高于待迁移的数据总量。若此时未购买弹性文件服务，则需新购。 具备一台与文件系统在同一VPC网络下的Linux弹性云主机，上传下载文件数据需要占用弹性云主机公网带宽，因此需要为弹性云主机配置弹性IP。 准备工作 下载安装迁移客户端工具，根据页面提示安装即可。 文件系统为接收数据的目标文件系统，应根据实际需求选择容量规格，具体操作参考创建文件系统。 本次操作实践中，需要创建弹性云主机作为非天翼云数据迁移至天翼云弹性文件服务的中转节点。建议配置如下： 说明 本操作中的云主机仅作为数据迁移的“中转站”，而非用于业务实际使用，为节省成本，建议订购按量付费的弹性云主机和弹性IP进行数据中转，计费说明参见 高规格高带宽的云主机迁移速率更快，相应的费用也略高，请根据实际情况酌情选择。整体迁移速率同时受文件系统性能影响，详见 参数 说明 付费方式 按量付费。 规格 通用型。高规格的云主机迁移速率较快，例如4C8G的迁移速率大于1C1G的迁移速率，根据实际情况选择即可。 镜像 CentOS 7.8 弹性IP 自动分配 IP版本 IPv4 带宽 5M。高带宽的迁移速率较快，例如10M的迁移速率大于5M的迁移速率，根据实际情况选择即可。 登录方式 密码>立即创建

本页介绍了数据库迁移的常见问题及解决方法。 为什么要采用mysqldump等工具迁移数据库 mysqldump是一种常用的数据库迁移工具，其操作简单但会造成数据库较长时间停机，适用于数据量不大的数据迁移。 天翼云关系数据库MySQL版提供的服务兼容原数据库，将本地数据库迁移至云数据库的过程和将数据库从一台服务器迁移另一台服务器一样。您也可以根据您的需要使用其他数据库迁移方案进行数据库迁移。 数据库实例迁移中产生binlog文件导致存储空间不足怎么办 数据库实例会定期清理过期的binlog，但数据库实例在迁移过程中，短时间内产生大量binlog文件，导致存储空间不足，会影响业务正常运行 。所以在订购实例和进行数据库迁移之前，请参看以下建议： 及时清理过期数据。 建议用户在选择实例存储空间大小时不仅仅考虑数据文件的大小，同时还要考虑日志文件的大小以及给存储空间保留一定的冗余。 若原来申请的数据库磁盘容量不足，建议用户扩容磁盘空间，确保磁盘空间足够。操作方法请参考用户指南实例管理存储空间扩容。 怎样将其他数据库引擎的数据导入到MySQL实例 相同引擎数据库之间数据导入导出，称之为同构型数据库之间数据导入导出。同构型数据库导入导出可以使用数据库迁移工具来实现如mysqldump。 不同引擎数据库之间数据导入导出，称之为异构型数据库之间数据导入导出。异构型数据库之间由于格式不同，一般不支持直接导入导出，通常需要第三方软件，通过数据复制的方式来实现。比如，先使用工具从Oracle中，以文本的格式导出表记录，然后利用Load语句导入到InnoDB引擎。

本节主要介绍如何将数据从AWS S3迁移到OOS中。 应用场景 将数据从AWS S3的Bucket迁移到OOS的Bucket。 注意 在线迁移会占用源地址和目的地址的网络资源。若您的业务比较重要，建议您对迁移任务设置限速（设置system.conf中的maxThroughput），或在空闲时间启动迁移任务。 从AWS S3迁移到OOS的文件（Object），仅迁移当前可读取到的文件，不支持按object version Id 迁移。 前提条件 Windows7 及以上版本或 Linux CentOS 7.x 及以上版本。 Java 1.8 及以上版本。 迁移工具所在的服务器可以访问AWS S3资源池和OOS资源池。 具体操作 确定目标Bucket 在OOS中创建目标Bucket，具体操作请参见创建存储桶（Bucket）或PUT Bucket，用于存放迁移的数据。也可以使用已存在的Bucket。 下载安装迁移工具 1. 下载数据迁移工具。 2. 解压缩安装包 对于Windows客户端，直接解压缩迁移工具zip 包即可。 对于Linux客户端，执行 unzip 解压缩安装包。 迁移工具解压后的目录结果如下： CTYUNOOSImportversionid config log4j2.xml migrate.conf system.conf lib import.sh import.bat 修改配置文件 更新迁移任务配置文件migrate.conf，配置源和目的资源池信息、迁移配置项。您可根据需要配置system.conf和 log4j2.xml文件，具体参数介绍参见常用工具OOS数据迁移工具迁移步骤。其中： srcType需填写为：S3，代表AmazonS3。 srcEndpoint为s3.amazonaws.com。 S3的region可在S3控制台存储桶列表中查看源Bucket所在的区域。 S3 AccessKey和SecretKey需要至少拥有源Bucket的读权限，OOS的AccessKeyID和SecretAccessKey需要至少拥有目的Bucket的写权限。 migrate.conf配置示例如下： { "srcType":"S3", 从S3迁移文件 "srcEndpoint":"s3.amazonaws.com", S3的Endpoint "srcAccessKey":"your s3 accessKey", S3的AccessKey "srcSecretKey":"your s3 secretKey", S3的SecretKey "srcBucket":"s3bucket", S3的bucket "srcRegionName":"useast1",S3的region，请根据实际填写 "srcPrefix":"logs/", S3上要迁移文件的前缀，请根据实际填写 "srcMarker":"", 从第一个文件开始迁移 "srcStopObject":"", S3上要迁移的截止文件 "destEndpoint":"ooscn.ctyunapi.cn", OOS的Endpoint "destAccessKey":"AccessKeyID", OOS的AccessKeyID "destSecretKey":"SecretAccessKey", OOS的SecretAccessKey "destBucket":"BucketName", OOS的Bucket名称 "isSkipExistFile":false 是否跳过目标资源池中已有的文件 }

本节主要介绍如何将数据从阿里云OSS迁移到OOS中。 应用场景 将数据从阿里云OSS的Bucket迁移到OOS的Bucket。 注意 在线迁移会占用源地址和目的地址的网络资源。若您的业务比较重要，建议您对迁移任务设置限速（设置system.conf中的maxThroughput），或在空闲时间启动迁移任务。 从阿里云OSS迁移到OOS的文件，仅迁移当前可读取到的文件，不支持按object version Id 迁移。 前提条件 Windows7 及以上版本或 Linux CentOS 7.x 及以上版本。 Java 1.8 及以上版本。 迁移工具所在的服务器可以访问阿里云OSS资源池和OOS资源池。 具体操作 确定目标Bucket 在OOS中创建目标Bucket，具体操作请参见创建存储桶（Bucket）或PUT Bucket，用于存放迁移的数据。也可以使用已存在的Bucket。 下载安装迁移工具 1. 下载数据迁移工具。 2. 解压缩安装包 对于Windows客户端，直接解压缩迁移工具zip 包即可。 对于Linux客户端，执行 unzip 解压缩安装包。 迁移工具解压后的目录结果如下： CTYUNOOSImportversionid config log4j2.xml migrate.conf system.conf lib import.sh import.bat 修改配置文件 更新迁移任务配置文件 migrate.conf，配置源和目的资源池信息、迁移配置项。您可根据需要配置system.conf和 log4j2.xml文件，具体参数介绍参见常用工具OOS数据迁移工具迁移步骤。其中： srcType需填写为：OSS，代表阿里云。 srcEndpoint为阿里云Bucket的Endpoint，您可在阿里云控制台Bucket概览中进行查看。 OSS AccessKey和SecretKey需要至少拥有源Bucket的读权限，OOS的AccessKeyID和SecretAccessKey需要至少拥有目的Bucket的写权限。 migrate.conf配置示例如下： { "srcType":"OSS", 从阿里云迁移文件 "srcEndpoint":"osscnhangzhou.aliyuncs.com", 阿里云的Endpoint，请根据实际填写 "srcAccessKey":"your oss accessKey",阿里云的AccessKey "srcSecretKey":"your oss secretKey", 阿里云的SecretKey "srcBucket":"ossbucket", 阿里云的Bucket "srcPrefix":"logs/", 阿里云上要迁移文件的前缀，请根据实际填写 "srcMarker":"", 从第一个文件开始迁移 "srcStopObject":"", 阿里云上要迁移的截止文件 "destEndpoint":"ooscn.ctyunapi.cn", OOS的Endpoint "destAccessKey":"AccessKeyID", OOS的AccessKeyID "destSecretKey":"SecretAccessKey", OOS的SecretAccessKey "destBucket":"BucketName", OOS的Bucket名称 "isSkipExistFile":false 是否跳过目标资源池中已有的文件 }