数据集成工具_数据集成工具文档介绍内容-天翼云

数据架构示例
维度建模:在DM层新建并发布汇总表在DM数据集市层,您需要新建如表所示的汇总表。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据架构
使用教程
数据架构示例
派生指标
业务限定用于限定统计数据的业务范围,非必选项。统计周期用于限定统计数据的时间范围。维度属性用于确定进行统计的对象,非必选项。挂载类型派生指标所属的挂载类型,如数据集市。此参数根据“规划配置”挂载关系生成。挂载类型名跟挂载类型对应,选择具体的数仓要素的名称。新建派生指标进入派生指标。点击左上方的,选择全部产品 > 数据建模 > 数据指标 ,在数据指标左侧抽屉栏,单击派生指标 ,进入派生指标页面。

来自：
帮助文档
大数据管理平台 DataWings
用户指南
数据建模
数据指标
派生指标
安全分析概述
态势感知(专业版)的安全分析功能是一种云原生安全信息和事件管理(SIEM)解决方案,支持采集多产品的安全日志及告警,并基于预定义和自定义的安...数据的安全保护。支持接入的云产品和日志态势感知(专业版)支持集成多种云产品的日志数据。集成后,可以检索并分析所有收集到的日志。具体支持接入的云服务日志请参见支持接入的日志。约束与限制单次查询分析最多支持返回500条结果。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
威胁运营
安全分析
安全分析概述
产品咨询
本节为您介绍数据库迁移工具咨询相关问题。我在什么场景下使用数据库迁移工具? 当您需要将其余云服务商的数据库数据迁移上天翼云时,您可以使用数据库迁移工具帮助您有序、安全、便捷、轻松地将数据部分或完全迁移到天翼云,同时保证云上业务的可用性、安全性以及连续性。数据库迁移工具是否支持从阿里云、天翼云等其余云迁移至天翼云? 支持。数据库迁移工具支持市面上主流云厂商的数据库迁移至天翼云,如阿里云、天翼云、以及腾讯云等; 数据库迁移工具是否支持将天翼云上的数据,迁移到其余云服务商或本地? 不支持。

来自：
帮助文档
云迁移服务CMS
常见问题
数据库迁移服务模块
产品咨询
功能类问题
数据库安全审计采用旁路模式部署,通过Agent(数据库节点或应用节点安装Agent)获取访问数据库流量、将流量数据上传到审计系统、接收审计系统配置命令和上报数据库状态监控数据,从而实现数据库安全审计功能。因此,您在业务侧使用中间件不影响数据库安全审计功能,不会导致Agent监听SQL失败或者审计没有数据。数据库审计能否对第三方工具执行的SQL语句进行捕捉? 可以。数据库审计审计的数据是Agent接入的全量日志和流量数据,与工具无关。数据库审计是否支持云下部署? 不支持。

来自：
帮助文档
数据库审计
常见问题
功能类问题
功能类问题
数据库安全审计采用旁路模式部署,通过Agent(数据库节点或应用节点安装Agent)获取访问数据库流量、将流量数据上传到审计系统、接收审计系统配置命令和上报数据库状态监控数据,从而实现数据库安全审计功能。因此,您在业务侧使用中间件不影响数据库安全审计功能,不会导致Agent监听SQL失败或者审计没有数据。数据库审计能否对第三方工具执行的SQL语句进行捕捉? 可以。数据库审计审计的数据是Agent接入的全量日志和流量数据,与工具无关。数据库审计是否支持云下部署? 不支持。

来自：
帮助文档
数据库审计
常见问题
功能类问题
元数据获取
示例: Linux操作系统:以使用cURL工具为例,介绍查询弹性云主机元数据的方法。 curl http://169.254.169.254/openstack/latest/meta_data.json Winodows操作系统:以使用Invoke-RestMethod工具为例,介绍查询弹性云主机元数据的方法。

来自：
帮助文档
弹性云主机
用户指南
实例
使用用户数据和元数据
元数据获取
注册配置中心快速接入示例
将SpringBoot类型的微服务集成Nacos 配置管理为您的Spring Boot 应用集成Nacos配置管理功能,在工程中引入nacos-config-spring-boot-starter和nacos-discovery-spring-boot-starter的 Maven坐标。注意版本 0.2.x.RELEASE 对应的是 Spring Boot 2.x 版本,版本 0.1.x.RELEASE 对应的是 Spring Boot 1.x 版本。

来自：
帮助文档
微服务引擎
快速入门
注册配置中心
注册配置中心快速接入示例
微信小程序接入
目前支持小程序原生语言接入注意请勿在“微信开发者工具”的“游客模式”下接入验证码。接入说明 1、添加插件用管理员身份登录微信公众平台 ,且需使用接入小程序的相关账号。选择设置 > 第三方设置 > 添加插件,在搜索框内输入关键字“ AOne 验证码”查找插件,并单击添加。 2、集成插件引入验证码小程序插件。

来自：
帮助文档
边缘安全加速平台
安全与加速
安全
验证码
客户端接入
微信小程序接入
地图配置
地图配置提供自定义类目功能,可将集成到数据地图的数据资产按类目进行组织和管理。配置完类目后,可在数据检索按自定义类目进行筛选。前提条件已创建元数据采集器,且采集任务状态为成功。创建及管理类目单击左上方的图标,选择全部产品 > 数据地图 > 地图配置。单击左侧抽屉栏“自定义类目”,进入“自定义类目”页面。单击“添加一级类目”按钮,在输入框中输入类目名称,单击键盘的回车键保存名称。说明最多支持创建4级。

来自：
帮助文档
大数据管理平台 DataWings
用户指南
数据地图
地图配置
异步搜索
无论是在处理大数据集、优化系统资源利用,还是在实现查询任务的灵活管理方面,异步搜索都为用户提供了一个强大而高效的解决方案。

来自：
帮助文档
云搜索服务
用户指南
增强特性
异步搜索
资源运维
资源运维模块支持您监控并查看数据管理平台各个资源组的状态及运维使用情况。前提条件使用前请确保您至少已购买集成资源组、调度资源组、服务资源组中的一种或多种。页面进入单击左上方的图标,选择全部产品 > 运维中心 > 资源运维。查看资源运维信息您可以切换集成资源组、调度资源组、服务资源组、数据源资源组,查看不同类型资源组的信息。资源运维信息包括:资源组名称、状态、规格/数量、网络、到期时间、cpu使用率、内存使用率、磁盘使用率。

来自：
帮助文档
大数据管理平台 DataWings
用户指南
运维中心
资源运维
应用场景
数据计算面对数据分析或机器学习训练等任务,Serverless集群可以提供快速、灵活的计算资源,快速启动大量Pod实例在短时间内运行特定的计算任务,计算结束后释放自动停止计费,极大降低了整体的计算成本。 CI/CD Serverless集群可以轻松搭建各种持续集成环境,帮助用户快速构建测试环境和自动化的部署流程,同时为各种持续集成任务之间提供隔离性和安全性。

来自：
帮助文档
Serverless容器引擎
产品简介
应用场景
运行环境
本节主要介绍OOS数据迁移工具运行环境。迁移工具支持部署在Windows或Linux客户端,运行环境要求如下: Windows7及以上版本或Linux CentOS 7.x及以上版本。 Java 1.8及以上版本。迁移工具所在的服务器可以访问源云存储资源池和OOS资源池。

来自：
帮助文档
对象存储（经典版）I型
常用工具
OOS数据迁移工具
运行环境
任务搜索
本节为您介绍数据库迁移工具任务搜索。数据库迁移工具提供数据同步搜索功能,用户可根据任务ID、任务名称、任务状态、时间、是否是异常任务筛选出想要查看的数据同步任务。

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据同步
任务搜索
初始化Linux数据盘（fdisk）
本节介绍了初始化Linux数据盘(fdisk)的操作场景、前提条件、划分分区并挂载磁盘、设置开机自动挂载磁盘分区。操作场景本文以云主机的操作系统为“CentOS 7.4 64位”为例,采用fdisk分区工具为数据盘设置分区。 MBR支持的磁盘最大容量为2 TB,GPT最大支持的磁盘容量为18 EB,因此当您初始化容量大于2 TB的磁盘时,分区形式请采用GPT。对于Linux操作系统而言,当磁盘分区形式选用GPT时,fdisk分区工具将无法使用,需要采用parted工具。

来自：
帮助文档
云硬盘
快速入门
初始化数据盘
初始化Linux数据盘（fdisk）
Logstash对接Kafka
应用场景通过Logstash对接Kafka,可以实现以下功能: 数据收集:Logstash可以从Kafka主题中消费数据,将数据从Kafka集群中获取到Logstash中进行处理和转发。这样可以方便地将分布式系统、应用程序、传感器数据等各种数据源的数据集中收集起来。数据处理和转换:Logstash提供了丰富的过滤器插件,可以对从Kafka中消费的数据进行各种处理和转换操作。例如,可以进行数据清洗、解析、分割、合并、字段映射等操作,以满足不同数据源和目标的数据格式要求。

来自：
帮助文档
分布式消息服务Kafka
最佳实践
Logstash对接Kafka
连接检测
本节为您介绍数据库迁移工具连接监测。数据库迁移工具提供源端数据库连接检测功能,用于启动订阅任务前确认源库的连通性。通过连接检测过,方能进行订阅。

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据同步
数据订阅
任务创建
连接检测
服务版本差异
√√数据库行为审计基于操作命令审计数据库运维全程。×√高效运维Web浏览器一站式运维远程登录资源,无需安装客户端,一键登录运维资源,并集成批量登录、协同会话、文件传输、命令群发等功能。√√第三方客户端运维一键接入多种运维工具,支持多种运维形式,包括SSH客户端运维、FTP/SFTP客户端运维等。√√数据库运维通过SSO单点登录工具调用客户端,一键登录目标数据库。×√自动化运维在线管理脚本,以及定时执行预置运维任务。

来自：
帮助文档
运维安全中心（云堡垒机）
产品简介
服务版本差异
设置透明数据加密TDE
开启TDE后,常用数据库工具仍能正常使用。由于查询表数据时会解密并读取到内存中,因此查询加密的数据时结果仍是明文数据。开启TDE后,备份文件是加密后的密文数据,可以防止备份泄漏导致数据泄漏。连接目标实例。执行如下命令对表进行加密或解密,tableName 为需要加密或解密的表名。加密alter table tableName encryption='Y';解密alter table tableName encryption='N';

来自：
帮助文档
关系数据库MySQL版
用户指南
账号与安全
设置透明数据加密TDE
业务分类
后续步骤在配置数仓要素:如数据域、数据集市时,可挂载到具体的业务分类。详见数仓要素。

来自：
帮助文档
大数据管理平台 DataWings
用户指南
数据建模
数仓规划
业务分类
订购数据迁移实例
本页重点介绍通过天翼云官网门户订购数据迁移实例的过程。操作步骤 1、登入天翼云门户。登录天翼云http://www.ctyun.cn。 2、进入数据传输服务DTS控制台。在天翼云门户首页顶部菜单栏,点击“控制中心”进入【控制中心】页面。在【控制中心】页面顶部的资源池下拉列表框中选择相应资源池,找到页面中的“数据库”服务列表,选择“数据传输服务DTS”,进入DTS控制台,默认进入概览页面。或从其他数据库的“购买TeleDB数据库实例”页面,直接切换到【数据库生态工具】,选择“DTS”。

来自：
帮助文档
数据传输服务DTS
用户指南
数据迁移
订购、续订、退订
订购数据迁移实例
云服务通过KMS实现服务端加密
本文为您介绍通过KMS实现云硬盘、对象存储、弹性文件等云服务的数据加密最佳实践。密钥管理系统与天翼云产品无缝集成,在云产品中,仅需要选择在KMS中托管的主密钥,即可轻松实现对云产品数据的服务端加密。云产品通过集成KMS实现对云上数据的加密存储,密钥由KMS托管,满足监管合规要求。整个服务端加密过程对用户透明无感知,只需要开启加密功能并指定密钥即可。同时用户无须自定构建和维护密钥管理基础设施,节省开发成本。

来自：
帮助文档
密钥管理
最佳实践
云服务通过KMS实现服务端加密
数据取回
本节主要介绍数据取回的统计信息。进入“统计”页面,点击“数据取回”,可以查看数据取回量的统计信息。数据取回量信息描述项目描述时间选择数据取回量查询的时间段,可以选择查看下列时间段的数据取回量:今日。昨日。近7日。近30日。根据日历按钮,选择查询任意90天数据取回量。数据位置数据取回量查询的数据位置,可以选择:全部数据位置:展示所有数据位置的数据取回量之和。具体数据位置:根据显示的数据位置进行选择,查看对应数据位置的数据取回量。

来自：
帮助文档
对象存储（经典版）I型
控制台指南
统计概览
统计
数据取回
数据探索
本节介绍如何在数据探索页面查看当前已添加的所有数据资产详细信息,并对数据库、数据表以及数据视图等添加描述、标签、密级和分类操作,从而实现数据资产分级分类管理。前提条件完成数据库资产委托授权,并添加数据库资产。操作步骤登录管理控制台。单击左上角的,选择区域或项目。在左侧导航树中,单击,选择“安全 > 数据安全中心”,进入数据安全中心总览界面。在左侧导航树中选择“资产管理 > 数据探索”,进入“数据探索”页面。

来自：
帮助文档
数据安全中心
用户指南
资产管理
数据探索
预览数据
本章节主要介绍预览数据。 “预览页面”将显示对应表的前10条数据。预览数据步骤预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。在“数据管理”页面预览数据。在管理控制台左侧,单击“数据管理”>“库表管理”。单击需导出数据对应数据库名称,进入该数据库“表管理”页面。单击目标表“操作”栏中的“更多”,选择“表属性”。单击“预览”页签,即可预览该表数据。在“SQL编辑器”页面预览数据。在管理控制台左侧,单击“SQL编辑器”。

来自：
帮助文档
数据湖探索
用户指南
数据管理
库表管理
预览数据
数据对比
数据管理服务DMS的数据对比功能支持同构数据库表之间的行数据差异对比,通过复制执行对比结果中的变更SQL,实现从源实例表到目标实例表的行数据同步效果。前提条件目前数据对比的支持数据库类型有:MySQL、PostgreSQL,源数据库实例和目标数据库实例的数据库类型需要相同。数据对比目前为企业版功能,请用户使用该功能前,切换到DMS企业版,切换步骤及实例注意事项详见版本说明。数据对比要求当前用户以及登录实例的账户,拥有源数据库和目标数据库的查询权限。

来自：
帮助文档
数据管理服务
用户指南
开发空间
数据对比
数据消费
在左侧数据空间导航栏中,单击数据空间名称,展开数据管道列后,单击目标管道名称后的“更多> 数据消费”,进入数据消费页面。在数据消费页面中,单击当前状态后的,开启数据消费。开启后,将显示消费配置信息,具体说明如下表所示。参数名称参数说明当前状态当前管道中数据消费配置状态。管道名称当前数据管道的名称。订阅器系统预制的订阅模式,决定数据如何传递给消费者。访问节点当前数据的访问节点。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
威胁运营
数据消费
数据方案
本节主要介绍数据方案自动生成测试数据操作场景在进行程序的功能测试时,通常需要在数据库中插入大量符合特定规则的测试数据。自动生成测试数据,可高效的生成测试数据,根据生成规则可以很方便生成所需数据。操作步骤在顶部菜单栏选择“数据方案”>“自动生成测试数据”打开自动生成测试数据页面。在“自动生成测试数据”页面,单击“新建任务”,在弹出窗口选择编辑任务信息。生成行数生成测试数据的行数,最大支持100万。

来自：
帮助文档
数据管理服务
用户指南
MySQL数据库管理（开发工具）
数据方案
元数据
本章节主要介绍翼MapReduce服务的元数据功能。当创建翼MR集群时选择部署Hive和Ranger组件时,翼MR提供多种元数据存储方式,您可以根据自身需要进行选择: 本地元数据:元数据存储于集群内的本地GaussDB中,当集群删除时元数据同时被删除,如需保存元数据,需提前前往数据库手动保存元数据。

来自：
帮助文档
翼MapReduce
产品简介
功能特性
元数据
数据追踪
数据追踪功能支持在数据误操作或数据修改不符合预期之后,可以追踪在指定时间段内的数据变更,并生成回滚和重建语句,帮助用户快速将数据恢复到变更前的状态,保障业务数据的完整性。前提条件数据追踪目前仅支持MySQL数据库,且MySQL为5.6及以上版本。数据追踪为企业版功能,请切换到DMS企业版后使用该功能,切换步骤及实例注意事项详见版本说明。数据追踪要求当前用户以及登录实例的账户,拥有追踪的目标数据库或目标表的查询权限。查询及修改用户对实例元数据的操作权限,请详见我的权限。

来自：
帮助文档
数据管理服务
用户指南
智能运维
数据追踪
与其他服务的关系
对象存储可与其他云产品集成和配合使用,构建出高效、灵活的云计算应用解决方案。本文为您介绍对象存储与其他服务的关系。对象存储(CT-ZOS,Zettabyte Object Storage)是天翼云云计算产品组合中的一部分,与其他产品相互关联。除了对象存储,天翼云还提供了其他云计算产品和服务,如云主机、关系数据库、云监控等,这些产品可以在天翼云平台上进行集成和使用。例如,可以将文件、图片、视频等数据存储在对象存储中,然后通过弹性云主机进行访问和处理。

来自：
帮助文档
对象存储
产品简介
与其他服务的关系

天翼云最新活动

618智算钜惠季

爆款云主机2核4G限时秒杀，88元/年起！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云脑AOne

连接、保护、办公，All-in-One！

中小企业应用上云专场

产品组合下单即享折上9折起，助力企业快速上云

息壤高校钜惠活动

天翼云息壤杯高校AI大赛，数款产品享受线上订购超值特惠

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

镜像服务

多活容灾服务

弹性伸缩服务

一体化计算加速平台·异构计算

天翼云CTyunOS系统

天翼云息壤一体化智算服务平台

一站式智算服务平台

智算一体机

人脸检测

推荐文档

云课堂第九课：如何选择天翼云云硬

删除队列

购买License

应用场景

天翼云最佳实践⑦：Win Server php-asp 环境使用

全面了解天翼云②：Linux下修改MTU值

活动

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

镜像服务

多活容灾服务

弹性伸缩服务

一体化计算加速平台·异构计算

天翼云CTyunOS系统

天翼云息壤一体化智算服务平台

一站式智算服务平台

智算一体机

人脸检测

推荐文档

云课堂 第九课：如何选择天翼云云硬

删除队列

购买License

应用场景

天翼云最佳实践⑦：Win Server php-asp 环境使用

全面了解天翼云②：Linux下修改MTU值

云课堂第九课：如何选择天翼云云硬