数据集成工具_数据集成工具文档介绍内容-天翼云

通过自定义脚本实现MySQL一致性备份
准备工作本章节以SuSE 11 SP3操作系统下MySQL 5.5单机版为例,介绍如何通过自定义脚本来冻结、解冻MySQL数据库,以实现对于MySQL数据库的应用一致性备份。场景介绍某企业购买了云主机,并在云主机中安装了MySQL 5.5数据库用于存放业务数据。随着数据量的增加,之前的崩溃一致性保护已经满足不了RTO、RPO的要求,决定采用应用一致性备份,减小RTO与RPO。

来自：
帮助文档
云主机备份
最佳实践
通过自定义脚本实现数据库备份
通过自定义脚本实现MySQL一致性备份
管理磁盘容量
实例内存大于85%或者实例总计表数量超过5万时,为了不影响实例,不会采集数据。单击“查看趋势”,可以查看近7天、近30天、自定义时间段(时间跨度在30天内)的数据量变化情况。

来自：
帮助文档
关系数据库MySQL版
用户指南
问题诊断和SQL分析
问题诊断
管理磁盘容量
按需计费
适用地域计费项计费项说明标准存储资费价格低频访问型资费价格中国大陆通用存储空间(元/GiB/月)按用户数据占用的存储空间量收取费用0.10.08公网流出流量(元/GiB)163网络:按存储数据被调用或下载产生的公网流量收取费用0.50.4请求费用(元/万次)按调用API各种请求的次数收取费用0.010.1数据取回(元/GiB)按从对象存储服务端读取的数据量收取费用不涉及0.0325中国香港存储空间(元/GiB/月)按用户数据占用的存储空间量收取费用0.1570.1公网流出流量(元/GiB)163网络

来自：
帮助文档
对象存储（经典版）I型
计费说明
按需计费
设置安全组规则
操作场景安全组是一个逻辑上的分组,为同一个虚拟私有云内具有相同安全保护需求,并相互信任的弹性云主机和关系型数据库实例提供访问策略。为了保障数据库的安全性和稳定性,在使用关系型数据库实例之前,您需要设置安全组,开通需访问数据库的IP地址和端口。通过弹性公网IP连接RDS实例时,需要为RDS所在安全组配置相应的入方向规则。通过内网连接RDS实例时,设置安全组分为以下两种情况: ECS与RDS实例在相同安全组时,默认ECS与RDS实例互通,无需设置安全组规则。

来自：
帮助文档
关系数据库MySQL版
用户指南
连接管理
设置安全组规则
创建手动备份
创建手动备份返回成功仅代表下发手动备份任务成功,不代表实际备份成功,您可以通过数据备份页面查看本次手动备份是否成功,或者通过“任务中心”查看手动备份任务进度。操作步骤在天翼云官网首页的顶部菜单栏,选择【产品 > 数据库 > 关系型数据库 > 关系数据库SQL Server版】,进入关系数据库SQL Server产品页面。然后单击【管理控制台】,进入TeleDB数据库【概览】页面。在左侧导航栏,选择【SQL Server > 实例管理】,进入实例列表页面。

来自：
帮助文档
关系数据库SQL Server版
用户指南
备份与恢复
备份
创建手动备份
数值图
数值图是一种直观的数据可视化图表,它通过数字方式展示关键数据点或指标。这种图表类型特别适用于强调和突出显示最重要的信息,能够去除多余的细节,让关键数据一目了然。数字图的主要特点包括:简洁性 :通过简化设计,去除不必要的元素,使得图表只展示最关键的数据点。突出重点 :数值图专注于展示一个或少数几个关键指标,使其成为视觉焦点。易于理解 :由于信息量有限,用户可以迅速把握图表所传达的信息。快速传递信息 :数值图可以迅速地向用户传达核心数据,无需深入分析。前提条件已完成日志采集配置,并成功采集到日志。

来自：
帮助文档
云日志服务
用户指南
日志可视化
统计图表
数值图
容灾策略
分布式缓存Redis实例存储着大量业务关键数据,在数据库前端缓存、数据存储引擎等各类场景下,数据的可靠性与服务的连续可用性是客户考虑的重要因素。根据对数据与服务的不同可靠性要求,您可以选择将缓存实例部署在单可用区内(单机房),或者跨可用区(同城灾备)。单资源池单可用区高可用单可用区灾备策略主要包括进程/服务高可用与数据持久化到磁盘两个方面进行。在单个可用区内,单机或集群单机实例通过进程守护的方式来确保服务的高可用性。

来自：
帮助文档
分布式缓存服务Redis版
产品介绍
安全
容灾策略
秒杀库存控制
订单处理:后端服务器会将订单信息保存到数据库中,并进行异步处理,例如发送消息通知用户订单状态。缓存更新:后端服务器会更新缓存中的商品库存信息,以便处理下一次请求。整个过程会多次访问数据库,下单通常是利用行级锁进行访问限制,抢到锁才能查询数据库和下单。但是秒杀时的大量订单请求,往往使数据库访问阻塞。

来自：
帮助文档
分布式缓存服务Redis版
最佳实践
秒杀库存控制
产品咨询类问题
申请实例后,您不需要进行数据库的基础运维(比如高可用、安全补丁等),但是您还需要重点关注以下事情: 数据库实例的CPU、IOPS、空间是否足够。数据库实例是否存在性能问题,是否需要优化等。什么是GeminiDB Influx实例可用性实例可用性的计算公式: 实例可用性=(1–故障时间/服务总时间)×100% 其中,故障时间是指数据库实例购买完成后,运行期间累计发生故障的总时长。服务总时间指数据库实例购买完成后运行的总时长。

来自：
帮助文档
云数据库GeminiDB
GeminiDB Influx接口
常见问题
产品咨询类问题
退费说明
退订规则说明容灾管理中心/主机高可用/持续数据保护/数据定时灾备/数据库双活/文件存储数据灾备/对象存储数据灾备退费规则按订购时间计算退费金额:预付费退款金额=订单实付金额-已消费金额-退订手续费。

来自：
帮助文档
多活容灾服务
计费说明
退费说明
操作系统更新
操作背景为保证RDS-PostgreSQL实例的数据库安全和数据库性能,系统会在合适期间对操作系统进行更新。同时操作系统的补丁更新不会变更您的数据库实例版本信息。为不影响您的数据库实例使用体验,RDS-PostgreSQL会在您设置的可运维时间段内,通过特定方式及时修复操作系统漏洞,加强您的数据库整体安全状况。

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
实例操作
操作系统更新
跨源连接运维报错
原因分析客户的数据中存在emoj表情,这些表情是按照四个字节一个单位进行编码的,而通常使用的utf-8编码在mysql数据库中默认是按照三个字节一个单位进行编码的,这个原因导致将数据存入mysql数据库时出现错误。出现该问题可能原因如下: 数据库编码问题。处理步骤修改字符集为utf8mb4。 1.执行如下SQL更改数据库字符集。

来自：
帮助文档
数据湖探索
常见问题
操作类
跨源连接相关问题
跨源连接运维报错
性能调优
配置后,作业异常重启,会从最新成功的Checkpoint文件恢复内部状态和消费位点,保证数据不丢失及聚合算子等内部状态的精确一致语义。同时,为了保证数据不重复,建议使用带主键数据库或者文件系统作为目标数据源,否则下游处理业务需要加上去重逻辑(最新成功Checkpoint记录位点到异常时间段内的数据会重复消费)。 −对于Flink Jar作业,在代码中开启Checkpoint,同时如果有自定义的状态需要保存,您还需要实现ListCheckpointed接口,并为每个算子设置唯一ID。

来自：
帮助文档
数据湖探索
常见问题
操作类
Flink作业相关问题
性能调优
开启Kerberos认证集群中的默认用户清单
数据库用户 MRS集群系统数据库用户包含OMS数据库用户、DBService数据库用户。说明数据库用户不能删除,否则可能导致集群或组件服务无法正常工作。

来自：
帮助文档
翼MapReduce
用户指南
MRS Manager操作指导（适用于2.x及之前）
安全管理
开启Kerberos认证集群中的默认用户清单
开启Kerberos认证集群中的默认用户清单
数据库用户 MRS集群系统数据库用户包含OMS数据库用户、DBService数据库用户。说明数据库用户不能删除,否则可能导致集群或组件服务无法正常工作。类别默认用户初始密码描述 OMS数据库 ommdba dbChangeMe@123456 OMS数据库管理员用户,用于创建、启动和停止等维护操作。 omm ChangeMe@123456 OMS数据库数据访问用户。

来自：
帮助文档
翼MapReduce
用户指南
MRS Manager操作指导（适用于2.x及之前）
MRS多用户权限管理
开启Kerberos认证集群中的默认用户清单
通用操作类
DTS支持多对一的的数据迁移或同步,即从不同实例、不同表的数据迁移或同步到目标库的同一个表中。操作建议: 由于是多个表的数据汇聚到目标库的同一个表中,所以需要确保目标库所在机器有足够的磁盘空间,建议目标库的剩余磁盘空间至少是源库待迁移数据量大小的1.5倍。如果是数据同步任务,不支持DDL同步,否则可能会导致同步失败。 DTS在一对多场景下应如何操作? DTS支持一对多的数据迁移或同步,即从同一实例的数据迁移或同步到多个不同的实例。

来自：
帮助文档
数据传输服务DTS
常见问题
通用操作类
IAM用户权限管理最佳实践
自定义数据权限注意如需要数据权限管控,则需要通过Resource五元组配置资源路径。

来自：
帮助文档
微服务云应用平台
最佳实践
IAM用户权限管理最佳实践
管理历史事务
功能介绍历史事务用来分析和发现数据库的大事务、长时间未提交的事务等历史信息。历史事务的数据来自show engine innodb status的命令执行结果,展示了历史事务信息的运行快照,采集频率为5分钟一次。约束限制历史事务信息的运行快照列出了正在执行的事务,不包含采集间隔内开始并提交的事务。收集历史事务需要开启收集慢SQL或收集全量SQL。最多展示7天内的数据,最大显示10000条数据。操作步骤步骤 1 登录管理控制台。步骤 2 单击管理控制台左上角的 ,选择区域。

来自：
帮助文档
关系数据库MySQL版
用户指南
问题诊断和SQL分析
问题诊断
管理历史事务
云硬盘卸载问题
卸载数据盘:数据盘支持离线卸载和在线卸载。说明 Linux数据盘挂载点通常为“/dev/vda”以外的挂载点,Windows系统的数据盘通常为C盘以外的盘符。离线卸载:云主机需处于“关机”状态,处于运行状态需关机后进行数据盘卸载。在线卸载:部分操作系统支持在线卸载,即在云主机处于“运行中”状态进行卸载。关于在线卸载的更多详细信息,请参见《弹性云主机用户指南》中的“存储 > **在线卸载磁盘”。

来自：
帮助文档
云硬盘
常见问题
云硬盘卸载问题
概览
功能名称描述查询监控数据统计值。某个时间段内监控数据平均值实时监控数据平均值或最值查询监控数据统计值。

来自：
帮助文档
一体化计算加速平台·异构计算
API参考
API概览
概览
设置权限
操作步骤在天翼云官网首页的顶部菜单栏,选择产品数据库 > 关系型数据库 > 分布式关系型数据库,进入分布式关系型数据库产品页面。然后单击管理控制台,进入概览页面。在左侧导航栏,选择DRDS > 实例管理,进入实例列表页面。然后在顶部菜单栏,选择区域和项目。在实例列表中,找到目标实例,单击操作列的管理,进入实例基本信息页面。在左侧导航栏,选择用户与角色管理,进入用户管理页面。在用户列表中,找到目标用户,单击操作的设置权限。在设置权限面板中,为用户设置权限。

来自：
帮助文档
分布式关系型数据库
用户指南
用户与角色管理
用户管理
设置权限
设置权限
操作步骤在天翼云官网首页的顶部菜单栏,选择产品数据库 > 关系型数据库 > 分布式关系型数据库,进入分布式关系型数据库产品页面。然后单击管理控制台,进入概览页面。在左侧导航栏,选择DRDS > 实例管理,进入实例列表页面。然后在顶部菜单栏,选择区域和项目。在实例列表中,找到目标实例,单击操作列的管理,进入实例基本信息页面。在左侧导航栏,选择用户与角色管理,进入用户管理页面。单击角色管理页签,进入角色管理页面。在角色列表中,找到目标角色,单击操作列的设置权限。

来自：
帮助文档
分布式关系型数据库
用户指南
用户与角色管理
角色管理
设置权限
实时会话
提供当前数据库会话快照查询,并支持排序过滤展示。可基于用户、访问主机、库等多维度快速过滤识别到自定义慢SQL会话、活跃会话等。Kill会话功能应对紧急实例恢复,保障数据库的可用性。操作步骤 1、登录管理控制台。单击管理控制台左上角的,选择区域和项目。单击页面左上角的,选择“数据库 > 数据管理服务 DAS”,进入数据管理服务页面。在左侧的导航栏中单击“DBA智能运维 > 实例列表”页签,进入DBA智能运维实例列表页面。在实例列表页面右上角,按照引擎、实例名称或者实例IP筛选实例。

来自：
帮助文档
数据管理服务
用户指南
DBA智能运维
GaussDB
实时会话
发布版本
大版本:需要同时升级所有节点,并涉及数据割接,数据割接由控制台自动完成。小版本:不涉及数据割接,可以滚动升级实例节点。程序版本选择程序版本。注意具体支持升级的版本,以控制台实际显示为准。

来自：
帮助文档
分布式关系型数据库
用户指南
节点与分组管理
节点管理
发布版本
通过psql命令行客户端连接实例（公网连接）
host_port :数据库端口,为“实例详情”页面中的数据库端口。 :用户名,即 PostgreSQL数据库帐号(默认管理员帐号为 root)。 :数据库名,即PostgreSQL实例里面的数据库,默认初始化的数据库名是postgres。示例: psql -h xx.xx.xx.xx -p xxxx -U root –d postgres

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
连接实例
通过psql命令行客户端连接RDS-PostgreSQL实例
通过psql命令行客户端连接实例（公网连接）
概述
操作场景如果您需要在本地数据中心通过VPN连接或云专线以内网方式访问ZOS服务,可以通过配置终端节点连接终端节点服务来实现,具体方式如下: 在云上创建一个VPC,通过配置VPN或云专线将本地数据中心与VPC连接。在VPC中购买终端节点来实现与云上的ZOS和内网DNS类型的终端节点服务的连接,用于为本地数据中心提供通过内网连接到ZOS服务的功能。待终端节点连接建立并正常工作,本地数据中心就可通过内部网络方式访问ZOS服务。

来自：
帮助文档
VPC终端节点
快速入门
配置访问ZOS服务内网地址的终端节点
概述
查看容器详情
查看数据挂载数据挂载页面展示了容器的数据挂载信息,包括数据卷名、源路径、目标路径、数据挂载方式、数据加载方式。查看软件信息软件页面展示了容器软件信息,包括软件名称、版本、文件路径等信息。查看配置信息配置页面展示了容器内的配置信息,包括配置项、值、安全建议等信息。

来自：
帮助文档
容器安全卫士
用户指南
容器安全
查看容器详情
下载或导出日志
前提条件已完成数据接入,详细操作请参见云服务接入。操作步骤登录管理控制台。单击页面左上方的,选择“安全 > 态势感知(专业版)”,进入态势感知(专业版)管理页面。在左侧导航栏选择“工作空间 > 空间管理”,并在工作空间列表中,单击目标工作空间名称,进入目标工作空间管理页面。在左侧导航栏选择“日志审计 > 安全数据”,进入安全分析页面。在左侧数据空间导航栏中,单击数据空间名称,展开数据管道列后,再单击管道名称,右侧将显示管道数据的检索页面。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
日志审计
安全分析
下载或导出日志
清理碎片
操作场景 ZOS采用分段上传的模式上传数据,在以下情况下可能会导致数据上传失败并产生碎片: 网络问题:上传数据时,网络连接不稳定或出现中断。中断上传任务:在上传数据的过程中人为中断了上传任务。设备故障:上传数据的设备发生故障,例如存储介质损坏或读写错误。特殊情况:突然断电、系统崩溃或其他意外情况可能导致数据上传中断或失败。上传失败而产生的碎片会存储到ZOS中,若您重新上传,数据会接着生成的碎片继续上传。若您不需要碎片,可以手动删除碎片。

来自：
帮助文档
对象存储
控制台指南
文件管理
删除
清理碎片
功能类
在高可用方面云硬盘支持多副本、快照、异地备份等,因此一般对性能要求高的推荐本地盘,对重要业务数据推荐使用云硬盘。我在什么场景下使用本地盘? IO 密集型应用 : 大型关系数据库、NoSQL、ElasticSearch 等 IO 密集型应用,对存储延时要求低,可使用云服务器自带的 NVME SSD 本地盘类型,但需注意单点故障风险。大数据型业务: EMR 等大数据处理业务,本身对延迟不敏感,且上层有数据冗余,可以容忍单点数据故障,可使用云服务器自带的 SATA HDD 本地盘类型。

来自：
帮助文档
智能边缘云
常见问题
功能类
按实际用量付费
控制台上已使用容量不足1GB按1GB展示,此数据不作为计费计量,仅作为展示,以实际账单为准。使用df -h 查询时,已使用容量不满4MB向下取整,即若有11MB,会展示为8MB。常见问题在使用海量文件服务的计费相关问题,请参考计费类问题。

来自：
帮助文档
海量文件服务 OceanFS
计费说明
产品价格
按实际用量付费
图形审计
可审计对象为授权的资产数据角色产生的图形访问会话,支持访问实时播放和回放、键盘记录、剪切板记录和中断会话。操作步骤 1.管理员登录并切换至“审计角色”,在左侧导航栏选择 “会话日志 > 图形审计”。 2.单击“操作”列的“键盘”或“更多 > 剪切板”可查看记录,结束时间为空说明是活动会话,单击“播放”可实时观看会话,单击“中断”可中断该会话。

来自：
帮助文档
云堡垒机（原生版）
用户指南
管理员手册
会话日志
图形审计

天翼云最新活动

12.12年度钜惠

爆款云主机2核2G仅需28.8元/年，X实例35.1元/半年起！ 8代机+XSSD新客专享2.5折！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云AI产品特惠

人脸识别+文字识别焕新，新用户免费试用

中小企业服务商合作专区

国家云助力中小企业腾飞，高额上云补贴重磅上线

出海产品促销专区

爆款云主机低至2折，高性价比，不限新老速来抢购！

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

弹性云主机

GPU云主机

镜像服务

天翼云CTyunOS系统

训推服务

模型推理服务

科研助手

一站式智算服务平台

知识库问答

推荐文档

创建文件和文件夹备份

Microsoft SQL Server

玩转天翼云①：如何获得管理员权限的方法

创建

产品购买

修改实例密码