活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      安全邮箱_相关内容
      • 约束与限制
        本文介绍了企业交换机服务的配额与使用限制。 配额 表企业交换机配额限制 规格项 默认配额 申请更多配额 每个租户支持创建的企业交换机数量 5个 请提交工单申请更多配额 每个企业交换机支持绑定的VPC数量 1个 不支持修改 每个子网支持连通的二层连接数量 1个 不支持修改 每个“小型”企业交换机支持建立的二层连接数量 1个 不支持修改 每个“中型”企业交换机支持建立的二层连接数量 3个 不支持修改 每个“大型”企业交换机支持建立的二层连接数量 6个 不支持修改 使用限制 不支持云下往云上转发未知单播、广播、组播(除VRRP协议外)的IP报文。 除广州4资源池外,其他资源池暂不支持云下服务器访问云上的高级网络功能,如VPC对等连接、VPC路由表、ELB以及NAT网关等。 对于使用云专线(DC)对接企业交换机的场景,请您先提交工单给云专线服务,确认您的云专线是否支持和企业交换机进行VXLAN对接,若不支持,需要联系客服开通云专线的对接企业交换机能力。 对于使用虚拟专用网络(VPN)对接企业交换机的场景,请您先提交工单给虚拟专用网络服务,确认您的虚拟专用网络是否支持和企业交换机进行VXLAN对接,若不支持,需要联系客服开通虚拟专用网络的对接企业交换机能力。 每个企业交换机最多支持10000个IP二层互通(即包含通过该企业交换机打通的所有二层网段IP),且最多同时支持连接1000个云下二层网段IP。 ESW支持MAC Proxy转发能力,通过ARP报文代理,使云上和云下主机相互不可见对端的实际MAC地址。在业务报文转发时,云上主机收到的云下报文源MAC是二层连接主接口的MAC,云下主机收到的云上报文源MAC是实例隧道口的MAC。如果您的业务场景需要感知实际主机MAC或者有基于MAC的安全策略等,不支持使用ESW。 通常,服务器端会通过ARP学习确定回复报文的目的MAC地址,但是某些主机或硬件设备(如F5负载均衡器)配置了原路径返回能力,回复报文的目的MAC地址取自请求报文的源MAC地址,当通过ESW实现云上云下三层访问场景时,可能会出现网络不通问题,请提前排查。 例如,先通过ESW打通云上和云下192.168.3.0/24网段,当云上主机192.168.2.2/24需要跨网段访问云下主机192.168.3.3/24时,云上请求报文会先通过VPC路由,再经过ESW送往云下主机,云下对应回复报文走路由发回云上,可以经过云专线/VPN。如果云下主机配置了原路径返回,云下回复报文的目的MAC地址不是192.168.3.0/24的网关MAC地址,是取对应请求报文的源MAC地址,即ESW的MAC地址。这样云下回复报文的目的MAC地址错误,导致网络不通。 ESW使用VXLAN协议时,VXLAN协议头占用50个字节,报文长度会增加。请您确保VXLAN报文经过的线下网络设备支持大帧(Jumbo Frames,即MTU大于1500字节的以太网帧)通过,否则会导致大包不通。 说明 不同设备厂商处理大帧的方式不同,其中部分厂商默认大帧放通,例如华为。部分厂商默认大帧不放通,例如思科。 如果您的IDC需要与云上企业交换机对接来建立云下和云上二层网络通信,那么您IDC侧的交换机需要支持VXLAN功能,客户侧负责建设IDC机房的VXLAN网络,包括VXLAN交换机准备、物理网络连通、对接云专线或者虚拟专用网络等。
        来自:
        帮助文档
        企业交换机
        产品介绍
        约束与限制
      • 容器镜像迁移
        使用imagesyncer迁移镜像至SWR 当我们处理数量较少的镜像迁移任务时,使用命令行迁移就可以解决这个问题。但是实际生产中涉及到成千上百个镜像,几T的镜像仓库数据时,迁移过程就变得耗时很是漫长,甚至丢失数据。这时,我们可以使用开源镜像迁移工具imagesyncer来处理这个任务。 步骤 1 下载imagesyncer,解压并运行工具。 以v1.3.1版本为例,您也可以选择其他版本。 wget zvxf imagesyncerv1.3.1linuxamd64.tar.gz 步骤 2 创建镜像仓库的认证信息文件auth.json。 imagesyncer支持基于 Docker Registry V2 搭建的 docker 镜像仓库,按格式填写即可。 将源仓库及目标仓库认证信息写入,示例如下。 { "swr.cngz1.ctyun.cn": { "username": "cngz1@F1I3Q……", "password": "2fd4c869ea0……" }, "swr.cngz4.ctyun.cn": { "username": "cngz4@4N3FA……", "password": "f1c82b57855f9d35……" } } username、password可以在登录命令中获取,获取方法如下: 登录SWR控制台,在右上角单击“登录指令”,在弹出的窗口中获取登录指令,如下图所示。 注意 因安全性要求,以上示例中所有username和password均有部分内容进行省略,请以控制台获取到的实际用户名和密码为准。 步骤 3 创建同步镜像描述文件images.json。 如下示例,左边是源仓库的地址,右边是目的仓库地址。imagesyncer还支持其他描述方式,详见官网说明。 {"swr.cnnorth4.myhuaweicloud.com/orgss/canaryconsumer": "swr.cneast3.myhuaweicloud.com/devcontainer/canaryconsumer"} 步骤 4 执行如下命令将镜像迁移至SWR。 ./imagesyncer auth./auth.json images./images.json namespacedevcontainer registryswr.cneast3.myhuaweicloud.com retries3 log./log 命令行参数说明。 参数 说明 config 设置用户提供的配置文件路径,使用之前需要创建此文件,默认为当前工作目录下的config.json文件。这个参数与 auth和images 的作用相同,分解成两个参数可以更好地区分认证信息与镜像仓库同步规则。建议使用 auth 和 images. images 设置用户提供的镜像同步规则文件所在路径,使用之前需要创建此文件,默认为当前工作目录下的images.json文件 auth 设置用户提供的认证文件所在路径,使用之前需要创建此认证文件,默认为当前工作目录下的auth.json文件 log 打印出来的log文件路径,默认打印到标准错误输出,如果将日志打印到文件将不会有命令行输出,此时需要通过cat对应的日志文件查看 namespace 设置默认的目标namespace,当配置文件内一条images规则的目标仓库为空,并且默认registry也不为空时有效,可以通过环境变量DEFAULTNAMESPACE设置,同时传入命令行参数会优先使用命令行参数值 proc 并发数,进行镜像同步的并发goroutine数量,默认为5 retries 失败同步任务的重试次数,默认为2,重试会在所有任务都被执行一遍之后开始,并且也会重新尝试对应次数生成失败任务的生成。一些偶尔出现的网络错误比如io timeout、TLS handshake timeout,都可以通过设置重试次数来减少失败的任务数量 registry 设置默认的目标registry,当配置文件内一条images规则的目标仓库为空,并且默认namespace也不为空时有效,可以通过环境变量DEFAULTREGISTRY设置,同时传入命令行参数会优先使用命令行参数值 迁移命令执行后,可登录目标镜像仓库,查看已迁移的镜像。
        来自:
        帮助文档
        云容器引擎
        最佳实践
        迁移
        容器镜像迁移
      • 使用限制
        分类 对象 使用限制 仪表盘 仪表盘 1个区域中最多可创建50个仪表盘。 仪表盘 仪表盘中的图表 1个仪表盘中最多可添加20个图表。 仪表盘 仪表盘中图表可选资源、阈值规则、组件或主机的个数 1个曲线图中最多可添加100个资源,且资源可跨集群选择。 1个数字图只能添加1个资源。 1个阈值状态图表最多可添加10个阈值规则。 1个主机状态图表最多可添加10个主机。 1个组件状态图表最多可添加10个组件。 指标 指标数据 基础规格:指标数据最多保存7天。 指标 指标项 资源(例如,集群、组件、主机等)被删除后,其关联的指标项在数据库中最多保存30天。 指标 维度 每个指标的维度最多为20个。 指标 指标查询接口 单次最大可同时查询20个指标。 指标 统计周期 最大统计周期为1小时。 指标 单次查询返回指标数据 单个指标单次查询最大返回1440个数据点。 指标 上报自定义指标 单次请求数据最大不能超过40KB。 指标 应用指标 JOB指标 每个主机的容器个数超过1000个时,ICAgent将停止采集该主机应用指标,并发送“ICAgent停止采集应用指标”告警(告警ID:34105)。 每个主机的容器个数缩减到1000个以内时,ICAgent将恢复该主机应用指标采集,并清除“ICAgent停止采集应用指标”告警 。 由于JOB在完成任务之后,会自动退出。如果您需要监控JOB指标,要保证存活时间大于90秒才能采集到指标数据。 指标 采集器资源消耗 采集器在采集基础指标时的资源消耗情况和容器、进程数等因素有关,在未运行任何业务的VM上,采集器将消耗30M内存、1% CPU。为保证采集可靠性,单节点上运行的容器个数应小于1000。 阈值规则 阈值规则 一个项目下最多可创建1000个阈值规则。 阈值规则 发送通知可选择主题数 每个阈值规则最多可选择5个主题。 日志 单条日志大小 每条日志最大10KB,超出后ICAgent将不会采集该条日志,即该条日志会被丢弃 日志 日志流量 每个租户在每个Region的日志流量不能超过10MB/s。如果超过10MB/s,则可能导致日志丢失。 日志 历史日志 历史日志存储空间免费额度为500MB 日志 日志文件 只支持采集文本类型日志文件,不支持采集其他类型日志文件(例如二进制文件)。 日志 每个通过卷挂载日志的路径下,ICAgent最多采集20个日志文件。 日志 每个ICAgent最多采集1000个容器标准输出日志文件,容器标准输出日志只支持jsonfile类型。 日志 采集日志文件的资源消耗 日志文件采集采集时消耗的资源和日志量、文件个数及网络带宽、backend服务处理能力等多种因素强相关。 日志 日志丢失 采集器使用多种机制保证日志采集的可靠性,尽可能保证数据不丢失,但在如下场景可能导致日志丢失。 日志文件未使用CCE提供的logPolicy轮转策略。 日志文件轮转速度过快,如1秒轮转一次。 系统安全设置或syslog自身原因导致无法转发日志。 容器运行时间过短,例如小于30s。 单节点总日志产生速度过快,超过了单节点网络发送带宽或日志采集速度,建议单节点总日志产生速度<5M/s。 日志 日志丢弃 当单行日志长度超过10240字节时,此行会被丢弃。 日志 日志重复 当采集器被重启后,重启时间点附近可能会产生一定的数据重复。 日志 统计规则 一个日志桶下最多可创建5条统计规则。 告警中心 告警 您最多可查询最近30天的告警。 告警中心 事件 您最多可查询最近30天的事件。
        来自:
        帮助文档
        应用运维管理
        产品简介
        使用限制
      • 功能特性
        功能集 功能 功能描述 应用生命周期管理 创建/部署/更新/查看/启动/停止/删除应用 创建/部署/更新/查看/启动/停止/删除应用。 高级设置 设置启动命令 CAE 会根据预设的启动参数来启动容器 高级设置 设置环境变量 应用在系统中运行更需要配置特定的环境变量 高级设置 设置 Hosts 绑定 CAE 支持应用级别的实例,通过绑定 Hosts 对主机名进行解析,方便应用实例通过主机名进行访问 高级设置 设置持久化日志 CAE 集成了云日志服务的日志收集功能,支持将业务文件日志(容器内日志文件)、容器标准输出日志(stdio)无限制行数地收集至 ALS,便于您聚合分析。 高级设置 设置 NAS 存储 将 NAS 挂载至 CAE 应用实例,可以有效解决应用数据地持久化存储需求,并实现应用实例之间地数据共享 高级设置 设置 OSS 存储 OSS 适用于读多写少地场景,例如挂载配置文件或者前端静态文件等 高级设置 设置应用生命周期管理 如果您精通 K8s,且需要在应用容器启动前或者关闭前执行相关操作,例如运行前部署资源或者停止前优雅下线应用,可以设置应用生命周期管理 高级设置 设置配置项 配置项能够将环境配置信息和容器镜像解耦,方便您修改应用配置 配置管理 配置项(ConfigMap) 配置项是一种存储应用所需配置信息地资源类型,它可以作为容器运行环境中的环境变量,便于应用部署后灵活变更容器配置,也可以通过挂载配置文件的方式向容器中注入配置信息 配置管理 保密字典(Secret) 保密字典是一种用于存储和管理密钥、证书等敏感信息的资源类型。为避免敏感数据暴露到镜像或应用与任务部署参数中,推荐您使用 CAE 命名空间级别的保密字典 弹性管理 手动扩缩 在应用的实例负载过高时以手动方式添加新应用实例,在应用闲置时减少应用实例,能够高效利用应用资源、降低成本 弹性管理 自动扩缩 在分布式应用管理中,弹性伸缩能够感知应用内各个实例的状态,并根据实例状态自动增加或减少实例数量,即扩容或缩容 版本管理 版本回退 应用修改配置并部署后,会自动生成一个基于时间点的应用版本,您可以查看对应时间点应用版本的配置,也可以操作版本回退到指定时间点的应用版本 应用访问 基于 ELB 实现应用公网及私网访问 在 CAE 中部署应用后,可以通过添加公网 ELB 实现公网访问应用,也可以添加私网 ELB 实现同 VPC 内私网访问应用 注册中心 CAE 内置注册中心 CAE 为用户提供免费的内置 Nacos 注册中心,在无需购买或自建注册中心的情况下即可部署微服务应用到 CAE 平台 注册中心 自建 Nacos 注册中心 CAE 支持使用自建 Nacos 注册中心实现服务的注册与发现功能 微服务治理 无损上线 在应用启动过程中,无损上线为应用提供服务延迟注册、服务就绪检查和服务小流量预热的保护能力 微服务治理 无损下线 在应用执行部署、停止、回滚、缩容和重置时,通过无损下线来保证应用正常关闭 微服务治理 金丝雀灰度 对于部署在 CAE 的 Spring Cloud 或 Dubbo 微服务应用,为了确保升级操作的安全性,您可以通过启用灰度发布(即金丝雀发布)的灰度规则进行小规模验证,验证通过后再全量升级 微服务治理 限流降级 CAE 支持使用微服务引擎 MSE 实现应用的限流降级,全面保障应用的可用性 运维管理 基础监控 CAE 对应用所运行设备的 CPU、负载、内存、网络和磁盘进行数据采集与分析,并以动态图的方式展示,方便实时、直观地了解应用所运行设备地状态 运维管理 应用监控 CAE 为多种语言和框架提供无侵入的应用监控能力 运维管理 一键启停 CAE 为应用提供了一键启停按钮,方便用户进行运维操作,同时还支持批量启停操作
        来自:
        帮助文档
        云应用引擎
        产品介绍
        功能特性
      • Windows云主机配置文件共享和网络磁盘映射方法
        本文介绍在局域网内部,Windows云主机之间进行文件夹共享的方法。 约束限制 有些网络服务供应商可能会限制139、445端口的访问,这会导致外部网络无法访问共享文件夹。因此,建议将Windows云主机文件共享方案仅用于内部环境中。 注意安全组的设置,放行对应的端口号。 操作步骤 1. 确保两台需要共享文件夹的Windows云主机的设置是正确的,包括以下几个方面: 确认已开启名为“TCP/IP NetBIOS Helper”的服务。你可以通过打开命令提示符窗口(cmd)并输入 services.msc,然后在服务清单中找到“TCP/IP NetBIOS Helper”服务,检查该服务的运行状态。 图1 TCP/IP NetBIOS Helper 在网络适配器设置中开启TCP/IP上的NetBIOS功能。你可以通过以下步骤完成:右键点击任务栏中的网络图标并选择“打开网络和共享中心”;然后点击“更改适配器设置”;在适配器列表中选择你的以太网连接,右键点击并选择“属性”;双击“Internet协议版本4(TCP/IPv4)”项目;点击“高级”按钮,然后切换到“WINS”选项卡;在这里,选择“启用通过TCP/IP传输NetBIOS(N)”。 图2 启用TCP/IP上的NetBIOS服务 Windows云主机的防火墙已经设置了入站访问策略139和445端口。 2. 修改网络和共享中心。 进入网络和共享中心”,点击“更改高级共享设置”。 图3 更改高级共享设置 a. 确保两台Windows云主机所属的网络应一致,例如均为“公用”或均为“专用”的网络,并勾选“启用网络发现”、“启用共享,以便可以访问网络的用户可以读取和写入公用文件夹中的文件”。 图4 启动网络发现 图5 启用共享,以便可以访问网络的用户可以读取和写入公用文件夹中的文件。 如果无法启用网络发现功能,你可以通过打开“服务”管理器(运行 services.msc命令)来解决,启动“服务”管理器。请检查网络发现功能依赖的服务是否均已启用。网络发现功能依赖的服务包括: Function Discovery Resource Publication、SSDP Discovery Resource Publication、UPnP Device Host。 b. 在“服务”管理器中,开启Workstation服务。 c. 这个服务需要依赖其他部件的支持,开启workstation服务时,必须启动依赖组件Computer Browser和Remote Desktop Configuration。 图6 开启Workstation服务 3. 在需要允许磁盘共享访问的云主机上,进行磁盘共享的设置,点击鼠标右键磁盘,然后选择“属性”选项。切换到“共享”选项卡,接着点击“高级共享”按钮。 图7 设置磁盘共享 设置“共享名”,并单击“确定”。给共享文件夹自定义一个名称。 图8 设置共享文件夹名称 4. 使用位于相同地域的另一台云主机,通过内部网络访问共享文件夹。打开“运行”窗口。输入"内网IP地址share",并点击确定,即可打开共享文件夹. 图9 访问共享文件夹 5. (可选)为了更加方便的访问共享文件夹,您可以将共享路径文件,创建一个网络驱动器映射。 a. 选择共享的文件夹,右键单击“映射网络驱动器”。 b. 创建映射网络驱动器。 图10 映射网络驱动器 c. 点击选择要映射的网络驱动器名称,接着点击“创建快捷方式”并将其发送到桌面。这样,你就能通过双击桌面上的新快捷方式,方便快速地访问共享文件夹。 图11 创建快捷方式
        来自:
        帮助文档
        弹性云主机 ECS
        故障修复
        操作系统类(Windows)
        Windows云主机配置文件共享和网络磁盘映射方法
      • 产品类
        分类 对象 使用限制 仪表盘 仪表盘 1个区域中最多可创建50个仪表盘。 1个资源集中最多可创建150个仪表盘。 仪表盘 仪表盘中的图表 1个仪表盘中最多可添加20个图表。 1个仪表盘中最多可添加30个图表。 仪表盘 仪表盘中图表可选资源、阈值规则、组件或主机的个数 1个曲线图中最多可添加100个资源,且资源可跨集群选择。 1个曲线图中最多可添加12个资源,且资源可跨集群选择。 1个数字图只能添加1个资源。 1个阈值状态图表最多可添加10个阈值规则。 1个主机状态图表最多可添加10个主机。 1个组件状态图表最多可添加10个组件。 指标 指标数据 指标数据在数据库中最多保存30天。 指标 指标总量 单租户总指标量不超过40W 小规格总指标量不超过10W 指标 指标项 资源(例如,集群、组件、主机等)被删除后,其关联的指标项在数据库中最多保存30天。 指标 维度 每个指标的维度最多为20个。 每个指标的维度最多为30个。 指标 指标查询接口 单次最大可同时查询20个指标。 指标 统计周期 最大统计周期为1小时。 指标 单次查询返回指标数据 单个指标单次查询最大返回1440个数据点。 指标 自定义指标 无限制。 指标 上报自定义指标 单次请求数据最大不能超过40KB,上报指标所带时间戳不能超前于标准UTC时间10分钟,不接收乱序指标,即有新指标上报后,旧指标上报将会失败。 指标 应用指标 每个主机的容器个数超过1000个时,ICAgent将停止采集该主机应用指标,并发送“ICAgent停止采集应用指标”告警(告警ID:34105)。 每个主机的容器个数缩减到1000个以内时,ICAgent将恢复该主机应用指标采集,并清除“ICAgent停止采集应用指标”告警。 指标 采集器资源消耗 采集器在采集基础指标时的资源消耗情况和容器、进程数等因素有关,在未运行任何业务的VM上,采集器将消耗30M内存、1% CPU。为保证采集可靠性,单节点上运行的容器个数应小于1000。 日志 单条日志大小 每条日志最大10KB,超出后ICAgent将不会采集该条日志,即该条日志会被丢弃。 日志 日志流量 每个租户在每个Region的日志流量不能超过10MB/s。如果超过10MB/s,则可能导致日志丢失。 日志 日志文件 只支持采集文本类型日志文件,不支持采集其他类型日志文件(例如二进制文件)。 日志 每个通过卷挂载日志的路径下,ICAgent最多采集20个日志文件。 日志 每个ICAgent最多采集1000个容器标准输出日志文件,容器标准输出日志只支持jsonfile类型。 日志 采集日志文件的资源消耗 日志文件采集时消耗的资源和日志量、文件个数及网络带宽、backend服务处理能力等多种因素强相关。 日志 日志丢失 采集器使用多种机制保证日志采集的可靠性,尽可能保证数据不丢失,但在如下场景可能导致日志丢失。 日志文件未使用CCE提供的logPolicy轮转策略。 日志文件轮转速度过快,如1秒轮转一次。 系统安全设置或syslog自身原因导致无法转发日志。 容器运行时间过短,例如小于30s。 单节点总日志产生速度过快,超过了单节点网络发送带宽或日志采集速度,建议单节点总日志产生速度<5M/s。 日志 日志丢弃 当单行日志长度超过10240字节时,此行会被丢弃。 日志 日志重复 当采集器被重启后,重启时间点附近可能会产生一定的数据重复。 告警 告警 您最多可查询最近15天的告警。 告警 事件 您最多可查询最近15天的事件。 应用发现规则 应用发现规则最多可创建100个。
        来自:
        帮助文档
        应用运维管理
        常见问题
        产品类
      • 管理自动备份
        本节主要介绍管理自动备份。 GeminiDB Influx支持创建数据库实例的自动备份,以保证数据可靠性。当数据库或表被恶意或误删除,可依赖实例的备份保障数据安全。 说明 GeminiDB Influx自动备份时,不会对 自动备份策略 系统按照自动备份策略,对数据库进行自动备份,备份将以压缩包的形式存储在对象存储服务中,以保证用户数据的机密性和持久性。建议您定期对数据库进行备份,当数据库故障或数据损坏时,可以通过备份恢复数据库。由于开启备份会损耗数据库读写性能,建议您选择业务低峰时间段启动自动备份。 创建数据库实例时,系统默认开启自动备份策略,默认开启的自动备份策略设置如下: 图1 开启备份策略 1.保留天数: 自动备份可保留天数默认为7天。可设置保留天数范围为1~35天。对于系统中最近一个全量备份文件,如果在新的全量备份未超过保留天数前系统会一直保留,直至新的全量备份超过保留天数后才会删除。 增加保留天数,可提升数据可靠性,请根据需要设置。 减少保留天数,会针对已有的备份文件生效,即超出备份保留天数的已有备份文件(包括全量备份和增量备份)会被自动删除,但手动备份不会自动删除,请您谨慎选择。 说明 保留天数小于7天,系统每天都会进行自动备份。 系统会自动检测已有的自动备份文件,若备份文件超过用户自定义的数据保留天数,则将其删除。 备份时间段:默认为24小时中,间隔一小时的随机的一个时间段,例如12:00~13:00 。备份时间段以GMT时区保存。如果碰到夏令时或冬令时切换,备份时间段会因时区变化而改变。 假如保留天数设置为“2”,表示超过两天的全量备份和增量备份会被自动删除。即周一产生的备份会在周三删除,同理,周二产生的备份会在周四删除。 全量备份文件自动删除策略: 已有备份文件超出备份天数后会自动删除,考虑到数据完整性,自动删除时仍然会保留最近的一次超过保留天数的全量备份,保证在保留天数内的数据可正常恢复。 假如备份周期选择“周一”、“周二”,保留天数设置为“2”,备份文件的删除策略如下: 本周一产生的全量备份,会在本周四当天自动删除。原因如下: 本周二的全量备份在本周四当天超过保留天数,按照全量备份文件自动删除策略,会保留最近的一个超过保留天数的全量备份(即本周二的备份会被保留),因此周四当天删除本周一产生的全量备份文件。 本周二产生的全量备份,会在下周三当天自动删除。原因如下: 下周一产生的全量备份在下周三超过保留天数,按照全量备份文件自动删除策略,会保留最近的一个超过保留天数的全量备份(即下周一的备份会被保留),因此下周三当天删除本周二产生的全量备份。 2.备份周期: 默认为全选。 全选:选择一周内的每一天。系统每天都会进行自动备份。 选择周期:选择一周内的一天或几天。系统会在所选时间进行自动备份。 说明 备份周期对应的备份开始时间1小时内,系统会自动触发全量备份。备份所需时间由备份数据量决定,备份数据量越大,备份所需时间越长。 增备周期:系统默认自动将每隔15分钟的离散时间点上的增量数据进行备份。您也可以根据需要设置增量备份周期,目前支持设置为5分钟,10分钟,15分钟。增备周期目前为公测阶段,如需使用,请联系客服申请开通相应的操作权限。 实例创建成功后,您可根据业务需要设置自动备份策略。系统将按照您设置的自动备份策略对数据库进行备份。 关闭自动备份策略后,自动备份将会立即停止。
        来自:
        帮助文档
        云数据库GeminiDB
        GeminiDB Influx接口
        用户指南
        数据备份
        管理自动备份
      • 概述
        DSC的数据脱敏支持静态脱敏和动态脱敏。 数据安全中心DSC的数据脱敏不仅支持静态脱敏,还支持动态脱敏。您可以对指定数据配置脱敏规则实现敏感数据静态脱敏,您还也可以使用数据动态脱敏的API接口实现数据的动态脱敏,确保敏感信息不被泄露。 静态脱敏是一种一次性完成大批量数据的变形转换处理的方式,通常用于将生产环境中的敏感数据交付至开发、测试或外发环境等情况下。它适用于开发测试、数据分享、数据研究等场景。您可以通过DSC控制台创建脱敏任务,快速实现数据库和大数据的脱敏。 脱敏算法 脱敏算法 脱敏方式说明 使用场景 Hash脱敏 使用Hash函数对敏感数据进行脱敏。支持SHA256和SHA512。 SHA256 将数据库表中字符串类型字段的内容用其SHA256的摘要值代替。 该算法执行完后,结果的长度可能超过原表中列允许的最大长度。该算法按照SHA256输出长度调整列的长度。 SHA512 将数据库表中字符串类型字段的内容用其SHA512的摘要值代替。 该算法执行完后,结果的长度可能超过原表中列允许的最大长度。该算法按照SHA512输出长度调整列的长度。 敏感类型:密钥类 适用场景:数据存储 加密脱敏 通过加密算法和加密主密钥生成一种加密配置,达到数据脱敏的效果。加密脱敏的结果中,初始向量IV为加密字符串的前16个字节,剩余部分是加密的密文。 DSC支持AES128、AES192和AES256三种加密算法。 敏感类型: 个人敏感 企业敏感 适用场景:数据存储 字符掩盖 使用指定字符或随机字符(随机字符包含随机数字、随机字母、随机数字字母三种类型)方式遮盖部分内容。 支持以下六种脱敏方式:保留前n后m、保留自x至y、遮盖前n后m、遮盖自x至y、特殊字符前遮盖、特殊字符后遮盖。 说明 敏感数据保护服务中已预置多种字符脱敏模板。 敏感类型:个人敏感 适用场景: 数据使用 数据分享 关键字替换 在指定列中查找关键词并替换。 例如,目标字符串为“张三在家吃饭”,算法执行完后映射为“张先生在家吃饭”,其中指定将“张三”替换为“张先生”。 该算法执行完后,结果的长度可能超过数据库允许的最大长度。该算法将超出部分截断后插入数据库。 敏感类型: 个人敏感 企业敏感 设备敏感 适用场景: 数据存储 数据分享 删除脱敏 将指定字段设置为Null或空值进行脱敏。 Null脱敏 将任意类型字段设置为NULL。 对于列属性设置为“NOT NULL”的字段,该算法在拷贝时将该列属性修改为“NULL”。 空值脱敏 将指定字段内容设置为空值。 具体来说,将字符型的字段设置为空串,数值类的字段设置为0,日期类的字段设置为1970,时间类的字段设置为零点。 敏感类型: 个人敏感 企业敏感 设备敏感 适用场景: 数据存储 数据分享 取整脱敏 针对日期或数字特定参数进行取整运算。 日期取整 年之后字段全部取整。示例:“20190512 > 20190101”或“20190512 08:08:08 > 20190101 00:00:00” 月之后字段全部取整。示例:“20190512 > 20190501”或“20190512 08:08:08 > 20190501 00:00:00” 日之后字段全部取整。示例:“20190512 > 20190512”或“20190512 08:08:08 > 20190512 00:00:00” 小时之后字段全部取整。示例:“08:08:08 > 08:00:00”或“20190512 08:08:08 > 20190512 08:00:00” 分钟之后字段全部取整。示例:“08:08:08 > 08:08:00”或“20190512 08:08:08 > 20190512 08:08:00” 秒之后字段全部取整。示例:“08:08:08.123 > 08:08:08.000”或“1575612731312 > 1575612731000” 数字取整 针对指定数字进行取整运算。 敏感类型:通用敏感 适用场景: 数据存储 数据使用
        来自:
        帮助文档
        数据安全中心
        用户指南
        数据隐私保护
        数据脱敏
        概述
      • 创建备份策略
        参数 说明 名称 只能由中文字符、英文字母、数字、下划线、中划线组成,且长度为264字符。 是否启用 是否启用备份策略,默认为不启用。 备份时间 设置备份任务的执行时间。此处选择的时间是细粒度至天之后的整点执行时间,用户可在一天内选择多个整点时间进行备份执行。 建议您选择业务量较少或无业务的时间进行备份,比如凌晨时间。 注意 设定的备份时间和控制台实际创建备份的时间可能存在差异。 如需要备份的资源总数据量较大,建议备份执行时间点不宜设置过于紧密。如果单个资源执行备份的时长超过两个备份执行时间间隔,则会跳过第二个备份时间点不进行备份。 例如:某主机的备份策略设置的备份时间点为:00:00,01:00,02:00。在00:00时,开始进行备份,由于此次备份增量数据较大,或者该时间段同时执行的备份任务较多,该次备份任务耗时90分钟,在01:30时完成备份。则01:00的备份时间点会跳过,在02:00时再执行备份,将只会产生两个备份。 若云主机备份策略、云硬盘自动快照策略和云硬盘备份策略的备份时间重叠,可能导致备份时间有重叠的备份任务失败而影响数据安全性。请您在设置时预留充足间隔,保障所有备份任务顺利执行。 备份周期 设置备份任务的执行日期。 按周指定备份策略在每周的周几进行备份,可以多选。 按天指定备份策略每隔几天进行一次备份,可设置1~30天。 注意 按天备份的备份时间是每个月的固定时间,例如"每3天"表示执行备份的日期为每月1日、4日、7日,以此类推。备份策略在创建当月生效。举例来说,在某月2日创建备份周期为“每3天”的备份策略,则第一次备份日期为当月4日。建议选择无业务或者业务量较少的时间对云主机进行备份。 全量备份配置 若不配置定期全量备份,默认在绑定的存储库的首次备份进行全量备份,后续进行永久增量备份。 若您开启了定期全量备份,则会按照配置频次执行全量备份。 注意 仅上线华东1、华北2资源池。 保留规则 设置备份产生后的保留规则,即哪些备份将被保留。共有三种规则,按时间、按数量、永久保存。 按时间:可选择1个月、3个月、6个月、1年的固定保留时长或根据需要自定义保留时长。取值范围为1~99999天,当到达规定时间,备份将被自动删除。 按数量:单个云硬盘执行备份策略保留的备份总份数。取值范围为1~99999个。 永久保存:备份产生后将会被永久保留,用户可以手动将其删除。 说明 当保留规则为按数量保留,保留的备份数超过预设保留数值时,系统会按照时间自动删除最早创建的备份。 当保留规则为按时间保留,保留的备份超过预设时间时,系统会自动删除所有过期的备份。删除的备份不会影响其他备份的数据恢复。 修改备份策略或将云硬盘绑定到新策略,备份副本会按照新策略的保留规则执行自动删除。 保留规则仅对备份策略自动调度生成的备份有效。手动执行备份策略生成的备份不会统计在内,且不会自动删除。如需删除,请在备份页签的备份列表中手动删除。 高级保留选项 日备份:保留指定周期内每天最新的一个备份副本。 周备份:保留指定周期内每周最新的一个备份副本。 月备份:保留指定周期内每月最新的一个备份副本。 年备份:保留指定周期内每年最新的一个备份副本。 设置高级保留选项后,指定周期内每日/周/月/年最新的一个备份副本不受保留规则的影响。例如,设置“日备份:保留3天内,每天最新的一个备份”。假设某月1日起开始执行该备份策略,在3日时,除按“保留规则”对备份副本进行保留外,1日和2日两天最后创建的备份副本不受“保留规则”的影响,不会被自动删除。 注意 仅上线华东1、华北2资源池。 企业项目 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。默认为default。
        来自:
        帮助文档
        云主机备份 CSBS
        用户指南
        策略管理
        创建备份策略
      • 支持的数据源
        数据源分类 源端数据源 对应的目的端数据源 说明 数据仓库 数据仓库服务( DWS ) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 不支持DWS物理机纳管模式。 数据仓库 数据湖探索( DLI ) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 无 Hadoop MRS HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 支持本地存储,仅MRS Hive支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: −2.8.X −3.1.X MRS HBase建议使用的版本: −2.1.X −1.3.X MRS Hive暂不支持2.x版本,建议使用的版本: −1.2.X −3.1.X Hadoop MRS HBase 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 支持本地存储,仅MRS Hive支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: −2.8.X −3.1.X MRS HBase建议使用的版本: −2.1.X −1.3.X MRS Hive暂不支持2.x版本,建议使用的版本: −1.2.X −3.1.X Hadoop MRS Hive 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 支持本地存储,仅MRS Hive支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: −2.8.X −3.1.X MRS HBase建议使用的版本: −2.1.X −1.3.X MRS Hive暂不支持2.x版本,建议使用的版本: −1.2.X −3.1.X Hadoop FusionInsight HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) FusionInsight数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 FusionInsight HDFS建议使用的版本: −2.8.X −3.1.X FusionInsight HBase建议使用的版本: −2.1.X −1.3.X FusionInsight Hive建议使用的版本: −1.2.X −3.1.X Hadoop FusionInsight HBase 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) FusionInsight数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 FusionInsight HDFS建议使用的版本: −2.8.X −3.1.X FusionInsight HBase建议使用的版本: −2.1.X −1.3.X FusionInsight Hive建议使用的版本: −1.2.X −3.1.X Hadoop FusionInsight Hive 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) FusionInsight数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 FusionInsight HDFS建议使用的版本: −2.8.X −3.1.X FusionInsight HBase建议使用的版本: −2.1.X −1.3.X FusionInsight Hive建议使用的版本: −1.2.X −3.1.X Hadoop Apache HBase 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Apache数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBas建议使用的版本: −2.1.X −1.3.X Apache Hive暂不支持2.x版本,建议使用的版本: −1.2.X −3.1.X Apache HDFS建议使用的版本: −2.8.X −3.1.X Hadoop Apache Hive 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Apache数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBas建议使用的版本: −2.1.X −1.3.X Apache Hive暂不支持2.x版本,建议使用的版本: −1.2.X −3.1.X Apache HDFS建议使用的版本: −2.8.X −3.1.X Hadoop Apache HDFS 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Apache数据源不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。 不支持ZK开启SSL场景。 Apache HBas建议使用的版本: −2.1.X −1.3.X Apache Hive暂不支持2.x版本,建议使用的版本: −1.2.X −3.1.X Apache HDFS建议使用的版本: −2.8.X −3.1.X 对象存储 对象存储服务( OBS ) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储服务之间的迁移,推荐使用对象存储迁移服务OMS。 文件系统 FTP 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 文件系统到OBS的迁移推荐使用obsutil工具。 文件系统 SFTP 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 文件系统到OBS的迁移推荐使用obsutil工具。 文件系统 HTTP Hadoop:MRS HDFS 文件系统不支持作为目的端。 FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。 文件系统到OBS的迁移推荐使用obsutil工具。 关系型数据库 云数据库MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 关系型数据库 云数据库PostgreSQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 关系型数据库 云数据库SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 关系型数据库 MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 关系型数据库 PostgreSQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 关系型数据库 Microsoft SQL Server 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 关系型数据库 Oracle 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) OLTP数据库之间的迁移推荐通过数据复制服务DRS进行迁移。 云数据库 MySQL不支持SSL模式。 Microsoft SQL Server建议使用的版本:2005以上。 关系型数据库 SAP HANA 数据仓库:数据湖探索(DLI) Hadoop:MRS Hive SAP HANA数据源存在如下约束:SAP HANA不支持作为目的端。 仅支持2.00.050.00.1592305219版本。 仅支持Generic Edition。不支持BW/4 FOR HANA。 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 关系型数据库 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 NoSQL 分布式缓存服务(DCS) Hadoop:MRS HDFS,MRS HBase,MRS Hive 除了表格存储服务( CloudTable )外,其他 NoSQL 数据源不支持作为目的端。 NoSQL Redis Hadoop:MRS HDFS,MRS HBase,MRS Hive 除了表格存储服务( CloudTable )外,其他 NoSQL 数据源不支持作为目的端。 NoSQL 文档数据库服务(DDS) Hadoop:MRS HDFS,MRS HBase,MRS Hive 除了表格存储服务( CloudTable )外,其他 NoSQL 数据源不支持作为目的端。 NoSQL MongoDB Hadoop:MRS HDFS,MRS HBase,MRS Hive 除了表格存储服务( CloudTable )外,其他 NoSQL 数据源不支持作为目的端。 NoSQL 表格存储服务(CloudTable) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 除了表格存储服务( CloudTable )外,其他 NoSQL 数据源不支持作为目的端。 NoSQL Cassandra 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 除了表格存储服务( CloudTable )外,其他 NoSQL 数据源不支持作为目的端。 消息系统 Apache Kafka 搜索:云搜索服务(CSS) 消息系统不支持作为目的端。 消息系统 DMS Kafka 搜索:云搜索服务(CSS) 消息系统不支持作为目的端。 消息系统 MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) MRS Kafka不支持作为目的端。 仅支持本地存储,不支持存算分离场景。 不支持Ranger场景。不支持ZK开启SSL场景。 搜索 Elasticsearch 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) Elasticsearch仅支持非安全模式。 搜索 云搜索服务(CSS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 导入数据到CSS推荐使用Logstash。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        支持的数据源
      • 创建Topic
        介绍分布式消息服务Kafka创建Topic的功能操作内容。 场景描述 Kafka的新建主题操作适用于以下场景: 系统扩展:当系统需要扩展以处理更多的数据时,可以通过新建主题来增加数据存储和处理的容量。管理员可以根据系统需求创建新的主题,并配置适当的分区和副本数量。 数据分流:在某些情况下,需要将特定类型或特定来源的数据分流到不同的主题中进行处理。通过新建主题,可以为这些特定的数据流创建专门的主题,并将相应的数据写入这些主题中。 数据分析和实时处理:新建主题可以用于数据分析和实时处理场景。根据不同的分析需求,可以为特定的分析任务创建新的主题,将相关的数据写入这些主题中供分析和处理。 业务需求变更:当业务需求发生变化时,可能需要创建新的主题来适应新的数据处理流程或数据存储需求。通过新建主题,可以根据新的业务需求重新组织和管理数据。 数据隔离和权限控制:有时候需要对不同的数据进行隔离和权限控制,以确保数据的安全性和私密性。通过新建主题,可以为不同的数据创建独立的主题,并设置相应的权限和访问控制规则。 总之,Kafka的新建主题操作适用于各种需要扩展、分流、分析和处理数据的场景,以及应对业务需求变更和数据隔离的需求。 操作步骤 创建Topic (1)登录管理控制台。 (2)进入Kafka管理控制台。 (3)在实例列表页在操作列,目标实例行点击“管理”。 (4)点击“Topic管理”后,点击“创建Topic”。 (5)点击“创建Topic”后,输入Topic名称、分区数等参数。 表:Topic参数说明 参数 参数说明 Topic名称 Topic名称,英文字母、数字、下划线开头,且只能由英文字母、数字、中划线、下划线组成,长度为364个字符。创建Topic后不能修改名称。 分区数 您可以设置Topic的分区数,分区数越大消费的并发度越大。该参数设置为1时,消费消息时会按照先入先出的顺序进行消费。取值范围:1100,默认值:6 副本数 每个Topic设置副本的数量,Kafka会自动在每个副本上备份数据,当其中一个Broker节点故障时数据依然是可用的,副本数越大可靠性越高。默认值:3 分区容量 每个分区的数据量的最大值,超过这个值后前面生产的消息将会被删除,保证了数据不会无限上涨挤爆磁盘。 是否同步刷盘 同步刷盘即确保消息被写入磁盘才会被认定为生产成功,该参数可提高可靠性,但是会影响性能。 消息保留时长 当消息生存时间超过该时长后,将会被清理,可用于控制存储成本。 最小同步副本数 该参数使得消息必须写入设定值个数的副本后,才能被认定生产成功,该参数可提高可靠性,但是过大会影响性能,且必须不大于副本数。 批处理消息最大值 每个批次中最大允许的消息大小,这影响了每次请求中能包含的消息总量和大小。 消息时间戳类型 CreateTime: 这是消息被生产者发送到Kafka时的时间戳,它表示消息创建的实际时间;LogAppendTime: 这是消息被Kafka日志接收并写入到日志文件时的时间戳,它表示消息写入 Kafka 的实际时间。 描述 topic的描述字段,可用作标记和说明。 标签 标签用于从不同维度对资源分类管理。 预设ACL策略 勾选提前设置好的 ACL 策略,具体 ACL 策略设置可参考用户管理页面的ACL策略管理。 消息清除策略 delete:超过消息保留时长后,消息将被删除。compact:超过消息保留时长后,消息将会被压缩而不是直接删除。 允许unclean副本选举 开启该选项后,不在ISR的副本也将可以参与leader选举。 分片滚动时间 当一个日志段的最老消息的创建时间与当前时间的差值达到该配置的值时,Kafka 会创建一个新的日志段。 分片大小 当一个日志段的大小达到该配置的值时,Kafka 会创建一个新的日志段。该配置和分片滚动时间配置可以同时使用,具体看哪个条件先行触发。 批量创建Topic (1)登录管理控制台。 (2)进入Kafka管理控制台。 (3)在实例列表页在操作列,目标实例行点击“管理”。 (4)点击“Topic管理”后、点击“导入Topic”。 (5)点击“导入Topic”后,出现如下界面,点击“下载模板”按钮,获取模板,修改后上传进行导入。 (6)点击“上传文件”完成批量创建。 模板如下。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        Topic管理
        创建Topic
      • 容器客户端上传镜像
        入门指引 容器镜像服务是一种支持容器镜像全生命周期管理的服务, 提供简单易用、安全可靠的镜像管理功能,帮助用户快速部署容器化服务。本文档将帮助您学习如何安装容器引擎以及如何使用容器引擎客户端上传镜像到容器镜像仓库。 说明 上传镜像仅适用于管理控制台操作。 图 入门流程图 准备工作 在使用容器镜像服务前,您需要完成天翼云注册并实名认证的准备工作。 本文以一个2048应用为例,讲述根据该应用编写Dockerfile文件构建镜像并上传至容器镜像服务的操作。您可以编写一个Dockerfile文件,以alpine:3.7为基础镜像,来构建一个2048容器镜像。 前提条件 已安装Docker 已获取2048应用,并将该镜像下载至本地。 构建镜像 步骤1: 使用root用户登录虚拟机。 步骤2: 创建2048demo目录。 mkdir 2048demo 步骤3 :下载2048源码至2048demo目录中。 该应用源码地址为: ,详细命令可参考< t 2048demo:v1:指定镜像的名称和版本。 .:指定Dockerfile所在目录,镜像构建命令会按照Dockerfile的内容构建镜像。 步骤7 :执行以下命令,可查看到已成功构建的2048demo镜像,版本为v1。 docker images grep 2048demo 查看已构建的2048demo镜像 创建组织 组织用于隔离镜像,并为租户下用户指定不同的权限(读取、编辑、管理)。 读取:只能下载镜像,不能上传。 编辑:下载镜像、上传镜像、编辑镜像属性以及创建触发器。 管理:下载镜像、上传镜像、删除镜像或版本、编辑镜像属性、添加授权、以及共享镜像。 步骤1 :登录容器镜像服务控制台。 步骤2 :在左侧菜单栏选择“组织管理”,单击右侧“创建组织”,在弹出的页面中填写“组织名称”,然后单击“确定”。 客户端上传镜像 docker客户端上传镜像,是指使用docker命令将镜像上传到容器镜像服务的镜像仓库。 本章节以2048demo:v1镜像为例,介绍如何上传镜像。上传成功后,在“我的镜像”中显示已上传成功的镜像。 注意 使用客户端上传镜像,镜像的每个layer大小不能超过10G。 上传镜像的Docker客户端版本必须为1.11.2及以上。 步骤1:连接容器镜像服务。 a. 登录容器镜像服务控制台。 b. 在左侧菜单栏选择“我的镜像”,单击右侧“客户端上传”,在弹出的页面中单击“生成临时docker login指令”,单击 复制docker login指令。docker login指令末尾的域名即为当前镜像仓库地址,记录该地址。 说明 此处获取的docker login指令有效期为24小时,若需要长期有效的docker login指令,请参见 获取了长期有效的登录指令后,在有效期内的临时登录指令仍然可以使用。 c.在安装Docker的机器中执行上一步复制的docker login指令。 登录成功会显示“login succeeded”。 步骤2:在安装docker的机器给2048demo:v1镜像打标签。 docker tag [镜像名称:版本名称] [镜像仓库地址]/[组织名称]/[镜像名称:版本名称] 说明 镜像名称不支持多级目录格式,例如:镜像名称可命名为“2048demo”,不可命名为“2048demo/test”。 样例如下: docker tag 2048demo:v1 {Public image address}/group/2048demo:v1 其中: {Public image address}为容器镜像服务的镜像仓库地址。获取该地址的方式:单击“我的镜像”,单击镜像列表中的镜像名称,在“Pull/Push指南”页签中的“1. 本镜像地址”下可以看到镜像仓库地址。 group为组织名称,如果该组织还没有创建,容器镜像服务会根据组织名称自动创建一个组织。 2048demo:v1 为镜像名称和版本号。 步骤3:上传镜像至镜像仓库。 docker push [镜像仓库地址]/[组织名称]/[镜像名称:版本名称] 样例如下: docker push {Public image address}/group/2048demo:v1 终端显示如下信息,表明push镜像成功。 6d6b9812c8ae: Pushed 695da0025de6: Pushed fe4c16cbf7a4: Pushed v1: digest: sha256:eb7e3bbd8e3040efa71d9c2cacfa12a8e39c6b2ccd15eac12bdc49e0b66cee63 size: 948 返回系统,在“我的镜像”页面,执行刷新操作后可查看到对应的镜像信息。
        来自:
        帮助文档
        容器镜像服务
        快速入门
        容器客户端上传镜像
      • 功能特性
        本节主要介绍OOS的功能特性。 在使用OOS之前,建议您先了解存储桶(Bucket)、对象/文件(Object)、地域(Region)、访问域名(Endpoint)、对象存储网络其他区域及等基本概念,以便更好地使用OOS的功能。OOS主要提供以下功能: 功能名称 功能描述 各区域支持 功能名称 功能描述 对象存储网络区域 港澳台及海外 其他地域 存储类别 OOS提供了标准存储、低频访问型存储两种存储类别,满足不同场景下客户对存储性能和成本的不同诉求。 √ √ √ 存储桶管理 OOS提供创建、列举、查看、删除等基本功能,帮助您便捷的进行存储桶管理。 √ √ √ 文件管理 OOS提供上传、下载、复制、移动、删除、分享、列举、搜索、断点续传、多段操作等基本功能,满足您各个场景的文件管理需求。 √ √ √ 生命周期管理 OOS可针对某个存储桶下具体前缀或者所有文件设置删除或者转储规则。 √ √ √ 静态网站托管 您可以将静态网站文件上传至OOS存储桶中,并对存储桶赋予匿名用户可读权限,然后将该存储桶配置成静态网站托管模式,以实现在OOS上托管静态网站。 √ √ √ 跨域资源共享 跨域资源共享(CORS)是由W3C标准化组织提出的一种网络浏览器的规范机制,定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin Policy,SOP)的存在,不同域之间的网站脚本和内容是无法进行交互的。OOS支持CORS规范,允许跨域请求访问OOS中的资源。 √ √ √ 防盗链 为了防止用户在OOS的数据被其他人盗链,OOS支持基于HTTP Header中表头字段Referer的防盗链方法,同时支持访问白名单和访问黑名单的设置。 √ √ √ 日志 日志功能可以帮助您记录所有object级别的操作记录, 您可以通过控制台日志功能页面“开启”/“不开启”用户日志功能,同时还可以通过设置目标存储桶和路径来指定日志的存储位置。 √ √ √ 合规保留 OOS支持WORM特性,允许用户以“不可删除、不可篡改”方式保存和使用数据。 √ √ x 清单配置 通过OOS存储桶清单功能可以获取Bucket中指定文件(Object)的大小、存储类型等信息。相对于GET Bucket (List Objects)接口,存储桶清单可以按每天或者每周以CSV的形式输出指定文件的相关信息,且不会影响存储桶的请求速率。在需要列举海量文件的场景中,推荐使用存储桶清单功能。 √ √ x 访问权限控制 OOS支持灵活的授权、鉴权机制,您可以通过以下方式控制OOS资源的访问权限: ACL:通过访问控制列表(ACL)给存储空间和文件授予访问权限,包括公共读写、公共读、私有。 Bucket Policy:通过Bucket Policy功能授权其他用户访问您的OOS资源,例如向特定用户授予访问权限,以及向匿名用户授予带特定IP条件限制的访问权限。 IAM Policy:通过IAM Policy来控制存储空间和文件的访问权限。通过用户、用户组、策略的组合,实现精准的资源权限控制。 STS临时授权:通过STS(Security Token Service)给第三方应用或用户授予一个自定义时效的临时访问凭证。 √ √ x (IAM Policy和STS暂不支持) 数据位置选择 您可以按需选择存储桶中数据的存储位置,并且支持后期修改。 √ √ x 文件速率和连接数控制 OOS支持单链接限速功能,您可以使用单链接限速功能在上传、下载、拷贝文件时进行流量和并发连接数控制,以保证您其他应用的网络带宽。 √ √ √ 获取文件元数据信息 OOS支持仅获取文件的元数据信息,而不返回数据本身,有效提升响应速度。 √ √ √ 设置HTTP头 OOS支持设置文件的HTTP头,您可以通过设置HTTP头来自定义HTTP请求的策略。例如,缓存策略、文件强制下载策略等。 √ √ √ 图片处理 您可以使用图片处理功能对存放在OOS中的图片进行瘦身、剪切、缩放、增加水印、转换格式等操作,并且可以快速获取到处理后的图片。 √ √ √ 统计分析 OOS支持查询指定存储桶的使用情况、指定数据域的使用情况。用户可以根据统计分析数据,采取对应的措施。 √ √ x(不支持Bucket维度的统计) 操作跟踪 您可以通过操作跟踪记录OOS账户的管理事件,并将产生的跟踪日志保存到指定的OOS存储桶中持久存储。 √ √ x API访问 OOS提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用,实现创建、修改、删除存储桶,上传、下载、删除文件等操作。 √ √ √ 控制台访问 OOS提供可视化控制台页面,方便用户使用。 √ √ √ 工具访问 OOS提供迁移工具以及支持第三方工具(S3Browser、S3cmd等),满足不同场景下数据迁移和数据管理需求。 √ √ √ SDK访问 OOS提供多种开发语言的SDK,帮助您轻松实现二次开发。目前支持:Java、Python、C、JS、Android、IOS、PHP、Go。 √ √ √(不支持PHP和Go)
        来自:
        帮助文档
        对象存储(经典版)I型
        产品简介
        功能特性
      • 任务管理
        本章主要介绍如何通过配置元数据采集策略新建采集任务,不同类型的数据源对应的采集策略不尽相同。元数据管理依据采集任务的配置策略,采集对应的技术元数据信息。 前提条件 元数据采集支持丰富的数据源类型,对于DWS、DLI、MRS HBase、MRS Hive、RDS(MySQL)、RDS(PostgreSQL)和ORACLE类型的数据源,首先需要在管理中心创建数据连接。 新增采集任务 1. 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择数据目录 2. 选择“元数据采集 > 任务管理”。 3. 选择采集任务所归属的目录。如果未新建目录请参见下图创建进行。 4. 单击页面上方“新建”或者右键单击任务菜单,单击“新增任务”,在弹出的对话框中,配置相关参数,新建采集任务。 新建任务有如下图所示的两个入口。 a.配置基本参数。 基本配置说明 参数名 说明 任务名称 采集任务的名称,只能包含中文、英文字母、数字和下划线,且长度不能超过62个字符。 描述 为更好的识别采集任务,此处加以描述信息。描述信息长度不能超过255个字符。 选择目录 采集任务的存储目录,可选择已创建的目录。目录创建请参见下图。 目录创建 b.配置数据源信息、 数据源信息参数说明 参数名 说明 数据源类型 从下拉列表中选择数据源类型。 说明 元数据采集支持丰富的数据源类型,对于DWS、DLI、MRS HBase、MRS Hive、RDS(MySQL)、RDS(PostgreSQL)和ORACLE类型的数据源,首先需要在管理中心创建数据连接。 OBS桶 选择待采集数据归属的OBS桶,仅数据源类型为OBS时,呈现此参数。 数据连接 所选数据连接类型中已创建数据连接,支持从下拉列表中选择。 所选数据连接类型中未创建数据连接,请单击“新建”,创建新的数据连接。 OBS路径 选择待采集数据在OBS桶中的存储路径,仅数据源类型为OBS时,呈现此参数。 采集范围 选择待采集数据的采集范围,仅数据源类型为OBS时,呈现此参数,原因是obs桶中是分目录层级的。 选择“当前文件夹”,采集任务仅采集obs路径中设置的文件夹下的对象。 选择“当前文件夹和所有子文件夹”,采集任务会采集obs路径中设置的文件夹下所有的对象,包括其子文件夹下的对象 采集内容 选择待采集数据的采集内容,仅数据源类型为OBS时,呈现此参数,原因是obs桶中是分目录层级的。 选择“文件夹和对象”,采集任务采集文件夹和对象。 选择“ 文件夹”,采集任务仅采集文件夹。 数据库和schema 仅数据源类型为DWS时,呈现此参数。 单击数据库和schema后的“设置”,设置采集任务扫描的数据库和schema范围。当不进行设置时,默认选择该数据连接下的所有数据库和schema。 单击“清除”,可对已选择的数据库和schema进行修改。 命名空间 仅数据源类型为MRS HBase时,呈现此参数。 单击命名空间后的“设置”,设置采集任务扫描的命名空间范围。当不进行设置时,默认选择该数据连接下的所有命名空间 。 单击“清除”,可对已选择的命名空间进行修改。 数据库 数据表 呈现待采集的数据库和数据表。 单击数据库后的“设置”,设置采集任务扫描的数据库范围。当不进行设置时,默认选择该数据连接下的所有数据库 。 单击数据表后的“设置”,设置采集任务扫描的数据表范围。当不进行设置时,默认选择数据库下的所有数据表。针对数据连接类型为Mysql、Oracle和DLI的数据表,支持按照正则表达式过滤需要采集的表。 当数据库和数据表均不设置时,则采集任务扫描的数据范围为该数据连接下的所有数据表。 单击“清除”,可对已选择的数据库和数据表进行修改。 选择图 仅数据源类型为GES时,呈现此参数。 选择存储了以“关系”为基础的结构数据的图。 选择集群 仅数据源类型为CSS时,呈现此参数。 选择待采集数据存储的CSS集群。 您也可以单击“新建”,创建CSS集群,创建完成后单击“刷新”,选择新建的CSS集群即可。 绑定Agent 管理CloudTable/GES/CSS类型的数据连接,请选择CDM集群提供的Agent。 用户也可以单击“新建”,创建新的Agent,创建完成后单击“刷新”,选择新的Agent即可。 索引 仅数据源类型为CSS时,呈现此参数。 用于存储Elasticsearch的数据,类似关系型数据库的Database。是一个或多个分片分组在一起的逻辑空间。 c.元数据采集参数配置 元数据采集参数说明 参数名 说明 数据源元数据已更新 当数据连接中元数据发生变化时,通过配置更新策略,设置数据目录中元数据的更新方式。 需要注意的是配置的更新、删除策略是作用在用户配置的数据库、数据表的范围内的。 勾选“仅更新数据目录中的元数据”:采集任务仅更新数据目录已经采集到的元数据。 勾选“仅添加新元数据”:采集任务仅采集数据源中存在,但是数据目录中不存在的元数据。 勾选“更新数据目录中的元数据、添加新元数据”:采集任务全量同步数据源中的元数据。 勾选“忽略更新、添加操作”:不采集数据源中的元数据。 数据源元数据已删除 当数据连接中元数据发生变化时,通过配置删除策略,设置数据目录中元数据的更新方式。 勾选“从数据目录中删除元数据”:当数据源中的某些元数据已经被删除,数据目录中也将同步删除对应的元数据。 勾选“忽略删除”:当数据源中的某些元数据已经被删除,数据目录中不同步删除对应元数据。 d.勾选数据概要时的参数配置。 数据概要参数说明 参数名 说明 基于全量数据 基于已采集的全量数据在数据目录中生成数据概要。 适用于数据量较少(100W以下)的情况。 基于采样数据,采样数量为x条 基于已采集的全量数据在数据目录中生成数据概要。 适用于数据量较多的情况。 基于全量数据,随机取x%的数据 基于已采集的全量数据在数据目录中生成数据概要。 适用于数据量较多的情况。 DLI队列 选择获取profile数据,执行DLI SQL用的队列。 勾选“采集唯一值”表示只统计已采集的表中的唯一值的个数,并在数据目录中的概要页签呈现。 数据格式 当存储在OBS桶中的数据为CSV格式,请依据数据的实际属性进行勾选是否有表头,是否自定义分隔符,是否自定义引用字符,是否自定义转义字符。 日期格式 当存储在OBS桶中的数据为CSV格式,请依据实际属性配置日期格式,以免影响数据被错误解析。 时间戳格式 当存储在OBS桶中的数据为CSV格式,请依据实际属性配置时间戳格式,以免影响数据被错误解析。 e.数据分类配置说明(仅当数据目录组件中具备数据安全功能时,支持配置该选项;当前暂不支持关联独立数据安全组件中的敏感数据识别规则)。 数据分类:勾选此项参见数据分类新建分类规则组或者选中已有分类规则组,实现自动识别数据并添加分类。 数据分级:勾选“根据数据分类结果更新数据表密级”,表示可根据匹配的分类规则中,将密级最高的设置为表的密级。 数据同步:勾选“手动同步分类结果”,表示“数据目录 > 数据目录 > 列属性”中呈现的数据列,在采集任务执行完毕后,不会自动添加分类和密级属性。需要用户前往“元数据采集 > 任务监控 ”页面,找到任务实例,选择“操作 > 更多 > 扫描结果”,查看采集任务的执行结果,确认分类结果是否匹配。勾选分类匹配字段前的复选框,单击“同步”,即可将分类和密级属性手动同步到资产。 说明 仅DWS、DLI数据源支持创建采集任务时添加数据分类,实现自动识别。另外,只可给数据表的列和OBS对象添加分类。 5. 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式。单次调度:超时时间表示如果任务运行的时长超过了设置的超时时间,任务会被认定运行失败。 周期调度的相关参数配置请参见下表:配置周期调度参数。 说明 单次调度会产生手动任务的实例,手动任务的特点是没有调度依赖,只需要手动触发即可。 周期调度会产生周期实例,周期实例是周期任务达到启用调度所配置的周期性运行时间时,被自动调度起来的实例快照。 周期任务每调度一次,便生成一个实例工作流。用户可以对已调度起的实例任务进行日常的运维管理,如查看运行状态,对任务进行终止、重跑等操作。 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。 分钟 小时 天 周 开始时间 周期调度开始的具体时间,与生效日期中的开始时期配合使用。 间隔时间 两次周期调度之间的间隔时间。 即使上一次调度任务实例未结束,从上次调度开始时间达到间隔时间后,新的调度任务实例也会开始。当前采集任务支持多实例并发运行。 结束时间 周期调度结束的具体时间,与生效日期中的结束时期配合使用。 超时时间 单次任务实例的运行超时时间,如果运行时长超过了此处设置,任务会被认定运行失败。 启动调度 勾选复选框,则表示立即启动此调度任务。 6. 单击“提交”,采集任务创建成功。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据目录
        元数据采集
        任务管理
      • 创建桶
        参数 描述 复制桶配置 可选。单击“选择源桶”后,可以在桶列表中选择一个源桶。返回后页面会自动复制源桶的以下配置信息:区域 / 数据冗余策略 / 存储类别 / 桶策略 / 服务端加密 / 归档数据直读 / 企业项目 / 标签。 选择后您仍可以根据业务情况对复制的配置信息进行部分或全部更改。 区域 桶所属区域。请选择靠近您业务的区域,以降低网络时延,提高访问速度。桶创建成功后,不支持变更区域,请谨慎选择。 桶名称 桶的名称。需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。桶创建成功后,不支持修改名称,创建时,请设置合适的桶名。OBS中桶按照DNS规范进行命名,DNS规范为全球通用规则, 其具体命名规则如下: 需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。 长度范围为3到63个字符,支持小写字母、数字、中划线()、英文句号(.)。 禁止两个英文句号(.)相邻,禁止英文句号(.)和中划线()相邻,禁止以英文句号(.)和中划线()开头或结尾。 禁止使用IP地址。 说明 当用户使用虚拟主机方式通过HTTPS协议访问OBS时,如果桶名称中包含英文句号(.),会导致证书校验失败。所以该场景下,建议桶名称不要使用英文句号(.) 数据冗余存储策略 多AZ存储:数据冗余存储至多个可用区(AZ),可靠性更高。 单AZ存储:数据仅存储在单个可用区(AZ),成本更低。 注意 请根据业务情况提前规划数据冗余存储策略,桶一旦创建成功,数据冗余存储策略就确定了,后续无法更改。 默认存储类别 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 标准存储:适用于有大量热点文件或小文件,且需要频繁访问(平均一个月多次)并快速获取数据的业务场景。 低频访问存储:适用于不频繁访问(平均一年少于12次),但需要快速获取数据的业务场景。 归档存储:适用于很少访问(平均一年一次),且对数据获取速率要求不高的业务场景。 桶策略 桶的读写权限控制。 私有:除桶ACL授权外的其他用户无桶的访问权限。 公共读:任何用户都可以对桶内对象进行读操作。 公共读写:任何用户都可以对桶内对象进行读/写/删除操作。 说明 公共读与公共读写权限可以使任何用户在不用身份认证的情况下直接读取或者读/写/删桶内的对象,为确保您的数据安全,不推荐此配置,建议您选择私有。禁止将天翼云服务用于存储和传播违法信息 归档数据直读 通过归档数据直读,您可以直接下载存储类别为归档存储的对象, 而无需提前恢复。 服务端加密 选择“SSEKMS”加密。加密密钥类型您可以选择“默认密钥”,您上传的对象将使用当前区域的默认密钥进行加密,如果您没有默认密钥,系统将会在首次上传对象时自动为您创建,您也可以选择“自定义密钥”,通过单击“创建KMS密钥”进入数据加密服务页面创建自定义密钥,然后通过KMS密钥的下拉框选中您创建的KMS密钥。若桶已开启了默认加密,上传对象可以继承桶的KMS加密特性。 WORM 开启WORM (一次写入多次读取) 功能后,当前桶支持配置保留策略,受保留策略保护的对象版本在指定时间段内不能被删除。WORM功能只能在创建桶时开启, 开启后无法关闭,当前桶默认开启多版本控制且不可关闭。 开启WORM后,需配置以下参数: 默认保留策略:可以选择在创建桶时配置WORM保留策略,也可以在桶创建后配置。 默认保留模式:默认保留策略选择“配置”时,需配置该参数。当前仅支持“合规模式”,即任何用户在保留期内都不能删除受保护的对象版本,或更改其保留模式。 默认保留期:默认保留策略选择“配置”时,需配置该参数。系统将阻止在保留期内删除受保护的对象版本。可按天或年配置,填写上限为100年。按年配置取值范围为1100,按天配置取值范围为136500。 企业项目 将桶加入到企业项目中统一管理。请先在企业项目界面完成企业项目的创建,默认为default企业项目。在企业项目界面创建企业项目,创建用户组并将用户加入到该用户组,然后将用户组添加到该企业项目。这时用户组内用户将获得用户组授权的该企业项目下的桶和对象的操作权限。 说明:仅企业帐号能够配置企业项目。 标签 可选。标签用于标识OBS中的桶,以此达到对OBS中的桶进行分类的目的。OBS以键值对的形式来描述标签,每个标签有且只有一对键值。
        来自:
        帮助文档
        对象存储 OBS
        用户指南
        管理桶
        创建桶
      • 创建无状态负载(Deployment)
        操作场景 在运行中始终不保存任何数据或状态的工作负载称为“无状态负载 Deployment”,例如nginx。您可以通过控制台或kubectl命令行创建无状态负载。 前提条件 在创建容器工作负载前,您需要存在一个可用集群。若没有可用集群 ,请参照集群管理>购买混合集群中内容进行创建。 若工作负载需要被外网访问,请确保集群中至少有一个节点已绑定弹性IP,或已购买负载均衡实例。 创建多个工作负载时,请确保容器使用的端口不冲突 ,否则部署会失败。 通过控制台创建 云容器引擎提供了多种创建工作负载的方式,您可以通过如下方式进行创建: 基于“我的镜像”创建工作负载,用户首先需要将镜像上传至容器镜像服务。 基于“共享镜像”创建工作负载,即其它租户通过“容器镜像服务”共享给您的镜像。 您希望通过YAML方式创建工作负载,您可在“创建无状态工作负载”高级设置页面单击界面右侧的“YAML创建”,通过yaml的方式创建工作负载。YAML编写完成后,可单击“创建”,直接创建工作负载。 说明: YAML文件是和界面保持同步的,您也可以通过界面和YAML互动完成工作负载的创建。例如: 界面中填写工作负载名称后,YAML文件会自动关联该名称。 界面中添加完镜像后,YAML中也会自动关联该镜像。 控制台界面右侧的“YAML创建”不支持多个YAML混合,请分别创建,否则创建时将会报错。 步骤 1 登录CCE控制台,在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”,单击“创建无状态工作负载”。参照下表设置工作负载基本信息,其中带“”标志的参数为必填参数。 工作负载基本信息 参数 参数说明 工作负载名称 新建工作负载的名称,命名必须唯一。 请输入4到63个字符的字符串,可以包含小写英文字母、数字和中划线(),并以小写英文字母开头,小写英文字母或数字结尾。 集群名称 新建工作负载所在的集群。 命名空间 在单集群中,不同命名空间中的数据彼此隔离。使应用可以共享同个集群的服务,也能够互不干扰。若您不设置命名空间,系统会默认使用default命名空间。 实例数量 工作负载的实例数量。工作负载可以有一个或多个实例,用户可以设置具体实例个数,默认为2,可自定义设置为1。 每个工作负载实例都由相同的容器部署而成。设置多个实例主要用于实现高可靠性,当某个实例故障时,工作负载还能正常运行。若使用单实例,节点异常或实例异常会导致服务异常。 时区同步 单击开启后,容器将和节点使用相同时区。 须知:时区同步功能开启后,在“数据存储 > 本地磁盘”中,将会自动添加HostPath类型的磁盘,请勿修改删除该磁盘。 工作负载描述 工作负载描述信息。 步骤 2 单击“下一步:容器设置”,添加容器。 1. 单击“添加容器”,选择需要部署的镜像。 − 我的镜像:展示了您创建的所有镜像仓库。 − 第三方镜像:CCE支持拉取第三方镜像仓库(即镜像仓库之外的镜像仓库)的镜像创建工作负载。使用第三方镜像时,请确保工作负载运行的节点可访问公网。第三方镜像的具体使用方法请参见如何使用第三方镜像。 若您的镜像仓库不需要认证,密钥认证请选择“否”,并输入“镜像名称”,单击“确定”。 若您的镜像仓库都必须经过认证(帐号密码)才能访问,您需要先创建密钥再使用第三方镜像,具体操作请参见如何使用第三方镜像。 − 共享镜像:其它租户通过“容器镜像服务”共享给您的镜像将在此处展示,您可以基于共享镜像创建工作负载。 2. 配置镜像基本信息。 工作负载是Kubernetes对一组Pod的抽象模型,用于描述业务的运行载体,一个Pod可以封装1个或多个容器,您可以单击右上方的“添加容器”,添加多个容器镜像并分别进行设置。 镜像参数说明 参数 说明 镜像名称 导入的镜像,您可单击“更换镜像”进行更换。 镜像版本 选择需要部署的镜像版本。 容器名称 容器的名称,可修改。 特权容器 特权容器是指容器里面的程序具有一定的特权。 若选中,容器将获得超级权限,例如可以操作宿主机上面的网络设备、修改内核参数等。 容器规格 CPU 配额: 申请:容器需要使用的最小CPU值,默认0.25Core。 限制:允许容器使用的CPU最大值。建议设容器配额的最高限额,避免容器资源超额导致系统故障。 内存配额: 申请:容器需要使用的内存最小值,默认512MiB。 限制:允许容器使用的内存最大值。如果超过,容器会被终止。 申请和限制的具体请参见设置容器规格。 GPU 配额:当集群中包含GPU节点时,才能设置GPU,无GPU节点不显示此选项。 容器需要使用的GPU百分比。勾选“使用”并设置百分比,例如设置为10%,表示该容器需使用GPU资源的10%。若不勾选“使用”,或设置为0,则无法使用GPU资源。 GPU 显卡:工作负载实例将被调度到GPU显卡类型为指定显卡的节点上。 若勾选“不限制”,容器将会随机使用节点中的任一显卡。您也可以勾选某个显卡,容器将使用特定显卡。 3. 生命周期:用于设置容器启动和运行时需要执行的命令。 − 启动命令:设置容器启动时执行的命令,具体请参见设置容器启动命令。 − 启动后处理:设置容器成功运行后执行的命令,详细配置方法请参见设置容器生命周期。 − 停止前处理:设置容器结束前执行的命令,通常用于删除日志/临时文件等,详细配置方法请参见设置容器生命周期。 4. 健康检查:CCE提供了存活与业务两种探针,用于判断容器和用户业务是否正常运行。详细配置方法请参见设置容器健康检查。 − 工作负载存活探针:检查容器是否正常,不正常则重启实例。 − 工作负载业务探针:检查用户业务是否就绪,不就绪则不转发流量到当前实例。 5. 环境变量:在容器中添加环境变量,一般用于通过环境变量设置参数。 在“环境变量”页签,单击“添加环境变量”,当前支持三种类型: − 手动添加:输入变量名称、变量/变量引用。 − 密钥导入:输入变量名称,选择导入的密钥名称和数据。您需要提前创建密钥,具体请参见配置中心>创建密钥。 − 配置项导入:输入变量名称,选择导入的配置项名称和数据。您需要提前创建配置项,具体请参见配置中心>创建配置项。 说明: 对于已设置的环境变量,单击环境变量后的“编辑”,可对该环境变量进行编辑。单击环境变量后的“删除”,可删除该环境变量。 6. 数据存储:给容器挂载数据存储,支持本地磁盘和云存储,适用于需持久化存储、高磁盘IO等场景。具体请参见存储管理。 7. 安全设置:对容器权限进行设置,保护系统和其他容器不受其影响。 请输入用户ID,容器将以当前用户权限运行。 8. 容器日志:设置容器日志采集策略、配置日志目录。用于收集容器日志便于统一管理和分析。详细配置请参见采集容器标准输出日志、采集容器内路径日志。 步骤 3 单击“下一步:工作负载访问设置”,单击“添加服务”,设置工作负载访问方式。 若工作负载需要和其它服务互访,或需要被公网访问,您需要添加服务,设置工作负载访问方式。 工作负载访问的方式决定了这个工作负载的网络属性,不同访问方式的工作负载可以提供不同网络能力,具体请参见网络管理>网络概述。 步骤 4 单击“下一步:高级设置”,配置更多高级策略。 升级策略:您可以指定无状态工作负载的升级方式,包括逐步“滚动升级”和整体“替换升级”。 − 滚动升级:将逐步用新版本的实例替换旧版本的实例,升级的过程中,业务流量会同时负载均衡分布到新老的实例上,因此业务不会中断。 最大无效实例数:每次滚动升级允许的最大无效实例数,如果等于实例数有断服风险(最小存活实例数 实例数 最大无效实例数)。 − 替换升级:将先把您工作负载的老版本实例删除,再安装指定的新版本,升级过程中业务会中断。 缩容策略:为工作负载删除提供一个时间窗,预留给生命周期中PreStop阶段执行命令。若超过此时间窗,进程仍未停止,该工作负载将被强制删除。 − 缩容时间窗 (s):请输入时间,该时间为工作负载停止前命令的执行时间窗(09999秒),默认30秒。 − 缩容优先级:可根据业务需要选择“优先减少新实例”或“优先减少老实例”。 迁移策略:当工作负载实例所在的节点不可用时,系统将实例重新调度到其它可用节点的时间窗。 − 迁移时间窗 (s):请输入时间,默认为300秒。 调度策略:您可以根据需要自由组合静态的全局调度策略或动态的运行时调度策略来实现自己的需求。具体请参见亲和反亲和性调度>调度策略概述。 Pod高级设置 − Pod标签:内置app标签在工作负载创建时指定,主要用于设置亲和性与反亲和性调度,暂不支持修改。您可以单击下方的“添加标签”增加标签。 说明: 客户端DNS配置:CCE集群内置DNS插件CoreDNS,为集群内的工作负载提供域名解析服务。详细使用方法请参见Kubernetes集群内置DNS配置说明。 − DNS策略: 追加域名解析配置:选择该配置后,将保留默认配置,以下“IP地址”和“搜索域”配置可能不生效。 替换域名解析配置:选择该配置后,将仅使用以下“IP地址”和“搜索域”配置进行域名解析。 继承Pod所在节点域名解析配置:将继承Pod所在节点的域名解析配置。 − IP地址:您可对自定义的域名配置域名服务器,值为一个或一组DNS IP地址,如“1.2.3.4”。 − 搜索域:定义域名的搜索域列表,当访问的域名不能被DNS解析时,会把该域名与搜索域列表中的域依次进行组合,并重新向DNS发起请求,直到域名被正确解析或者尝试完搜索域列表为止。 − 超时时间(s):查询超时时间,请自定义。 − ndots:表示域名中必须出现的“.”的个数,如果域名中的“.”的个数不小于ndots,则该域名为一个FQDN,操作系统会直接查询;如果域名中的“.”的个数小于ndots,操作系统会在搜索域中进行查询。 自定义指标监控:是指监控系统提供的一种指标收集机制,该机制允许工作负载在部署时自定义需要上报的指标名称以及获取这些指标数据的接入点信息,在应用运行时由监控系统按固定的频率访问接入点进行指标的收集。 性能管理配置:性能管理服务可协助您快速进行工作负载的问题定位与性能瓶颈分析。 步骤 5 配置完成后,单击“创建”,在创建成功页面单击“返回工作负载列表”,查看工作负载状态。 在工作负载列表中,当工作负载状态为“运行中”时,表示工作负载创建成功。工作负载状态不会实时更新,请刷新页面查看。 步骤 6 在“无状态负载 Deployment”页面的工作负载列表中,复制“外部访问地址”,可在浏览器中访问工作负载。 说明: 当工作负载访问方式设为“节点访问(NodePort)”并绑定弹性IP或设为“负载均衡 ( LoadBalancer )”时,才可以获取外部访问地址,可以访问外网。 工作负载列表页在超过500条以上时,将采用Kubernetes的分页机制进行分页。Kubernetes的分页机制:仅支持回到第一页和查看下一页,不支持查看上一页,且在分页显示的情况下,资源总数显示的是批量查询出的数目而不是真实总数。 通过kubectl命令行创建 本节以nginx工作负载为例,说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令,使弹性云主机连接集群。 操作步骤 步骤 1 登录已配置好kubectl命令的弹性云主机。 步骤 2 创建一个名为nginxdeployment.yaml的描述文件。其中,nginxdeployment.yaml为自定义名称,您可以随意命名。 vi nginxdeployment.yaml 描述文件内容如下。此处仅为示例,deployment的详细说明请参见kubernetes官方文档。 apiVersion: apps/v1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret 以上yaml字段解释如下表。 deployment字段详解 字段名称 字段说明 必选/可选 apiVersion 表示API的版本号。 说明 集群版本为1.9之前的无状态应用apiVersion格式为extensions/v1beta1,1.9之后的集群兼容extensions/v1beta1和apps/v1两种格式Version,请根据集群版本输入。 必选 kind 创建的对象类别。 必选 metadata 资源对象的元数据定义。 必选 name deployment的名称。 必选 Spec 用户对deployment的详细描述的主体部分都在spec中给出。 必选 replicas 实例数量。 必选 selector 定义Deployment可管理的容器实例。 必选 strategy 升级类型。当前支持两种升级方式,默认为滚动升级。 RollingUpdate:滚动升级。 ReplaceUpdate:替换升级。 可选 template 描述创建的容器实例详细信息。 必选 metadata 元数据。 必选 labels metadata.labels定义容器标签。 可选 spec: containers image(必选):容器镜像名称。 imagePullPolicy(可选):获取镜像的策略,可选值包括Always(每次都尝试重新下载镜像)、Never(仅使用本地镜像)、IfNotPresent(如果本地有该镜像,则使用本地镜像,本地不存在时下载镜像),默认为Always。 name(必选):容器名称。 必选 imagePullSecrets Pull镜像时使用的secret名称。若使用私有镜像,该参数为必选。 需要Pull SWR容器镜像仓库的镜像时,参数值固定为defaultsecret。 当Pull第三方镜像仓库的镜像时,需设置为创建的secret名称。 可选 步骤 3 创建deployment。 kubectl create f nginxdeployment.yaml 回显如下表示已开始创建deployment。 deployment "nginx" created 步骤 4 查看deployment状态。 kubectl get pods deployment状态显示为Running,表示deployment已创建成功。 NAME READY STATUS RESTARTS AGE icagentm9dkt 0/0 Running 0 3d nginx1212400781qv313 1/1 Running 0 3d 参数解析: NAME:pod的名称 READY:已经部署完毕的pod副本数 STATUS:状态 RESTARTS:重启次数 AGE:已经运行的时间 步骤 5 若工作负载(即deployment)需要被访问(集群内访问或节点访问),您需要设置访问方式,具体请参见8 网络管理创建对应服务。
        来自:
        帮助文档
        云容器引擎
        用户指南
        旧版UI
        工作负载
        创建无状态负载(Deployment)
      • 如何通过JDBC连接TaurusDB数据库
        本节介绍了JDBC连接的问题与处理方法。 通过JDBC连接实例的方式有无需下载SSL证书连接和用户下载SSL证书连接两种,其中使用SSL证书连接通过了加密功能,具有更高的安全性。TaurusDB新实例默认开启SSL数据加密,SSL连接实现了数据加密功能,但同时会增加网络连接响应时间和CPU消耗,请评估对业务的性能影响,根据需要进行设置。 前提条件 用户需要具备以下技能: 熟悉计算机基础知识。 了解java编程语言。 了解JDBC基础知识。 使用SSL证书连接 使用SSL证书连接实例,即通过证书校验并连接数据库。 说明 以下提供的方式不适用于数据库用户的ssltype为x509的认证方式。 执行命令查看当前用户的ssltype值: select ssltype from mysql.user where user 'xxx'; 步骤 1 下载CA证书或捆绑包。 1. 在“实例管理”页面,单击实例名称进入“基本信息”页面。 2. 在“数据库信息”区域,单击“SSL”开关右侧的。 步骤 2 使用keytool工具通过CA证书生成truststore文件。 ./keytool.exe importcert alias ­file keystore storepass 表 变量说明 变量 说明 请替换为JDK或JRE安装路径的bin目录,例如C:Program Files (x86)Javajdk­11.0.7bin。 请设置truststore文件的名称。建议设置为具有业务意义的名称,便于后续识别。 请替换为步骤1中下载解压后CA证书的名称,例如ca.pem。 请设置truststore文件的存放路径。 请设置truststore文件的密码。 代码示例(使用JDK安装路径下的keytool工具生成truststore文件): Owner: CNMySQLServer8.0.22AutoGeneratedCACertificate Issuer: CNMySQLServer8.0.22AutoGeneratedCACertificate Serial number: 1 Valid from: Thu Feb 16 11:42:43 EST 2017 until: Sun Feb 14 11:42:43 EST 2027 Certificate fingerprints: MD5: 18:87:97:37:EA:CB:0B:5A:24:AB:27:76:45:A4:78:C1 SHA1: 2B:0D:D9:69:2C:99:BF:1E:2A:25:4E:8D:2D:38:B8:70:66:47:FA:ED SHA256:C3:29:67:1B:E5:37:06:F7:A9:93:DF:C7:B3:27:5E:09:C7:FD:EE:2D:18:86:F4:9C:40:D8:26:CB:DA:95: A0:24 Signature algorithm name: SHA256withRSA Subject Public Key Algorithm: 2048bit RSA key Version: 1 Trust this certificate? [no]: y Certificate was added to keystore 步骤 3 通过JDBC连接TaurusDB数据库,代码中的JDBC链接格式如下: jdbc:mysql:// : / ? requireSSL &useSSL &verifyServerCertificate &trustCertificateKeyStoreUrlfile: &trustCertificateKeyStorePassword 表 参数说明 参数 说明 请替换为TaurusDB实例的IP地址。 说明 如果通过弹性云主机连接,“instanceip”是实例的“读写内网地址”。您可以在该实例“基本信息”页面的“网络信息”区域查看。 如果通过公网连接,“instanceip”为该实例已绑定的“弹性公网IP”,即读写公网地址。您可以在该实例““基本信息”页面的“网络信息”区域查看。 请替换为实例的数据库端口,默认为3306。说明您可以在该实例“基本信息”页面的“网络信息”区域查看。 请替换为连接实例使用的数据库名,默认为mysql。 requireSSL的值,用于设置服务端是否支持SSL连接。 取值如下: true:支持。 false:不支持。 说明 requireSSL与其他连接参数、sslMode之间的关系请参考下表。 useSSL的值,用于设置客户端是否使用SSL连接服务端。 取值如下: true:使用。 false:不使用。 说明 useSSL与其他连接参数、sslMode之间的关系请参考下表。 verifyServerCertificate的值,客户端是否校验服务端的证书。 取值如下: true:校验。 false:不校验。 说明 verifyServerCertificate与其他连接参数、sslMode之间的关系请参考下表。 请替换为步骤2中为truststore文件设置的存储路径。 password> 请替换为步骤2中为truststore文件设置的密码。 表 连接参数与SSL Mode的关系说明 useSSL requireSSL verifyServerCertificate sslMode false 不涉及 不涉及 DISABLED true false false PREFERRED true true false REQUIRED true 不涉及 true VERIFYCA 代码示例(连接TaurusDB数据库的java代码): import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; import java.sql.SQLException; public class JDBCTest { static final String USER "xxx"; static final String PASS "xxx"; public static void main(String[] args) { Connection conn null; Statement stmt null; String url "jdbc:mysql:// : / ? requireSSLtrue&useSSLtrue&verifyServerCertificatetrue&trustCertificateKeyStoreUrlfile: &trustCertificateKeyStorePassword "; try { Class.forName("com.mysql.cj.jdbc.Driver"); conn DriverManager.getConnection(url, USER, PASS); stmt conn.createStatement(); String sql "show status like 'ssl%'"; ResultSet rs stmt.executeQuery(sql); int columns rs.getMetaData().getColumnCount(); for (int i 1; i < columns; i++) { System.out.print(rs.getMetaData().getColumnName(i)); System.out.print("t"); } while (rs.next()) { System.out.println(); for (int i 1; i < columns; i++) { System.out.print(rs.getObject(i)); System.out.print("t"); } } rs.close(); stmt.close(); conn.close(); } catch (SQLException se) { se.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } finally { // release resource .... } } }
        来自:
        帮助文档
        云数据库TaurusDB
        常见问题
        数据库连接类
        如何通过JDBC连接TaurusDB数据库
      • 通过JDBC连接MySQL实例
        本页介绍如何通过JDBC连接关系数据库MySQL版。 通过JDBC连接实例的方式有无需下载SSL证书连接和用户下载SSL证书连接两种,其中使用SSL证书连接通过了加密功能,具有更高的安全性。MySQL新实例默认关闭SSL数据加密,开启SSL请参考设置SSL数据加密。SSL连接实现了数据加密功能,但同时也会增加网络连接响应时间和CPU消耗,不建议开启SSL数据加密。 前提条件 用户需要具备以下技能: 熟悉计算机基础知识。 了解JAVA编程语言。 了解JDBC基础知识。 使用SSL证书连接 说明 使用SSL证书连接实例,即通过证书校验并连接数据库。 1. 下载CA证书。 1. 在天翼云官网首页的顶部菜单栏,选择产品 > 数据库 > 关系型数据库 > 关系数据库MySQL版 ,进入关系数据库MySQL产品页面。然后单击管理控制台 ,进入TeleDB数据库概览页面。 2. 在左侧导航栏,选择MySQL > 实例管理,进入实例列表页面。然后在顶部菜单栏,选择区域和项目。 3. 在实例列表中,单击目标实例名称,进入实例基本信息页面。 4. 在网络 区域,单击SSL状态 参数右侧的下载证书。 2. 使用keytool工具通过CA证书生成truststore文件。 说明 Keytool是Java开发工具包中的一个命令行工具,可用于管理密钥和证书。 如果您的系统中安装了Java并配置了正确的环境变量,则可以直接使用keytool命令。 如果您的系统中没有安装Java,请先安装Java,然后配置环境变量再使用keytool命令。 java keytool.exe importcert alias file keystore storepass 变量 说明 : 请设置truststore文件的名称。建议设置为具有业务意义的名称,便于后续识别。 请替换为下载的CA证书的名称,ca.pem。 请设置truststore文件的存放路径。 请设置truststore文件的密码。 代码示例(使用JDK安装路径下的keytool工具生成truststore文件): java Owner: OID.0.9.2342.19200300.100.1.3Sample@chinatelecom.cn, CNca.ctyun.com, OUDataBaseGroup, OCloudCenter, LGuangZhou, STGuangDong, CCN Issuer: OID.0.9.2342.19200300.100.1.3Sample@chinatelecom.cn, CNca.ctyun.com, OUDataBaseGroup, OCloudCenter, LGuangZhou, STGuangDong, CCN Serial number: b0db70460527a4df Valid from: Tue Mar 21 15:40:12 CST 2023 until: Fri Mar 18 15:40:12 CST 2033 Certificate fingerprints: MD5: A6:9G:E5:5C:10:E4:F4:18:84:66:76:23:54:92:4C:8A SHA1: 23:66:FE:D4:83:24:58:69:B5:F6:28:04:8D:AA:FB:0E:B0:B9:F9:CB SHA256: 3F:C9:C7:EA:3F:8E:9F:6E:71:7E:5C:7A:81:44:0B:EA:51:CB:EA:7F:9C:00:3A:CF:6E:B8:64:9D:16:62:73:91 Signature algorithm name: SHA256withRSA Subject Public Key Algorithm: 2048bit RSA key Version: 3 Extensions: Trust this certificate? [no]: y Certificate was added to keystore 3. 通过JDBC连接MySQL数据库,代码中的JDBC链接格式如下: jdbc:mysql:// : / ? requireSSL &useSSL &verifyServerCertificate &trustCertificateKeyStoreUrlfile: &trustCertificateKeyStorePassword 参数 说明 请替换为实例的IP地址。 说明:如果通过弹性云主机连接,“instanceip”是实例的“内网地址”。您可以在该实例“基本信息”页面的“实例信息”区域查看连接地址。如果通过公网连接,“instanceip”为该实例已绑定的“弹性公网IP”。 请替换为实例的数据库端口,默认为13049。 说明:您可以在该实例“连接管理”页面的“连接信息”区域查看。 替换为连接实例使用的数据库名,默认为mysql。 requireSSL的值,用于设置服务端是否支持SSL连接。取值如下:true:支持。false:不支持。 useSSL的值,用于设置客户端是否使用SSL连接服务端。取值如下:true:使用。false:不使用。 verifyServerCertificate的值,客户端是否校验服务端的证书。取值如下:true:校验。false:不校验。 替换为truststore文件设置的存储路径。 替换为truststore文件设置的密码。 requireSSL参数应用说明 useSSL requireSSL verifyServerCertificate sslMode false 不涉及 不涉及 DISABLED true false false PREFERRED true true false REQUIRED true 不涉及 true VERIFYCA 代码示例(连接MySQL数据库的java代码): java import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; import java.sql.SQLException; public class JDBCConnTest { public static void main(String[] args) { Connection conn null; Statement stmt null; String url "jdbc:mysql://instanceip:13049/dbname? requireSSLtrue&useSSLtrue&verifyServerCertificatetrue&trustCertificateKeyStoreUrlfile: &trustCertificateKeyStorePassword "; try { Class.forName("com.mysql.cj.jdbc.Driver"); String USER "xxx"; String PASSOWRD "xxx"; conn DriverManager.getConnection(url, USER, PASSOWRD ); stmt conn.createStatement(); String sql "show status like 'ssl%'"; ResultSet rs stmt.executeQuery(sql); int columns rs.getMetaData().getColumnCount(); for (int i 1; i < columns; i++) { System.out.println(rs.getMetaData().getColumnName(i)); } while (rs.next()) { System.out.println(); for (int i 1; i < columns; i++) { System.out.println(rs.getObject(i)); } } rs.close(); stmt.close(); conn.close(); } catch (SQLException se) { se.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } finally { // 释放资源 } } }
        来自:
        帮助文档
        关系数据库MySQL版
        用户指南
        连接实例
        通过JDBC连接MySQL实例
      • 信任规则
        本章节为您介绍信任规则的相关内容 数据库安全网关对捕获到的数据包进行深度协议解析,精确提取其中的各项字段信息,并与预先设定的信任规则在多个维度上进行细致比对,从而判断语句是否值得信任。 若符合规则条件则放行请求,确保其顺畅无阻地通过,同时避免触发任何不必要的阻断或告警。 新增信任规则 1.在左侧菜单栏选择“规则配置 > 信任规则”进入信任规则页面。 2.单击信任规则列表上方的“新增规则”按钮,即可开始新增信任规则。 3.在弹出的新增规则窗口内,根据您业务的实际需求填写配置项后,单击“保存”。 基本信息配置表 配置项 说明 名称 设置规则名称,必须为中文字符、字母、数字、“”、“.”或“”,长度不超过64 字符。 描述 规则描述,长度不超过1000 字符。 等级 可选高风险、中风险、低风险,默认选择高风险。 适用场景 默认选择缺省场景,可根据场景进行选择。 动作 可选允许访问、命令阻断、会话阻断。 若为旁路部署模式,可选允许访问、会话阻断、IP阻断。 规则类型 可选普通规则和统计规则: 普通规则:单条审计记录匹配到普通规则,会触发生成一条普通告警(例如一条Select语句,可能会触发一条告警)。 统计规则:指定时间内多次匹配到统计规则,触发至阈值后,会触发生成一条统计规则告警(例如5 分钟内10 次Select 失败,可能会触发一条统计告警),并会为客户端生成一条普通阻断规则。 统计方式 可选频次统计和累加统计。(统计规则配置项) 频次统计:指定时间内匹配统计规则达到累计次数。 累加统计:指定时间内匹配统计规则达到累计行数。 客户端信息配置表 配置项 说明 客户端来源 访问业务类型的客户端IP或IP组。可填写多个,以逗号“,”分隔。 客户端端口 可配置多个值或区间,多个值间以逗号“,”分隔,例如:1015,20,25,3040。 客户端工具名 支持字符串匹配、正则表达式匹配、分组选择方式匹配。选择字符串,可配多个客户端工具名,使用逗号“,”分隔。 例:db2bp.exe,javaw.exe,plsqldev.exe。 操作系统用户 支持字符串匹配、正则表达式匹配、分组选择方式匹配。 选择字符串,可填多值,多个值间以逗号“,”分隔。 客户端主机名 支持字符串匹配、正则表达式匹配、分组选择方式匹配。 选择字符串,可填多值,多个值间以逗号“,”分隔。 服务端信息配置表 配置项 说明 数据库账号 支持字符串匹配、正则表达式匹配、分组选择方式匹配。 选择字符串,可填多值,多个值间以逗号“,”分隔。 数据库名(SID) 支持字符串匹配、正则表达式匹配。Oracle数据库输入SID,其他数据库输入数据库名。 选择字符串,可填多值,多个值间以逗号“,”分隔。 行为信息配置表 配置项 说明 对象组 指定规则所匹配的对象组。支持“包含任一对象则满足”或“包含所有对象才满足”。 说明 对象组、数据级别、敏感数据类型间是“或”的关系,与其他规则配置是“与”的关系。 数据级别 多选项,可选一级、二级、三级、四级、五级。 敏感数据类型 多选项,可选内置类型或后续新增的类型。 支持“包含任一类型则满足”或“包含所有类型才满足”。 操作类型 指定SQL语句的操作类型,如Select、Update、Delete等。可根据DDLDMLDCL来选择。 SQL模板ID 可填多值,多个值间以逗号“,”分隔。在审计日志详情中可查看。 SQL关键字 SQL关键字:支持以正则表达式方式匹配报文。单击 输入表达式和校验内容,单击 ,验证输入内容与SQL关键字中的正则表达式是否匹配。可单击“添加条件”可添加多个关键字。 条件运算逻辑表达式:SQL关键字填写后,此项为必填项。条件间的关系,支持与、或、非、括号运算(&:与;:或;~:非)。条件使用序号表示,即“1”表示条件1,例如:1&2,则代表有2 个SQL关键字条件,且两个关键字都要满足才能告警。 SQL长度 取值范围1B~64KB。 WHERE子句 是否包含WHERE,支持三个选项:不判断、有WHERE子句、没有WHERE子句。WHERE子句用于提取满足指定条件的SQL记录,语法如下: SELECT columnname,columnname; FROM tablename; WHERE columnname operator value; 结果信息配置表 配置项 说明 执行时长 允许配置从0 到半个小时之间的任意范围。 SQL执行时长属于此范围,则触发规则。 影响行数 允许配置从0 到999999999之间的任意范围,单位为行。 SQL操作返回的影响的行数属于此范围,则触发规则。 当且仅当该规则关联的资产配置了默认数据源时影响行数生效。 返回结果集 返回结果集:支持以正则表达式方式匹配结果集。单击“正则验证”输入结果集内容,单击“提交”,验证输入内容与返回结果关键字的正则表达式是否匹配。可通过“添加条件”添加多个条件。 条件运算逻辑表达式:条件间的关系,支持“与、或、非、括号”运算(&:与;:或;~:非),条件使用序号表示,即“1”表示条件1,例如:1&2,则代表有2 个结果集条件,且结果集中需要 同时满足这以上两个条件才能告警。 执行状态 可选全部、成功、失败,默认为全部。 执行结果描述 支持以正则表达式方式匹配。 其他信息配置表 配置项 说明 生效周期 可自定义或者选择时间组。自定义时间可选择任意时间、每天、每周或每月。 生效时间 设定具体的日期和时间范围,以确定其生效时间。规则的最终生效时间是生效周期和设定时间范围的交集。
        来自:
        帮助文档
        数据安全专区
        用户指南
        数据库安全网关操作指导
        规则配置
        信任规则
      • 备份集复制(1)
        本文为您介绍备份集复制的相关功能。 备份集复制是一种数据复制技术,它可以将备份集数据从一个存储单元复制到另一个存储单元,备份集复制页面支持备份集手动、级联复制。 手动复制:备份规则备份完成后可在备份集管理页面手动复制。 级联复制:需要提前创建备份集复制规则,备份规则中关联备份集复制规则,这样备份规则产生备份集后,可以按照备份集复制规则的时间窗口触发复制动作从而完成级联复制。 备份集复制的源和目标均可以为存储单元或存储单元组,采用备份集复制可以提升数据的安全性和可用性;可以优化恢复速度;可以将备份数据放在不同的地方,防止灾难或故障导致数据丢失;可以将备份集数据存放到不同的介质,以适应不同的存储需求和成本。 新建备份集复制 操作步骤 1. 点击左侧菜单栏 “数据定时灾备”,点击“备份集备份集复制”,进入备份集复制页面。 2. 点击“新建”按钮,进入备份集复制新建页面。 3. 基础设置各项配置如下: 名称:名称只能以英文字母开头,可包含数字,不能包含中文及特殊字符。 规则类型:支持复制、归档和跨域复制。 复制:备份至源存储单元的任务完成后且备份数据有效,此时触发备份集复制机制,备份集复制完成后,源存储单元上的备份集数据将不会被删除,直至过期删除。 归档:备份至源存储单元的任务完成后且备份数据有效,此时触发备份集归档机制,备份集归档完成后,源存储单元上的备份集数据将被过期删除,后台自动清理。 源存储单元(组):选择该备份集复制规则复制时的源存储单元(组)。 目标存储单元(组):选择该备份集复制规则复制时的目标存储单元(组)。 磁带池:目标存储单元(组)为磁带库类型时可以选择。 目标保留等级:选择该备份集复制规则在目标存储单元(组)上的保留等级(保留等级参数支持自定义修改)。 若保留等级选择和源备份集一致,则复制后的备份集过期时间源备份集的过期时间。 若保留等级选择其他保留等级,则复制后的备份集过期时间源备份集的备份完成时间+保留时间。 任务优先级:可选择任务执行的优先级,优先级越高的优先执行,默认为0,可以填0~99999。 下一次备份集复制策略:此处主要用于二级级联复制,点击选择框,将列出所有以“目标存储单元(组)”为源的备份集复制策略。如果选择多个备份集复制规则策略,Schedule Server可同时发起多个备份集复制任务。 失败重试:默认开启,指备份集复制任务失败后,若开启了重试开关,可在备份时间窗口内进行任务重试。重试次数默认为3次,重试间隔默认为30分钟,均可自定义。 禁用:默认不选用,禁用表示该规则不参与调度,不会被执行。 4. 传输设置页面各配置项如下: 传输压缩:启用传输压缩后,Client对准备传输的数据进行压缩处理,备份服务器接收数据进行解压写入备份服务器的本地存储。提供四个压缩类型选择:极速压缩,普通压缩,快速压缩,均衡压缩。此选项默认不压缩。 极速压缩:极速压缩采用lz4。压缩速度最快,压缩率比较低。 普通压缩:普通压缩采用zip,压缩速度最慢,压缩率一般情况下最高。 快速压缩:快速压缩采用snappy,压缩速度比极速压缩稍慢,但是压缩率一般比极速压缩要高。 均衡压缩:均衡压缩采用minilzo,压缩速度比极速压缩稍慢,但是压缩率一般比极速压缩要高。 注:压缩速度:极速压缩>普通压缩。压缩效果:普通压缩>极速压缩。综合考虑时间和效果,推荐使用极速压缩。 传输加密:Client在准备发送数据过程时使用加密算法加密数据,当备份服务器收到数据后将执行解密操作再写入备份服务器的本地存储。此选项默认不加密。 加密类型:提供AES、SM4加密算法。 传输链路:选择数据传输链路。 并行模式:备份集复制支持多数据流传输。 自动流数:采用默认的并行流数。 D2D、D2T默认1个并行流数。 T2D、T2T默认采用和备份相同的并行流数。 上限流数:动态指定并行流数,备份系统允许的最大并行流数,默认为4。 D2D,threadnum 页面配置下发的并行流数。 D2T,threadnum min(页面下发的并行流数,可用的目标驱动器数)。 T2D,threadnum min(页面下发的并行流数,源备份集的流数,可用的源驱动器数)。 T2T,threadnum min(页面下发的并行流数,源备份集的流数,可用的源驱动器数,可用的目标驱动器数)。 固定流数:固定指定并行流数,默认为4。 D2D,threadnum 页面配置下发的并行流数。 D2T,threadnum 页面下发的并行流数,如果目标驱动器数不足,则等待直至超时。 T2D,threadnum min(页面下发的并行流数,源备份集的流数)如果源驱动器数不足,则等待直至超时。 T2T,threadnum min(页面下发的并行流数,源备份集的流数)如果源或目标驱动器不足,则等待直至超时。 5. 备份时间窗口为备份集复制任务的时间窗口。即备份任务完成后,将根据此时间窗口进行备份集复制任务。 6. 带宽控制页面可保持默认或根据需求配置。 7. 完成配置后,点击确定完成规则新建。
        来自:
      • 创建备份策略
        本文主要介绍如何创建物理机备份策略。 1. 登录管理控制台。 2. 选择“存储 > 云服务备份”。 进入“云服务备份控制台”。 3. 在左侧导航树选择“策略”,进入“备份策略”页签,单击右上角“创建策略”,创建自定义策略。 4. 设置备份策略信息。各参数说明如下表所示。 参数 说明 备注 策略名称 设置备份策略的名称。 只能由中文字符、英文字母、数字、下划线、中划线组成,且长度小于等于64个字符。 backuppolicy 是否启用 设置备份策略的启用状态。 仅当启用备份策略后,系统才会自动备份所绑定的存储库的服务器和磁盘,并定期删除过期的备份。 备份周期 设置备份任务的执行日期。 按周 指定备份策略在每周的周几进行备份,可以多选。 按天 指定备份策略每隔几天进行一次备份,可设置130天。 每1天 当选择按天备份时,理论上第一次备份的时间为备份策略创建当天。如果当天备份策略创建的时间已经晚于设置的备份时间,那么将会等到第二个备份周期再进行第一次备份。 建议选择无业务或者业务量较少的时间进行备份。 备份时间 设置备份任务在一天之内的执行时间点。 只支持在整点进行备份,同时支持选择多个整点进行备份。 说明 设定的备份时间和控制台实际创建备份的时间可能存在差异。 如需要备份的资源总数据量较大,建议备份执行时间点不宜设置过于紧密。如果单个资源执行备份的时长超过两个备份执行时间间隔,则会跳过第二个备份时间点不进行备份。 例如:某磁盘的备份策略设置的备份时间点为00:00,01:00,02:00。在00:00时,磁盘开始进行备份,由于磁盘此次备份增量数据较大,或者该时间段同时执行的备份任务较多,该次备份任务耗时90分钟,在01:30时完成备份。则01:00的备份时间点会跳过,在02:00时再执行备份,将只会产生两个备份。 备份时间指的是客户端所在的本地时间,并不是指region所在的时区时间。 00:00,02:00 建议选择无业务或者业务量较少的时间进行备份。 备份的业务高峰期在0点到早上6点,建议客户评估业务类型,分散时间备份,如果指定的策略在业务高峰时段,可能会有一定的调度延迟。 全量备份 设置是否定期执行全量备份操作。 开启 开启全量备份可以进一步提高备份数据的安全性,全量备份所占用存储容量也会相应增加。 需要配置全量备份的备份频次,取值范围为0100。0表示每次执行备份均为全量备份。 不开启 备份策略执行增量备份。 说明 全量备份一般耗时较长,全量备份期间由于该资源处于备份中,如有针对该资源的策略或手动执行的备份任务,则会跳过,不会产生其他备份。建议您选择业务闲时再进行备份。 按数量保留备份时,全量备份配置个数需要小于保留的备份数才会进行全量备份,否则不会生成全量备份。 7次 保留规则 设置备份产生后的保留规则。 按数量 单个物理机执行备份策略保留的备份总份数。取值范围为199999个。 按时间 可选择1个月、3个月、6个月、1年的固定保留时长或根据需要自定义保留时长。取值范围为299999天。 高级配置 同时你还可以设置长期保留规则,且长期保留配置与按数量保留之间没有相互影响,共同有效: 保留日备份:取值范围为0100。 保留周备份:取值范围为0100。 保留月备份:取值范围为0100。 保留年备份:取值范围为0100。 例如:日备份,即系统会每天保留最新的一份备份。在本日内,对磁盘进行多次备份后,则只会取本日最后一个备份进行保留。如果选择保留5个日备份,则会选取最新的5个日备份进行保留。超过5个后,系统会自动删除最老的备份。同时设置日备份、周备份、月备份和年备份,则会取并集备份进行保留。即设置保留日备份为5份,周备份1份时,会保留5份备份。长期保留规则与按数量保留可以同时执行,不会产生冲突。 永久保留 说明 当保留的备份数超过设置的数值时,系统会自动删除最早创建的备份,当保留的备份超过设定的时间时,系统会自动删除所有过期的备份;系统默认每隔一天自动清理,删除的备份不会影响其他备份用于恢复。 保留的备份可能将不会在备份策略设置的时间点按时自动删除,将会存在一定的延迟。备份在到期时间后的12点至0点的时间段,进行分批删除。 保留规则仅对备份策略自动调度生成的备份有效。手动执行备份策略生成的备份不会统计在内,且不会自动删除。如需删除,请在备份页签的备份列表中手动删除。 周期性备份产生的失败的备份最多保留10个,保留时长1个月,可手动删除。 在已有某备份的情况下,若下一个备份任务正在进行中,此时删除前一个已有备份的操作将会被拦截,需要等待下一个备份任务结束后,再进行删除操作。 6个月 说明 物理机备份越频繁,保留的备份份数越多或时间越长,对数据的保护越充分,但是占用的存储库空间也越大。请根据数据的重要级别和业务量综合考虑选择,重要的数据采用较短的备份周期,且保留较多的备份份数或较长时间。 5. 设置完成后,单击“立即创建”,完成备份策略的创建。 备份策略列表中增加一条记录。
        来自:
      • 备份集复制
        本文为您介绍备份集复制的相关功能。 备份集复制是一种数据复制技术,它可以将备份集数据从一个存储单元复制到另一个存储单元,备份集复制页面支持备份集手动、级联复制。 手动复制:备份规则备份完成后可在备份集管理页面手动复制。 级联复制:需要提前创建备份集复制规则,备份规则中关联备份集复制规则,这样备份规则产生备份集后,可以按照备份集复制规则的时间窗口触发复制动作从而完成级联复制。 备份集复制的源和目标均可以为存储单元或存储单元组,采用备份集复制可以提升数据的安全性和可用性;可以优化恢复速度;可以将备份数据放在不同的地方,防止灾难或故障导致数据丢失;可以将备份集数据存放到不同的介质,以适应不同的存储需求和成本。 新建备份集复制 操作步骤 1. 点击左侧菜单栏 “数据定时灾备”,点击“备份集备份集复制”,进入备份集复制页面。 2. 点击“新建”按钮,进入备份集复制新建页面。 3. 基础设置各项配置如下: 名称:名称只能以英文字母开头,可包含数字,不能包含中文及特殊字符。 规则类型:支持复制、归档和跨域复制。 复制:备份至源存储单元的任务完成后且备份数据有效,此时触发备份集复制机制,备份集复制完成后,源存储单元上的备份集数据将不会被删除,直至过期删除。 归档:备份至源存储单元的任务完成后且备份数据有效,此时触发备份集归档机制,备份集归档完成后,源存储单元上的备份集数据将被过期删除,后台自动清理。 源存储单元(组):选择该备份集复制规则复制时的源存储单元(组)。 目标存储单元(组):选择该备份集复制规则复制时的目标存储单元(组)。 磁带池:目标存储单元(组)为磁带库类型时可以选择。 目标保留等级:选择该备份集复制规则在目标存储单元(组)上的保留等级(保留等级参数支持自定义修改)。 若保留等级选择和源备份集一致,则复制后的备份集过期时间源备份集的过期时间。 若保留等级选择其他保留等级,则复制后的备份集过期时间源备份集的备份完成时间+保留时间。 任务优先级:可选择任务执行的优先级,优先级越高的优先执行,默认为0,可以填0~99999。 下一次备份集复制策略:此处主要用于二级级联复制,点击选择框,将列出所有以“目标存储单元(组)”为源的备份集复制策略。如果选择多个备份集复制规则策略,Schedule Server可同时发起多个备份集复制任务。 失败重试:默认开启,指备份集复制任务失败后,若开启了重试开关,可在备份时间窗口内进行任务重试。重试次数默认为3次,重试间隔默认为30分钟,均可自定义。 禁用:默认不选用,禁用表示该规则不参与调度,不会被执行。 4. 传输设置页面各配置项如下: 传输压缩:启用传输压缩后,Client对准备传输的数据进行压缩处理,备份服务器接收数据进行解压写入备份服务器的本地存储。提供四个压缩类型选择:极速压缩,普通压缩,快速压缩,均衡压缩。此选项默认不压缩。 极速压缩:极速压缩采用lz4。压缩速度最快,压缩率比较低。 普通压缩:普通压缩采用zip,压缩速度最慢,压缩率一般情况下最高。 快速压缩:快速压缩采用snappy,压缩速度比极速压缩稍慢,但是压缩率一般比极速压缩要高。 均衡压缩:均衡压缩采用minilzo,压缩速度比极速压缩稍慢,但是压缩率一般比极速压缩要高。 注:压缩速度:极速压缩>普通压缩。压缩效果:普通压缩>极速压缩。综合考虑时间和效果,推荐使用极速压缩。 传输加密:Client在准备发送数据过程时使用加密算法加密数据,当备份服务器收到数据后将执行解密操作再写入备份服务器的本地存储。此选项默认不加密。 加密类型:提供AES、SM4加密算法。 传输链路:选择数据传输链路。 并行模式:备份集复制支持多数据流传输。 自动流数:采用默认的并行流数。 D2D、D2T默认1个并行流数。 T2D、T2T默认采用和备份相同的并行流数。 上限流数:动态指定并行流数,备份系统允许的最大并行流数,默认为4。 D2D,threadnum 页面配置下发的并行流数。 D2T,threadnum min(页面下发的并行流数,可用的目标驱动器数)。 T2D,threadnum min(页面下发的并行流数,源备份集的流数,可用的源驱动器数)。 T2T,threadnum min(页面下发的并行流数,源备份集的流数,可用的源驱动器数,可用的目标驱动器数)。 固定流数:固定指定并行流数,默认为4。 D2D,threadnum 页面配置下发的并行流数。 D2T,threadnum 页面下发的并行流数,如果目标驱动器数不足,则等待直至超时。 T2D,threadnum min(页面下发的并行流数,源备份集的流数)如果源驱动器数不足,则等待直至超时。 T2T,threadnum min(页面下发的并行流数,源备份集的流数)如果源或目标驱动器不足,则等待直至超时。 5. 备份时间窗口为备份集复制任务的时间窗口。即备份任务完成后,将根据此时间窗口进行备份集复制任务。 6. 带宽控制页面可保持默认或根据需求配置。 7. 完成配置后,点击确定完成规则新建。
        来自:
        帮助文档
        多活容灾服务
        用户指南
        资源同步管理
        数据定时灾备
        备份集
        备份集复制
      • 通过数据复制服务迁移数据
        数据复制服务(Data Replication Service,简称DRS)支持在多种场景下,将源库数据迁移到目标文档数据库实例,最大限度允许迁移过程中业务继续对外提供使用,有效地将业务系统中断时间和业务影响最小化,完成数据库平滑迁移工作。 前提条件 使用数据复制服务进行数据迁移时,为了提高数据迁移的稳定性和安全性,请先阅读以确保数据库实例已满足迁移条件。 迁移场景 全量迁移 该模式为数据库一次性迁移,适用于可中断业务的数据库迁移场景,全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库,包括:表、视图、存储过程等。选择 “全量迁移” 模式,建议停止对源数据库的操作,否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 全量+增量迁移 该模式为数据库持续性迁移,适用于对业务中断敏感的场景,通过全量迁移过程中完成的目标端数据库的初始化后,增量迁移阶段通过解析日志等技术,将远端和目标端数据库保持数据持续一致。选择 “全量+增量” 迁移模式,增量迁移可以在全量迁移完成的基础上实现数据的持续同步,无需中断业务,实现迁移过程中源业务和数据库继续对外提供访问。 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库(3.2、3.4、4.0版本 ECS自建Mongo数据库(3.2、3.4、4.0版本 其他云上Mongo数据库(3.2、3.4、4.0版本,不支持腾讯云3.2版本) DDS实例(3.4、4.0版本) DDS实例(3.4、4.0、4.2版本) 说明:仅支持目标库版本等于或高于源库版本。 支持的迁移对象范围 在使用DRS进行迁移时,不同类型的迁移任务,支持的迁移对象范围不同,详细情况可参考下表。 DRS会根据用户选择,在“预检查”阶段对迁移对象进行自动检查 。 支持的迁移对象 类型名称 使用须知 迁移对象范围 迁移对象选择维度:支持选择表级、库级或实例级(全部迁移)。 支持的迁移对象 : 相互关联的数据对象要确保同时迁移,避免迁移因关联对象缺失,导致迁移失败。常见的关联关系:视图引用集合、视图引用视图等。 副本集:目前只支持集合(包括验证器,是否是固定集合),索引和视图的迁移。− 集群:目前只支持集合(包括验证器,是否是固定集合),分片键,索引和视图的迁移。 单节点:目前只支持集合(包括验证器,是否是固定集合),索引和视图的迁移。− 只支持迁移用户数据和源数据库的账号信息,不支持迁移系统库(如local、admin、config等)和系统集合,如果业务数据在系统库下,则需要先将业务数据移动到用户数据库下,可以使用renameCollection命令进行移出。 不支持视图的创建语句中有正则表达式。 不支持id字段没有索引的集合。 不支持BinData()的第一个参数为2。 不支持范围分片的情况下maxKey当主键。 支持迁移的对象有如下限制: 源数据库的库名不能包含/."和空格,集合名和视图名中不能包含字符或以system.开头。 数据库账号权限要求 在使用DRS进行迁移时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时迁移任务。不同类型的迁移任务,需要的账号权限也不同,详细可参考下表进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查,并给出处理建议。 建议创建单独用于DRS任务连接的数据库帐号,避免因为数据库帐号密码修改,导致的任务连接失败。 连接源和目标数据库的帐号密码修改后,请尽快修改DRS任务中的连接信息,避免任务连接失败后自动重试,导致数据库帐号被锁定影响使用。 表 数据库账号权限 类型名称 全量迁移 全量+增量迁移 源数据库连接账号 副本集:连接源数据库的用户需要有admin库的readAnyDatabase权限。 单节点:连接源数据库的用户需要有admin库的readAnyDatabase权限。 集群:连接源数据库的用户需要有admin库的readAnyDatabase权限,有config库的read权限。 果需要迁移源数据库用户和角色信息,连接源数据库和目标库数据库的用户需要有admin数据库的系统表system.users、system.roles的read权限。 副本集:连接源数据库的用户需要有admin库的readAnyDatabase权限,有local库的read权限。 单节点:连接源数据库的用户需要有admin库的readAnyDatabase权限,有local库的read权限。 集群:连接源数据库mongos节点的用户需要有admin库的readAnyDatabase权限,有config库的read权限,连接源数据库分片节点的用户需要有admin库的readAnyDatabase权限,有local库的read权限。 如果需要迁移源数据库用户和角色信息,连接源数据库和目标库数据库的用户需要有admin数据库的系统表system.users、system.roles的read权限。 目标数据库连接账号 连接目标数据库的用户需要有admin库的dbAdminAnyDatabase权限,有目标数据库的readWrite权限。对于目标数据库是集群的实例,迁移账号还要有admin库的clusterManager权限。 连接目标数据库的用户需要有admin库的dbAdminAnyDatabase权限,有目标数据库的readWrite权限。对于目标数据库是集群的实例,迁移账号还要有admin库的clusterManager权限。 用户赋权参考语句:如连接源数据库的用户需要有admin库的readAnyDatabase权限和config库的read权限。 db.grantRolesToUser("用户名",[{role:"readAnyDatabase",db:"admin"}, {role:"read",db:"config"}]) 迁移操作 具体的迁移操作请参考《数据复制服务最佳实践》中“MongoDB数据库迁移”章节。
        来自:
        帮助文档
        文档数据库服务
        用户指南
        数据迁移
        通过数据复制服务迁移数据
      • 修改数据库参数
        参数名称 参数描述 默认值 sessiontimeout Session闲置超时时间,单位为秒,0表示关闭超时限制。取值范围:0 ~ 86400。 600 datestyle 设置日期和时间值的显示格式。 ISO,MDY failedloginattempts 输入密码错误的次数达到该参数所设置的值时,帐户将会被自动锁定。配置为0时表示不限制密码输入错误的次数。取值范围:0 ~ 1000。 10 timezone 设置显示和解释时间类型数值时使用的时区。 UTC logtimezone 设置服务器写日志文件时使用的时区。 UTC enableresourcerecord 设置是否开启资源记录功能。 当SQL语句实际执行时间大于resourcetrackduration参数值(默认为60s,可自行设置)时,监控信息将会归档。 此功能开启后会引起存储空间膨胀及轻微性能影响,不用时请关闭。 说明 归档:监控信息保存在history视图,归档在info表。归档时间为三分钟,归档后history视图中的记录会被清除。 history视图GSWLMSESSIONHISTORY,对应存入info表GSWLMSESSIONINFO。 history视图GSWLMOPERATORHISTORY,对应存入info表GSWLMOPERATORINFO。 off querydop 用户自定义的查询并行度。 配置为0表示查询并行度自适应。 配置为1表示查询不并行。 配置为2表示查询并行度为2。 0 resourcetrackcost 设置对语句进行资源监控的最小执行代价。 值为1或者执行语句代价小于10时,不进行资源监控。值大于等于0时,执行语句的代价大于等于10并且超过这个参数的设定值就会进行资源监控。 SQL语句的预估执行代价可通过执行SQL命令Explain进行查询。 100000 resourcetrackduration 设置当前会话资源监控实时视图中记录的语句执行结束后进行归档的最小执行时间,单位为秒。 值为0时,资源监控实时视图中记录的所有语句都会进行历史信息归档。 值大于0时,资源监控实时视图中记录的语句的执行时间超过设定值就会进行历史信息归档。 60 passwordeffecttime 设置帐户密码的有效时间,临近或超过有效期系统会提示用户修改密码。 取值范围为0 ~999,单位为天。设置为0表示不开启有效期限制功能。 90 updatelockwaittimeout 该参数控制并发更新同一行时单个锁的最长等待时间。当申请的锁等待时间超过设定值时,系统会报错。0表示不等待,有锁时直接报错,单位为毫秒。 120000 enableresourcetrack 设置是否开启资源监控功能。开启后可以对SQL语句进行监控。 on passwordpolicy 使用CREATE ROLE/USER命令创建或ALTER ROLE/USER命令修改DWS帐户时,该参数决定是否进行密码复杂度检查。 0表示不采用任何密码复杂度策略。 1表示采用默认密码复杂度校验策略。 1 passwordreusetime 在使用ALTER USER或ALTER ROLE修改用户密码时,该参数指定是否对新密码进行可重用天数检查。 取值范围:0~3650,单位为天。0表示不检查密码可重用天数。正数表示新密码不能为该值指定的天数内使用过的密码。 说明 修改密码时会检查配置参数passwordreusetime和passwordreusemax。 passwordreusetime和passwordreusemax只要满足其中任一个为正数时,即认为密码可重用。 passwordreusetime为0时,表示不限制密码重用天数,仅限制密码重用次数。 passwordreusetime和passwordreusemax都为0时,表示不对密码重用进行限制。 60 passwordreusemax 在使用ALTER USER或ALTER ROLE修改用户密码时,该参数指定是否对新密码进行可重用次数检查。 0表示不检查密码可重用次数。正整数表示新密码不能为该值指定的次数内使用过的密码。 说明 修改密码时会检查配置参数passwordreusetime和passwordreusemax。 passwordreusetime和passwordreusemax只要满足其中任一个为正数时,即认为密码可重用。 passwordreusemax为0时,表示不限制密码重用次数,仅限制密码重用天数。 passwordreusetime和passwordreusemax都为0时,表示不对密码重用进行限制。 0 passwordlocktime 该参数指定帐户被锁定后自动解锁的时间。 0表示密码验证失败时,自动锁定功能不生效。 正数表示帐户被锁定后,当锁定时间超过该参数设定的值时,帐户将会被自行解锁。 1 passwordencryptiontype 该字段决定采用何种加密方式对用户密码进行加密存储。 0表示采用md5方式对密码加密。 1表示采用sha256方式对密码加密,兼容postgres客户端的md5用户认证方式。 2表示采用sha256方式对密码加密。md5为不安全的加密算法,不建议用户使用。 2 passwordnotifytime 该字段决定帐户密码到期前提醒的天数。 0表示不开启提醒功能。 1~999表示帐户密码到期前提醒的天数。 7 enablestatelesspoolerreuse pooler复用切换开关,重启集群生效。 on表示使用pooler复用模式。 off表示关闭pooler复用模式。 说明 CN和DN需要同步设置。如果CN设置为off,DN设置为on时会导致集群不能正常通信,因此必须对该参数做CN和DN全局相同的配置,重启集群才会生效。 off workmem 设置内部排序操作和Hash表在开始写入临时磁盘文件之前使用的内存大小,单位为KB。 ORDER BY,DISTINCT和merge joins都要用到排序操作。 Hash表在散列连接、散列为基础的聚集、散列为基础的IN子查询处理中都要用到。 对于复杂的查询,可能会同时并发运行好几个排序或者散列操作,每个都可以使用此参数所声明的内存量,不足时会使用临时文件。同样,好几个正在运行的会话可能会同时进行排序操作。因此使用的总内存可能是workmem的好几倍。 64MB maintenanceworkmem 设置在维护性操作(比如VACUUM、CREATE INDEX、ALTER TABLE ADD FOREIGN KEY等中可使用的最大的内存,单位为KB。 说明 该参数的设置会影响VACUUM、VACUUMFULL、CLUSTER、CREATE INDEX的执行效率。 128MB enableorccache 设置是否允许在初始化cstorebuffers时,将1/4的cstorebuffers空间预留,用于缓存orc元数据。 on表示开启缓存orc元数据,可提升hdfs表的查询性能,但是会占用列存buffer资源,导致列存性能下降。 off表示关闭缓存orc元数据。 on sqlusespacelimit 限制单个SQL在单个DN上,触发落盘操作时,落盘文件的空间大小,管控的空间包括普通表、临时表及中间结果集落盘占用的空间,单位为KB。其中1表示没有限制。 1 enablebitmapscan 控制优化器对位图扫描规划类型的使用。 on表示使用。 off表示不使用。 on enablehashagg 控制优化器对Hash聚集规划类型的使用。 on表示使用。 off表示不使用。 on enablehashjoin 控制优化器对Hash连接规划类型的使用。 on表示使用。 off表示不使用。 on enableindexscan 控制优化器对索引扫描规划类型的使用。 on表示使用。 off表示不使用。 on enableindexonlyscan 控制优化器对仅索引扫描规划类型的使用。 on表示使用。 off表示不使用。 on enablemergejoin 控制优化器对融合连接规划类型的使用。 on表示使用。 off表示不使用。 off enablenestloop 控制优化器对内表全表扫描嵌套循环连接规划类型的使用。虽然不能完全消除嵌套循环连接,但关闭该参数会使优化器在存在其他方法的时候优先选择其他方法。 on表示使用。 off表示不使用。 off enableseqscan 控制优化器对顺序扫描规划类型的使用。虽然不能完全消除顺序扫描,但关闭该参数会让优化器在存在其他方法的时候优先选择其他方法。 on表示使用。 off表示不使用。 on enabletidscan 控制优化器对TID扫描规划类型的使用。 on表示使用。 off表示不使用。 on enablekillquery CASCADE模式删除用户时,会删除此用户拥有的所有对象。此参数标识是否允许在删除用户的时候,取消锁定此用户所属对象的query。 on表示允许取消锁定。 off表示不允许取消锁定。 off enablevectorengine 控制优化器对向量化执行引擎的使用。 on表示使用。 off表示不使用。 on enablebroadcast 控制优化器对stream代价估算时对broadcast分布方式的使用。 on表示使用。 off表示不使用。 on skewoption 控制是否使用优化策略。 off:关闭策略。 normal:采用激进策略。对于不确定是否出现倾斜的场景,认为存在倾斜,并进行相应优化。 lazy:采用保守策略。对于不确定是否出现倾斜场景,认为不存在倾斜,不进行优化。 normal defaultstatisticstarget 为没有用ALTER TABLE SET STATISTICS设置字段目标的表设置缺省统计目标。此参数设置为正数是代表统计信息的样本数量,为负数时,代表使用百分比的形式设置统计目标,负数转换为对应的百分比,即5代表5%。 100 enablecodegen 标识是否允许开启代码生成优化,目前代码生成使用的是LLVM优化。 on表示允许开启代码生成优化。 off表示不允许开启代码生成优化。 on autoanalyze 标识是否允许在生成计划的时候,对于没有统计信息的表进行统计信息自动收集。 on表示允许自动进行统计信息收集。 off表示不允许自动进行统计信息收集。 说明 当前不支持对外表触发autoanalyze,如需收集,需用户手动执行analyze操作。 不支持对带有ON COMMIT [DELETE ROWS l DROP]选项的临时表触发autoanalyze,如需收集,需用户手动执行analyze操作。 如果在autoanalyze某个表的过程中数据库发生异常,当数据库正常运行之后再执行语句有可能仍提示需要收集此表的统计信息。此时需要用户对该表手动执行一次analyze操作,以同步统计信息数据。 off enablesonichashagg 标识是否依据规则约束使用基于面向列的hash表设计的Hash Agg算子。 on表示在满足约束条件时使用基于面向列的hash表设计的Hash Agg算子。 off表示不使用面向列的hash表设计的Hash Agg算子。 on loghostname 默认状态下,连接消息日志只显示正在连接主机的IP地址。打开此选项同时可以记录主机名。由于解析主机名可能需要一定的时间,可能影响数据库的性能。on表示可以同时记录主机名。off表示不可以同时记录主机名。 off maxactivestatements 设置全局的最大并发数量。此参数只应用到CN,且针对一个CN上的执行作业。设置为1和0表示对最大并发数不做限制。 60 enableresourcetrack 是否开启资源监控功能。 on resourcetracklevel 设置当前会话的资源监控的等级。该参数只有当参数enableresourcetrack为on时才有效。 none,不开启资源监控功能。 query,开启query级别资源监控功能,开启此功能会把SQL语句的计划信息(类似explain输出信息)记录到top SQL中。 perf,开启perf级别资源监控功能,开启此功能会把包含实际执行时间和执行行数的计划信息(类似explain analyze输出信息)记录到top SQL中。 operator,开启operator级别资源监控功能,开启此功能不仅会把包含实际执行时间和执行行数的信息记录到top SQL中,还会把算子级别执行信息刷新到top SQL中。 query enabledynamicworkload 是否开启动态负载管理功能。 on表示打开动态负载管理功能。 off表示关闭动态负载管理功能。 on topsqlretentiontime 设置历史TopSQL中gswlmsessioninfo和gswlmoperatorinfo表中数据的保存时间。单位为天。 值为0时,表示数据永久保存。 值大于0时,表示数据能够保存的对应天数。 0 trackcounts 控制收集数据库活动的统计数据。 on表示开启收集功能。 off表示关闭收集功能。 off autovacuum 控制数据库自动清理进程(autovacuum)的启动。自动清理进程运行的前提是将trackcounts设置为on。 on表示开启数据库自动清理进程。 off表示关闭数据库自动清理进程。 off autovacuummode 该参数仅在autovacuum设置为on的场景下生效,它控制autoanalyze或autovacuum的打开情况。 analyze表示只做autoanalyze。 vacuum表示只做autovacuum。 mix表示autoanalyze和autovacuum都做。 none表示二者都不做。 mix autoanalyzetimeout 设置autoanalyze的超时时间。在对某张表做autoanalyze时,如果该表的analyze时长超过了autoanalyzetimeout,则自动取消该表此次analyze,单位为秒。 5min autovacuumiolimits 控制autovacuum进程每秒触发IO的上限。其中1表示不控制,而是使用系统默认控制组。 1 autovacuummaxworkers 设置能同时运行的自动清理线程的最大数量。其中0表示不会自动进行autovacuum。 3 autovacuumnaptime 设置两次自动清理操作的时间间隔,单位为秒。 10min autovacuumvacuumthreshold 设置触发VACUUM的阈值。当表上被删除或更新的记录数超过设定的阈值时才会对这个表执行VACUUM操作。 50 autovacuumanalyzethreshold 设置触发ANALYZE操作的阈值。当表上被删除、插入或更新的记录数超过设定的阈值时才会对这个表执行ANALYZE操作。 50 autovacuumanalyzescalefactor 设置触发一个ANALYZE时增加到autovacuumanalyzethreshold的表大小的缩放系数。 0.1 statementtimeout 当语句执行时间超过该参数设置的时间(从服务器收到命令时开始计时)时,该语句将会报错并退出执行,单位为毫秒。 0 deadlocktimeout 设置死锁超时检测时间。当申请的锁超过设定值时,系统会检查是否产生了死锁,单位为毫秒。 1s lockwaittimeout 控制单个锁的最长等待时间。当申请的锁等待时间超过设定值时,系统会报错,单位为毫秒。 20min maxqueryretrytimes 指定SQL语句出错自动重试功能的最大重跑次数(目前支持重跑的错误类型为“Connection reset by peer”、“Lock wait timeout”和“Connection timed out”等,设定为0时关闭重跑功能。 6 maxpoolsize CN的连接池与其它某个CN/DN的最大连接数。 800 enablegtmfree 大并发场景下同一时刻存在活跃事务较多,GTM下发的快照变大且快照请求变多的情况下,瓶颈卡在GTM与CN通讯的网络上。为消除该瓶颈,引入GTMFREE模式。取消CN和GTM的交互,取消CN下发GTM获取的事务信息给DN。CN只向各个DN发送query,各个DN由本地产生快照及xid等信息,开启该参数支持分布式事务读最终一致性,即分布式事务只有写外部一致性,不具有读外部一致性。 off enablefastqueryshipping 控制查询优化器是否使用分布式框架。 on enablecrccheck 设置是否允许开启数据校验功能。写入表数据时生成校验信息,读取表数据时检查校验信息。不建议用户修改设置。 on explainperfmode 此参数用来指定explain的显示格式。 normal:代表使用默认的打印格式。 pretty:代表使用DWS改进后的新显示格式。新的格式层次清晰,计划包含了plan node id,性能分析简单直接。 summary:是在pretty的基础上增加了对打印信息的分析。 run:在summary的基础上,将统计的信息输出到csv格式的文件中,以便于进一步分析。 pretty udfmemorylimit 控制每个CN、DN执行UDF时可用的最大物理内存量,单位为KB。 200MB defaulttransactionreadonly 设置每个新创建事务是否是只读状态。on表示只读状态。off表示非只读状态。 off
        来自:
        帮助文档
        数据仓库服务
        用户指南
        集群管理
        修改数据库参数
      • 翼MapReduce MRS支持的事件列表
        翼MapReduce(翼MR)是一种基于云计算平台的数据处理分析服务,打造了高可靠、高安全、易使用的运行维护平台,对外提供大容量数据的存储和分析能力,可解决用户实时性要求不高的海量数据存储和处理需求,可以独立申请和使用托管Hadoop、Spark、HBase和Hive组件。 支持的事件列表如下: 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 DBServer主备倒换 dbServerSwitchover 次要 DBServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响Hive服务正常使用,导致Hive服务不可用。 Flume Channel溢出 flumeChannelOverflow 次要 Flume Channel溢出 确认flume的channel配置是否合理,业务量是否有突增。 Flume任务无法正常写入数据到后端。 NameNode主备倒换 namenodeSwitchover 次要 NameNode主备倒换 主备倒换需要和运维人员确认是否为正常操作导致。 连续触发主备倒换可能影响HDFS服务正常使用,读写HDFS文件可能失败。 ResourceManager主备倒换 resourceManagerSwitchover 次要 ResourceManager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Yarn服务正常使用,导致任务出现异常甚至失败 JobHistoryServer主备倒换 jobHistoryServerSwitchover 次要 JobHistoryServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响MapReduce服务正常使用,导致任务日志读取异常 HMaster主备倒换 hmasterFailover 次要 HMaster主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响HBase服务正常使用 Hue发生主备切换 hueFailover 次要 Hue发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响HUE服务正常使用,导致页面无法使用等问题 Impala HaProxy服务发生主备切换 impalaHaProxyFailover 次要 Impala HaProxy服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 Impala StateStoreCatalog服务发生主备切换 impalaStateStoreCatalogFailover 次要 Impala StateStoreCatalog服务发生主备切换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响Impala服务正常使用 LdapServer主备倒换 ldapServerFailover 次要 LdapServer主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 连续触发主备倒换可能影响LdapServer服务正常使用 Loader主备倒换 loaderSwitchover 次要 Loader主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 主备倒换可能影响Loader服务正常使用 Manager主备倒换 managerSwitchover 提示 Manager主备倒换 主备倒换需要和运维人员确认是否为正常操作导致 Manager主备倒换可能导致Manager页面无法正常访问,部分监控可能出现异常数值 作业执行失败 jobRunningFailed 提示 作业执行失败 查看作业管理页面,确认失败任务是否有异常 作业执行过程出现失败 作业被终止 jobkilled 提示 作业被终止 确认任务是否人为下发终止命令 作业执行过程被终止 Oozie工作流执行失败 oozieWorkflowExecutionFailure 次要 Oozie工作流执行失败 查看Oozie日志,确认任务失败原因 Oozie工作流执行失败 Oozie定时任务执行失败 oozieScheduledJobExecutionFailure 次要 Oozie定时任务执行失败 查看Oozie日志,确认任务失败原因 Oozie定时任务执行失败 ClickHouse服务不可用 clickHouseServiceUnavailable 紧急 ClickHouse服务不可用 请参考《MapReduce服务用户指南》的“ALM45425 ClickHouse服务不可用”章节。 ClickHouse服务异常,无法通过FusionInsight Manager对ClickHouse进行集群操作,无法使用ClickHouse服务功能。 DBService服务不可用 dbServiceServiceUnavailable 紧急 DBService服务不可用 请参考《MapReduce服务用户指南》的“ALM27001 DBService服务不可用”章节。 数据库服务不可用,无法对上层服务提供数据入库、查询等功能,使部分服务异常。 DBService主备节点间心跳中断 dbServiceHeartbeatInterruption BetweentheActiveAndStandbyNodes 重要 DBService主备节点间心跳中断 请参考《MapReduce服务用户指南》的“ALM27003 DBService主备节点间心跳中断”章节。 DBService主备间心跳中断时只有一个节点提供服务,一旦该节点故障,再无法切换到备节点,就会服务不可用。 DBService主备数据不同步 dataInconsistencyBetween ActiveAndStandbyDBServices 紧急 DBService主备数据不同步 请参考《MapReduce服务用户指南》的“ALM27004 DBService主备数据不同步”章节。 主备DBServer数据不同步,如果此时主实例异常,则会出现数据丢失或者数据异常的情况。 数据库进入只读模式 databaseEnterstheReadOnlyMode 紧急 数据库进入只读模式 请参考《MapReduce服务用户指南》的“ALM27007 数据库进入只读模式”章节。 数据库进入只读模式,业务数据丢失。 Flume服务不可用 flumeServiceUnavailable 紧急 Flume服务不可用 请参考《MapReduce服务用户指南》的“ALM24000 Flume服务不可用”章节。 当Flume服务不可用时,Flume不能正常工作,数据传输业务中断。 Flume Agent异常 flumeAgentException 重要 Flume Agent异常 请参考《MapReduce服务用户指南》的“ALM24001 Flume Agent异常”章节。 产生告警的Flume Agent实例无法正常启动,定义在该实例下的数据传输任务暂时中断,对于实时数据传输,会丢失实时数据。 Flume Client连接中断 flumeClientDisconnected 重要 Flume Client连接中断 请参考《MapReduce服务用户指南》的“ALM24003 Flume Client连接中断”章节。 产生告警的Flume Client无法与Flume Server端进行通信,Flume Client端的数据无法传输到Flume Server端。 Flume读取数据异常 exceptionOccursWhenFlumeReadsData 重要 Flume读取数据异常 请参考《MapReduce服务用户指南》的“ALM24004 Flume读取数据异常”章节。 如果数据源有数据,Flume Source持续读取不到数据,数据采集会停止。 Flume传输数据异常 exceptionOccursWhenFlumeTransmitsData 重要 Flume传输数据异常 请参考《MapReduce服务用户指南》的“ALM24005 Flume传输数据异常”章节。 Flume Channel的磁盘空间使用量有继续增长的趋势,将会使数据导入到指定目的地的时间增长,当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 Flume 证书文件非法或已损坏 flumeCertificateFileIsinvalid 重要 Flume 证书文件非法或已损坏 请参考《MapReduce服务用户指南》的“ALM24010 Flume证书文件非法或已损坏”章节。 Flume证书文件已经非法或损坏,功能受限,Flume客户端将无法访问Flume服务端。 Flume 证书文件即将过期 flumeCertificateFileIsAboutToExpire 重要 Flume 证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24011 Flume证书文件即将过期”章节。 Flume证书文件即将失效,对系统目前运行无影响。 Flume 证书文件已过期 flumeCertificateFileIsExpired 重要 Flume 证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24012 Flume证书文件已过期”章节。 Flume证书文件已过期,功能受限,Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件失效 flumeMonitorServerCertificateFileIsInvalid 重要 Flume MonitorServer证书文件失效 请参考《MapReduce服务用户指南》的“ALM24013 Flume MonitorServer证书文件非法或已损坏”章节。 MonitorServer证书文件已经非法或损坏,功能受限,Flume客户端将无法访问Flume服务端。 Flume MonitorServer证书文件即将过期 flumeMonitorServerCertificate FileIsAboutToExpire 重要 Flume MonitorServer证书文件即将过期 请参考《MapReduce服务用户指南》的“ALM24014 Flume MonitorServer证书文件即将过期”章节。 MonitorServer证书文件即将失效,对系统目前运行无影响。 Flume MonitorServer证书文件已过期 flumeMonitorServerCertificateFileIsExpired 重要 Flume MonitorServer证书文件已过期 请参考《MapReduce服务用户指南》的“ALM24015 Flume MonitorServer证书文件已过期”章节。 MonitorServer证书文件已过期,功能受限,Flume客户端将无法访问Flume服务端。 HDFS服务不可用 hdfsServiceUnavailable 紧急 HDFS服务不可用 请参考《MapReduce服务用户指南》的“ALM14000 HDFS服务不可用”章节。 无法为基于HDFS服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 NameService服务异常 nameServiceServiceUnavailable 重要 NameService服务异常 请参考《MapReduce服务用户指南》的“ALM14010 NameService服务异常”章节。 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 DataNode数据目录配置不合理 datanodeDataDirectoryIsNotConfiguredProperly 重要 DataNode数据目录配置不合理 请参考《MapReduce服务用户指南》的“ALM14011 DataNode数据目录配置不合理”章节。 如果将DataNode数据目录挂载在根目录等系统关键目录,长时间运行后会将根目录写满,导致系统故障。不合理的DataNode数据目录配置,会造成HDFS的性能下降。 Journalnode数据不同步 journalnodeIsOutOfSynchronization 重要 Journalnode数据不同步 请参考《MapReduce服务用户指南》的“ALM14012 Journalnode数据不同步”章节。 当一个JournalNode节点工作状态异常时,其数据就会与其他JournalNode节点的数据不同步。如 果超过一半的JournalNode节点的数据不同步时,NameNode将无法工作,导致HDFS服务不可用。 NameNode FsImage文件更新失败 failedToUpdateTheNameNodeFsImageFile 重要 NameNode FsImage文件更新失败 请参考《MapReduce服务用户指南》的“ALM14013 NameNode FsImage文件更新失败”章节。 如果主NameNode数据目录的FsImage没有更新,则说明HDFS元数据合并功能异常,需要修复。 如不修复,HDFS在运行一段时间后,Editlog会一直增长。此时如果重启HDFS,由于要加载非常多的Editlog,会导致启动非常耗时。另外,该告警的产生也说明备NameNode功能异常,导致NameNode的HA机制失效。一旦主NameNode故障,则整个HDFS服务将不可用。 DataNode磁盘故障 datanodeDiskFault 重要 DataNode磁盘故障 请参考《MapReduce服务用户指南》的“ALM14027 DataNode磁盘故障”章节。 上报DataNode磁盘故障告警时,表示该DataNode节点上存在故障的磁盘分区,可能会导致已写入的文件丢失。 Yarn服务不可用 yarnServiceUnavailable 紧急 Yarn服务不可用 请参考《MapReduce服务用户指南》的“ALM18000 Yarn服务不可用”章节。 集群无法提供Yarn服务。用户无法执行新的application。已提交的application无法执行。 NodeManager心跳丢失 nodemanagerHeartbeatLost 重要 NodeManager心跳丢失 请参考《MapReduce服务用户指南》的“ALM18002 NodeManager心跳丢失”章节。 丢失的NodeManager节点无法提供Yarn服务。容器减少,集群性能下降。 NodeManager不健康 nodemanagerUnhealthy 重要 NodeManager不健康 请参考《MapReduce服务用户指南》的“ALM18003 NodeManager不健康”章节。 故障的NodeManager节点无法提供Yarn服务。容器减少,集群性能下降。 Yarn 任务执行超时 yarnApplicationTimeout 次要 Yarn 任务执行超时 请参考《MapReduce服务用户指南》的“ALM18020 Yarn任务执行超时”章节。 任务执行超时后的运行时间内,该告警一直存在,但任务仍继续正常执行,没有任何影响。 Mapreduce服务不可用 mapreduceServiceUnavailable 紧急 Mapreduce服务不可用 请参考《MapReduce服务用户指南》的“ALM18021 Mapreduce服务不可用”章节。 集群无法提供Mapreduce服务,如无法通过Mapreduce查看任务日志,无法提供Mapreduce服务的日志归档功能等。 Yarn队列资源不足 insufficientYarnQueueResources 次要 Yarn队列资源不足 请参考《MapReduce服务用户指南》的“ALM18022 Yarn队列资源不足”章节。 应用任务结束时间变长。新应用提交后长时间无法运行。 HBase服务不可用 hbaseServiceUnavailable 紧急 HBase服务不可用 请参考《MapReduce服务用户指南》的“ALM19000 HBase服务不可用”章节。 无法进行数据读写和创建表等操作。 HBase系统表目录或文件丢失 systemTablePathOrFileOfHBaseIsMissing 紧急 HBase系统表目录或文件丢失 请参考《MapReduce服务用户指南》的“ALM19012 HBase系统表目录或文件丢失”章节。 HBase服务重启/启动失败。 Hive服务不可用 hiveServiceUnavailable 紧急 Hive服务不可用 请参考《MapReduce服务用户指南》的“ALM16004 Hive服务不可用”章节。 Hive无法提供数据加载,查询,提取服务。 Hive数据仓库被删除 hiveDataWarehouseIsDeleted 紧急 Hive数据仓库被删除 请参考《MapReduce服务用户指南》的“ALM16045 Hive数据仓库被删除”章节。 Hive默认数据仓库被删除,会导致在默认数据仓库中创建库、创建表失败,影响业务正常使用。 Hive数据仓库权限被修改 hiveDataWarehousePermissionIsModified 紧急 Hive数据仓库权限被修改 请参考《MapReduce服务用户指南》的“ALM16046 Hive数据仓库权限被修改”章节。 Hive默认数据仓库的权限被修改,会影响当前用户,用户组,其他用户在默认数据仓库中创建库、创建表等操作的操作权限范围。会扩大或缩小权限。 HiveServer已从Zookeeper注销 hiveServerHasBeenDeregisteredFromZookeeper 重要 HiveServer已从Zookeeper注销 请参考《MapReduce服务用户指南》的“ALM16047 HiveServer已从Zookeeper注销”章节。 当无法在Zookeeper上读取到Hive的配置,将会导致HiveServer不可用。 tez或者spark库路径不存在 tezlibOrSparklibIsNotExist 重要 tez或者spark库路径不存在 请参考《MapReduce服务用户指南》的“ALM16048 Tez或者Spark库路径不存在”章节。 Tez或者Spark库路径不存在,会影响Hive on Tez,Hive on Spark的功能。 Hue服务不可用 hueServiceUnavailable 紧急 Hue服务不可用 请参考《MapReduce服务用户指南》的“ALM20002 Hue服务不可用”章节。 系统无法提供数据加载,查询,提取服务。 Impala服务不可用 impalaServiceUnavailable 紧急 Impala服务不可用 请参考《MapReduce服务用户指南》的“ALM29000 Impala服务不可用”章节。 Impala服务异常,无法通过FusionInsight Manager对Impala进行集群操作,无法使用Impala服务功能。 Kafka服务不可用 kafkaServiceUnavailable 紧急 Kafka服务不可用 请参考《MapReduce服务用户指南》的“ALM38000 Kafka服务不可用”章节。 集群无法对外提供Kafka服务,用户无法执行新的Kafka任务。 Kafka默认用户状态异常 statusOfKafkaDefaultUserIsAbnormal 紧急 Kafka默认用户状态异常 请参考《MapReduce服务用户指南》的“ALM38007 Kafka默认用户状态异常”章节。 Kafka默认用户状态异常,会影响Broker之间的元数据同步,以及Kafka与ZooKeeper之间的交互,进而影响业务生产、消费和Topic的创建、删除等操作。 Kafka数据目录状态异常 abnormalKafkaDataDirectoryStatus 重要 Kafka数据目录状态异常 请参考《MapReduce服务用户指南》的“ALM38008 Kafka数据目录状态异常”章节。 Kafka数据目录状态异常,会导致该数据目录上所有Partition的当前副本下线,多个节点同时出现数据目录状态异常,可能会导致部分Partition不可用。 存在单副本的Topic topicsWithSingleReplica 警告 存在单副本的Topic 请参考《MapReduce服务用户指南》的“ALM38010 存在单副本的Topic”章节。 单副本的Topic存在单点故障风险,当副本所在节点异常时,会直接导致Partition没有leader,影响该Topic上的业务。 KrbServer服务不可用 krbServerServiceUnavailable 紧急 KrbServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25500 KrbServer服务不可用”章节。 告警发生时,不能对集群中的组件KrbServer进行任何操作。其它组件的KrbServer认证将受影响。集群中依赖KrbServer的组件运行状态将为故障。 Kudu服务不可用 kuduServiceUnavailable 紧急 Kudu服务不可用 请参考《MapReduce服务用户指南》的“ALM29100 Kudu服务不可用”章节。 用户无法使用Kudu服务。 LdapServer服务不可用 ldapServerServiceUnavailable 紧急 LdapServer服务不可用 请参考《MapReduce服务用户指南》的“ALM25000 LdapServer服务不可用”章节。 告警发生时,不能对集群中的KrbServer和LdapServer用户进行任何操作。 例如,无法在FusionInsight Manager页面添加、删除或修改任何用户、用户组或角色,也无法修改用户密码。集群中原有的用户验证不受影响。 LdapServer数据同步异常 abnormalLdapServerDataSynchronization 紧急 LdapServer数据同步异常 请参考《MapReduce服务用户指南》的“ALM25004 LdapServer数据同步异常”章节。 LdapServer数据不一致时,有可能是Manager上的LdapServer数据损坏,也有可能是集群上的LdapServer数据损坏,此时数据损坏的LdapServer进程将无法对外提供服务,影响Manager和集群的认证功能。 Nscd服务异常 nscdServiceIsAbnormal 重要 Nscd服务异常 请参考《MapReduce服务用户指南》的“ALM25005 Nscd服务异常”章节。 nscd服务异常时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到Ldap中的数据,影响上层业务。 Sssd服务异常 sssdServiceIsAbnormal 重要 Sssd服务异常 请参考《MapReduce服务用户指南》的“ALM25006 Sssd服务异常”章节。 sssd服务异常时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到ldap中的数据,影响上层业务。 Loader服务不可用 loaderServiceUnavailable 紧急 Loader服务不可用 请参考《MapReduce服务用户指南》的“ALM23001 Loader服务不可用”章节。 如果Loader服务不可用,数据加载,导入,转换的功能也不可用。 Oozie服务不可用 oozieServiceUnavailable 紧急 Oozie服务不可用 请参考《MapReduce服务用户指南》的“ALM17003 Oozie服务不可用”章节。 无法使用Oozie服务提交作业。 Ranger服务不可用 rangerServiceUnavailable 紧急 Ranger服务不可用 请参考《MapReduce服务用户指南》的“ALM45275 Ranger服务不可用”章节。 当Ranger服务不可用时,Ranger无法正常工作,Ranger原生UI无法访问。 RangerAdmin状态异常 abnormalRangerAdminStatus 重要 RangerAdmin状态异常 请参考《MapReduce服务用户指南》的“ALM45276 RangerAdmin状态异常”章节。 当存在单个RangerAdmin状态异常时,不影响Ranger原生UI访问;当两个RangerAdmin状态异常时,Ranger原生UI无法访问,无法执行创建、修改、删除策略等操作。 Spark2x服务不可用 spark2xServiceUnavailable 紧急 Spark2x服务不可用 请参考《MapReduce服务用户指南》的“ALM43001 Spark2x服务不可用”章节。 用户提交的Spark任务执行失败。 Storm服务不可用 stormServiceUnavailable 紧急 Storm服务不可用 请参考《MapReduce服务用户指南》的“ALM26051 Storm服务不可用”章节。 集群无法对外提供Storm服务,用户无法执行新的Storm任务。 ZooKeeper服务不可用 zooKeeperServiceUnavailable 紧急 ZooKeeper服务不可用 请参考《MapReduce服务用户指南》的“ALM13000 ZooKeeper服务不可用”章节。 ZooKeeper无法为上层组件提供协调服务,依赖ZooKeeper的组件可能无法正常运行。 ZooKeeper中组件顶层目录的配额设置失败 failedToSetTheQuotaOfTopDirectoriesOf ZooKeeperComponent 次要 ZooKeeper中组件顶层目录的配额设置失败 请参考《MapReduce服务用户指南》的“ALM13005 ZooKeeper中组件顶层目录的配额设置失败”章节。 组件可以向对应的ZooKeeper顶层目录中写入大量数据,导致Zookeeper服务不可用。
        来自:
        帮助文档
        云监控服务
        用户指南
        事件监控
        事件监控支持的事件说明
        翼MapReduce MRS支持的事件列表
      • 创建节点池
        操作场景 本章介绍了如何添加运行CCE集群的节点池以及对节点池执行操作。要了解节点池的工作原理,请参阅节点池概述。 操作步骤 将节点池添加到现有集群。 步骤 1 登录CCE控制台,在左侧导航栏中选择“资源管理 > 节点池管理”。 步骤 2 单击右上角的“创建节点池”。 步骤 3 在创建节点池页面中,参照如下说明设置节点池选型参数。 计费模式: 节点池仅支持“按需计费”的计费模式,该模式将根据实际使用的资源按小时计费。 节点池创建后,自建的节点池里的资源无法转包周期,默认节点池里的资源可以转包周期。您可以把自建节点池里的资源迁移到默认的节点池里后再进行转包周期的操作。如何迁移请参见迁移节点。 当前区域:指节点实例所在的物理位置。 请就近选择靠近您业务的区域,可减少网络时延,提高访问速度;不同区域的云服务产品之间内网互不相通。 节点池名称:新建节点池的名称,默认按“集群名nodepool随机数”生成名称,可自定义。 节点类型:目前仅支持虚拟机节点。 节点购买数量:该节点池下购买的节点数量,此处设置的节点数不能超过集群管理的最大节点规模,请根据业务需求和界面提示选择,如需更多配额,请单击提交工单申请扩大配额。 弹性扩缩容: − 默认不开启。 − 单击 开启后,节点池将根据集群负载情况自动创建或删除节点池内的节点,参数设置如下: 节点数上限和节点数下限:您可设置节点数的上限和下限,保证节点数在合理的范围内伸缩。 优先级:请根据业务需要设置相应数值,该数值表示节点池之间进行弹性扩缩容的优先级,数值越大优先级越高,如设置为4的节点池比设置为1的节点池优先启动弹性伸缩。若多个节点池的值设置相同,如都设置为2,表示这几个节点池之间不分优先级,系统将按最小资源浪费原则进行伸缩。 弹性缩容冷却时间:请设置时间,单位为分钟或小时。弹性缩容冷却时间是指当前节点池扩容出的节点多长时间不能被缩容。 说明: 节点池中的节点建议不要放置重要数据,以防止节点被弹性缩容,数据无法恢复。 为保证功能的正常使用,节点池开启弹性扩缩容功能后,请务必安装autoscaler。 可用区:可用区是在同一区域下,电力、网络隔离的物理区域,可用区之间内网互通,不同可用区之间物理隔离。 请根据业务需要进行选择。节点池创建之后不支持修改可用区属性,请谨慎选择。 如果您需要提高工作负载的高可靠性,建议您选择“随机可用区”,将节点随机均匀分布在不同可用区中。 节点规格:请根据业务需求选择相应的节点规格。 须知: 为确保节点稳定性,系统会自动预留部分资源,用于运行必须的系统组件,详细请参见节点预留资源计算公式 。 操作系统:请直接选择节点对应的操作系统。 须知:重装操作系统或修改操作系统配置将导致节点不可用,请务必谨慎操作。 虚拟私有云:跟随集群,不可变更。 所在子网:通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 可选择该集群虚拟私有云下的任意子网,集群节点支持跨子网。 请确保子网下的DNS服务器可以解析对象存储服务域名,否则无法创建节点。 系统盘:设置工作节点的系统盘空间。您可以设置系统盘的规格为40GB1024GB之间的数值,缺省值为40GB。 在默认情况下,系统盘可提供高IO、超高IO两种基本的云硬盘类型。 数据盘:设置工作节点的数据盘空间。您可以设置数据盘的规格为100GB32768GB之间的数值,缺省值为100GB。数据盘可提供的云硬盘类型与系统盘一致,此处不再赘述,详情参见系统盘中的云硬盘类型介绍。 须知: 若数据盘卸载或损坏,会导致docker服务异常,最终导致节点不可用。建议不要删除该数据盘。 登录方式:支持密码和密钥对。 −选择“密码”:用户名默认为“root”,请输入登录节点的密码,并确认密码。 登录节点时需要使用该密码,请妥善管理密码,系统无法获取您设置的密码内容。 −选择“密钥对”:在选项框中选择用于登录本节点的密钥对,并单击勾选确认信息。 密钥对用于远程登录节点时的身份认证。若没有密钥对,可单击选项框右侧的“创建密钥对”来新建,创建密钥对操作步骤请参见。 步骤 4 云服务器高级设置:(可选),单击 展开后可对节点进行如下高级功能配置: 安装前执行脚本:请输入脚本命令,大小限制为0~1000字符。 脚本将在Kubernetes软件安装前执行,可能导致Kubernetes软件无法正常安装,需谨慎使用。常用于格式化数据盘等场景。 安装后执行脚本:请输入脚本命令,大小限制为0~1000字符。 脚本将在Kubernetes软件安装后执行,不影响Kubernetes软件安装。常用于修改Docker配置参数等场景。 步骤 5 Kubernetes高级设置:(可选),单击 展开后可对集群进行如下高级功能配置: 最大实例数:节点最大允许创建的实例数(Pod),该数量包含系统默认实例,取值范围为16~128。 该设置的目的为防止节点因管理过多实例而负载过重,请根据您的业务需要进行设置。 Taints:默认为空。支持给该节点池扩容出来的节点加Taints来设置反亲和性,每个节点池最多配置10条Taints,每条Taints包含以下3个参数: −Key:必须以字母或数字开头,可以包含字母、数字、连字符、下划线和点,最长63个字符;另外可以使用DNS子域作为前缀。 −Value:必须以字符或数字开头,可以包含字母、数字、连字符、下划线和点,最长63个字符。 −Effect:只可选NoSchedule,PreferNoSchedule或NoExecute。 须知: Taints配置时需要配合Pod的toleration使用,否则可能导致扩容失败或者Pod无法调度到扩容节点。 节点池创建后可单击列表项的“编辑”修改配置,修改后将同步到节点池下的已有节点。 K8S标签:K8S标签是附加到Kubernetes 对象(比如Pods)上的键值对,旨在用于指定对用户有意义且相关的对象的标识属性,但不直接对核心系统有语义含义。 详细请参见Labels and Selectors。 单容器可用数据空间:该参数用于设置一个容器可用的数据空间大小,设置范围为10G到80G。如果设置的参数超过数据盘中Docker可占用的实际数据空间(由数据盘设置项中的资源分配自定义参数指定,默认为数据盘大小的90%),将以Docker的实际空间大小为主。该参数仅在v1.13.10r0及以上版本的集群中显示。 步骤 6 (可选)您可以单击左侧的 按钮添加多个节点池,在按钮下方可以查看您可用的节点池配额数量。 步骤 7 完成配置后,单击“下一步:配置确认”,确认所设置的服务选型参数、规格和费用等信息。 步骤 8 确认规格和费用后,单击“提交”,节点池开始创建。 节点池创建预计需要610分钟,您可以单击“返回节点池管理”进行其他操作或单击“查看节点池事件列表”后查看节点池详情。待节点池状态为“正常”,表示节点池创建成功。 查看创建的节点池 步骤 1 登录CCE控制台,在左侧导航栏中选择“资源管理 > 节点池管理”。 步骤 2 在节点池管理页面中,单击右上角的集群选择框,选择集群后可显示当前集群下所有的节点池,并可查看每个节点池的节点类型、节点规格、弹性扩缩容状态和操作系统等。 须知: 节点池功能上线后,会在每个集群中创建一个默认节点池“DefaultPool”,该节点池不能被编辑、删除或迁移,集群中原有的节点及节点池外创建的节点均会显示在默认节点池“DefaultPool”中。 单击默认节点池“DefaultPool”中“节点”数据框,可查看DefaultPool中的节点列表。 步骤 3 单击右上角的Autoscaler状态选择框,可筛选全部、已启用、未启用Autoscaler功能的节点池。 步骤 4 在节点池列表中,单击节点池的名称,在节点池详情页面,可查看节点池的基本信息、ECS高级设置、Kubernetes高级设置、节点列表等信息。
        来自:
        帮助文档
        云容器引擎
        用户指南
        旧版UI
        节点池管理
        创建节点池
      • 产品功能
        媒体存储为客户提供丰富的数据管理、数据处理、数据安全的产品能力。 块存储 产品能力 功能说明 接入方式 支持iSCSI接入方式。 块空间管理 支持通过控制台管理块设备资源,包括创建、扩容、删除等操作。 鉴权管理 可通过控制台管理文件资源访问权限,接入使用资源时进行鉴权。 文件存储 产品能力 功能说明 接入方式 提供NFS、CIFS两种类型接口,支持NFSV4.0、SMB2、SMB3协议。 文件空间管理 支持通过控制台管理文件资源,包括创建、扩容、删除等操作。 鉴权管理 可通过控制台管理文件资源访问权限,接入使用资源时进行鉴权。 对象存储 产品能力 功能说明 对象管理 支持文件的上传/分片上传/追加上传、下载、删除、复制、前缀搜索、移动功能、追加上传支持整个对象内容MD5计算、可自定义元数据。 对象标签 通过对象(Object)标签功能,对Object进行分类管理,比如列举指定标签的Object、对指定标签的Object配置统一的生命周期。 跨域资源共享 通过桶上配置跨域规则,允许或禁止某些网站的跨域请求。 生命周期 对象存储支持按照过期天数等灵活的策略配置生命周期管理机制。 镜像回源 通过镜像回源功能,当请求者向存储桶(Bucket)请求不存在的文件时,从回源规则设置的源站获取目标文件。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 桶清单 通过桶清单功能,定时生成桶内指定文件(Object)的数量、大小、存储类型、加密状态的清单信息,并保存到指定Bucket。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 桶标签 通过存储桶(Bucket)的标签功能, 对 Bucket 进行分类管理,比如列举带有指定标签的Bucket。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 文件解压缩 通过压缩包解压规则,当上传满足条件的压缩包文件时,服务将自动解压该压缩包后,将文件保存到Bucket中。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 访问权限 支持基于资源的访问权限策略,包括Bucket ACL、Object ACL、 Bucket Policy。 防盗链 可通过是否允许空Referer或黑白名单设置,校验访问账号内资源操作的合法性。 主子账号 可基于子账号进行资源访问与管理授权。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 STS角色管理 支持STS临时凭证,可对其他用户颁发临时凭证,无需透露owner的AKSK。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 合规保留 媒体存储以“不可删除、不可篡改”方式保存和使用数据。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 版本控制 针对Object的覆盖和删除操作将会以版本的形式保存下来,可将 Object 恢复至指定的历史版本。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 服务端加密 媒体存储可对收到的文件进行加密,再保存加密后的文件,用户下载文件时,服务自动将加密文件解密后返回给用户。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 存储桶复制 支持跨不同存储区域或同一存储区域的Bucket 自动、异步(近实时)复制对象(Object)。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 数据迁移 支持多种数据迁移能力,可以满足客户多种数据迁移场景,包括存储桶迁移、跨账号迁移、跨云数据迁移。 事件通知 当资源发生变动时,用户可及时接收通知消息。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 日志存储 通过日志存储功能,将操作日志按照固定的命名规则,以5分钟为单位写入指定的Bucket。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 告警管理 支持告警规则管理,包括添加告警规则,管理告警规则,查看告警消息等。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 自定义域名 通过自定义域名绑定功能,可以通过已绑定的自定义域名访问存储桶内的文件。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 操作日志 支持查询指定时间内在控制台操作的相关日志。 实时日志查询 支持查询通过API或SDK操作对象存储的相关日志。目前实时日志查询为内测功能,如需使用,可联系客户经理或提交工单申请。 用量统计 统计并支持查询存储空间、流量与请求次数用量信息。 图片处理 提供的产品自带图片处理功能,包括基础图片转换、水印功能、原图保护、视频截帧、数据处理持久化保存等功能。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 视频截帧 对象存储内置提供视频截帧功能,可截取出H264视频文件中的指定位置内容的对应图片。 仅部分资源池支持,具体可参考:资源池与区域节点。如需使用,可联系客户经理或提交工单申请。 工具指南 提供图形化客户端工具以及网络测速工具。 API接口 提供REST形式的访问接口,可直接调用相应接口完成操作。 SDK 对媒体存储提供的REST API进行的封装,可直接调用SDK提供的接口函数进行使用。
        来自:
        帮助文档
        媒体存储
        产品介绍
        产品功能
      • 天翼云AOne应用权限申请与使用情况说明
        天翼云AOne iOS版本应用权限列表 权限名称 权限说明 具体场景或目的 NSCameraUsageDescription 摄像头访问权限 IM发送消息、个人信息上传头像、AI问答、视频会议、获取摄像头拍照发送图片附件 NSPhotoLibraryUsageDescription 图片访问权限 IM发送消息、个人信息上传头像、AI问答、更换会议虚拟背景、获取相册发送图片附件 NSMicrophoneUsageDescription 麦克风访问权限 AI问答、会议语音通话 com.apple.developer.networking.networkextension 网络扩展权限(VPN、内容拦截等)权限 零信任/海外加速创建隧道的时候 NSFaceIDUsageDescription 面容、指纹生物识别访问权限 用于登录的时候,使用生物识别的方式认证 AppGroups 同一个开发者账号下的多个应用、扩展数据共享 允许同一个开发者账号下的多个应用、扩展(Extension)和主应用之间共享数据 网络权限 授权APP访问网络 App需要发起网络请求的地方
        来自:
        帮助文档
        边缘安全加速平台
        相关协议
        天翼云AOne应用权限申请与使用情况说明
      • 零信任全球加速计费概述
        定价示例 定价示例1:科研小组加速访问海外学术资源 客户需求: 客户要在国内某科研小组的办公区域开通全球加速服务,解决小组成员访问美国教育资源、AI应用等访问体验差、合规性无保障等问题。访问带宽需求20Mbps。 方案:开通全球加速服务,在办公区域部署连接器,通过连接器接入AOne网络。 定价示例: 中国内地带宽:2040800元/月 美洲带宽:2069013800元/月 总费用/月14600元/月 定价示例2:电商团队海外直播 客户需求:客户在国内需要通过手机面向马来西亚进行直播,客户团队小于10人,带宽需求50Mbps。 方案:开通全球加速服务+零信任套餐免费版,实现手机端接入AOne网络。 定价示例: 中国内地带宽:50402000元/月 亚太带宽:5065032500元/月 总费用/月34500元/月 定价示例3:海外远程办公访问国内SAAS系统 客户需求:客户在欧洲有分支机构,员工40人,需要访问国内SAAS OA系统;同时员工有出差、居家办公需求。带宽需求30Mbps。 方案:开通全球加速服务+零信任套餐VPN+账号数扩展。 定价示例: 零信任套餐VPN版(含30个账号数):180元/月 账号数扩展:10660元/月 中国内地带宽:30401200元/月 欧洲带宽:3070021000元/月 总费用/月22440元/月
        来自:
        帮助文档
        边缘安全加速平台
        计费说明
        零信任服务计费模式
        零信任全球加速计费概述
      • 远程证明服务
        本文介绍天翼云远程证明服务,包括工作原理、使用方式和计费说明。 概述 天翼云远程证明服务是一个统一的解决方案,可用于验证不同平台(如鲲鹏、海光、intel 、AMD等)的可信度和在该平台中运行的代码的完整性。该服务支持对基于虚拟可信平台模块vTPM(virtual Trusted Platform Module)的平台进行证明,以及对可信执行环境TEE(Trusted Execution Environment)的状态进行证明。 工作原理 基于硬件信任根建立从硬件到软件的可信启动链,并利用该信任根对系统状态生成密码学签名的报告。远端验证者通过验证该报告的完整性和真实性,并与预定义的可信策略进行比对,来达成两个核心目标: 确认平台基于真实的硬件可信根。 确认平台运行了符合预期的软件栈。 使用方式 远程证明服务主要用于对机密云主机和可信云主机进行远程证明,目前仅提供通过OpenAPI进行认证(详细可参见远程证明服务OpenAPI),主要有以下两种使用方式: 方式一: 1. 在可信/机密云主机启动过程中,(虚拟)硬件会度量所涉及的软件并保存度量值; 2. 启动完成后,您可从云主机内调用相关接口获得“证据“,由(虚拟)硬件内密钥所签名的内容(包含度量值); 3. 您可以将“证据”提交给远程证明服务进行校验。远程证明服务负责取得(虚拟)硬件内密钥所对应的证书,用于校验“证据”确实由对应(虚拟)硬件生成,便验证了平台是基于真实的硬件可信根; 4. 您可以进一步检查“证据”中各字段的值(包含度量值),便验证了平台运行了符合预期的软件栈。 方式二: 1. 您需要制定证据校验策略,并将策略上传至远程证明服务; 2. 在可信/机密云主机启动过程中,(虚拟)硬件会度量所涉及的软件并保存度量值; 3. 启动完成后,您可从云主机内调用相关接口获得“证据“——由(虚拟)硬件内密钥所签名的内容(包含度量值); 4. 您可以将“证据”提交给远程证明服务进行校验,提交时指定使用哪个策略进行校验。远程证明服务负责取得(虚拟)硬件内密钥所对应的证书,用于校验“证据”确实由对应(虚拟)硬件生成,便验证了平台是基于真实的硬件可信根;策略中包含客户预期的“证据”中各个字段的值(包含度量值),将预期值(基准值)与生成值作对比,便验证了平台是基于真实的硬件可信根。
        来自:
        帮助文档
        弹性云主机 ECS
        安全合规
        机密计算与可信计算
        远程证明服务
      • 软件连接器实例安装
        CPU架构 推荐CPU厂家 x8664 Intel x86(英特尔) C864G(海光) AMD ARM 鲲鹏920(鲲鹏)
        来自:
        帮助文档
        边缘安全加速平台
        零信任网络服务
        网络管理
        连接器管理
        软件连接器实例安装
      • 远程证明服务(1)
        计费说明 天翼云远程证明服务本身不收费,但您需要对使用远程证明服务的云主机进行付费。
        来自:
      • 1
      • ...
      • 207
      • 208
      • 209
      • 210
      • 211
      • ...
      • 219
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      多活容灾服务

      弹性伸缩服务 AS

      天翼云CTyunOS系统

      AI Store

      模型推理服务

      科研助手

      智算一体机

      人脸实名认证

      推荐文档

      产品定义

      编辑备份集

      安装网页防篡改集中管理中心

      分布式消息服务相关术语解释

      全面了解天翼云⑥:网站无法访问预处理

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号