活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
Token服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V4-Flash
  • GLM-5.1
  • Qwen3.5-122B-A10B
  • DeepSeek-V3.2(旗舰版)
  • GLM-5(正式版)
智算一体机
  • 智算一体机
智能体引擎
  • 智能体引擎
智算安全专区
  • 大模型安全评测
  • 大模型安全护栏
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      云堤·抗D_相关内容
      • 版本发布记录
        本节介绍了版本发布记录。 版本号说明 分布式缓存服务Redis的版本号格式为:a.b.c.d,版本号具体含义如下。 a: 主版本号,代表大版本。 b: 次版本号。 c: 修订版本号。 d: 补丁版本号。 更新级别说明 更新级别分为LOW、MEDIUM和HIGH,不同更新级别说明如下。 LOW:一般级别,新增日常功能的版本。 MEDIUM:推荐级别, 除了包含新增日常功能外,还包含功能模块的优化。 HIGH:重要级别,除了包含新增日常功能,功能模块优化外,还包含影响稳定性或安全性的问题修复的重要升级。 小版本发布记录 表 Redis 7内核版本发布记录 版本号 更新级别 发布日期 类型 说明 7.2.11.0 HIGH 2025.12 缺陷修复 修复安全漏洞CVE202546819、CVE202546818、CVE202546817、CVE202549844。 7.2.10.0 HIGH 202510 缺陷修复 修复安全漏洞CVE202548367、CVE202532023、CVE202527151。 7.2.9.0 HIGH 20258 缺陷修复 修复安全漏洞CVE202521605。 7.2.8.1 HIGH 20257 功能优化 增强稳定性。 7.2.8.0 HIGH 20256 缺陷修复 修复CVE202446981安全漏洞。 修复CVE202451741安全漏洞。 表 Redis 6内核版本发布记录 版本号 更新级别 发布日期 类型 说明 6.2.20.0 HIGH 202512 缺陷修复 修复安全漏洞CVE202546819、CVE202546818、CVE202546817、CVE202549844。 6.2.19.0 HIGH 202510 缺陷修复 修复安全漏洞CVE202548367、CVE202532023。 6.2.17.2 HIGH 20258 缺陷修复 修复安全漏洞CVE202521605。 6.2.17.1 HIGH 20257 功能优化 增强稳定性。 6.2.17.0 HIGH 20256 缺陷修复 修复CVE202446981安全漏洞。 表 Redis 5内核版本发布记录 版本号 更新级别 发布日期 类型 说明 5.0.14.10 HIGH 202512 缺陷修复 修复安全漏洞CVE202546819、CVE202546818、CVE202546817、CVE202549844。 5.0.14.9 HIGH 202510 缺陷修复 修复安全漏洞CVE202548367、CVE202532023。 5.0.14.8 MEDIUM 20259 缺陷修复 修复stream类型删除时有可能导致节点崩溃的问题。 5.0.14.7 HIGH 20258 缺陷修复 修复安全漏洞CVE202521605。 5.0.14.6 HIGH 20257 功能优化 增强稳定性。 表 Redis 4内核版本发布记录 版本号 更新级别 发布日期 类型 说明 4.0.14.27 HIGH 202512 缺陷修复 修复安全漏洞CVE202546819、CVE202546818、CVE202546817、CVE202549844。 4.0.14.26 HIGH 202510 缺陷修复 修复安全漏洞CVE202548367、CVE202532023。 4.0.14.25 HIGH 20258 缺陷修复 修复安全漏洞CVE202521605。 4.0.14.24 HIGH 20257 功能优化 增强稳定性。 4.0.14.23 HIGH 20256 缺陷修复 修复CVE202446981安全漏洞。
        来自:
        帮助文档
        分布式缓存服务Redis版
        产品简介
        版本发布记录
      • 创建迁移任务
        本文主要介绍创建迁移任务 操作场景 使用对象存储迁移服务创建对象存储任务,对业务环境的对象数据实施迁移。 如果待迁移的整桶数据超过3TB或者对象个数超过500万,建议使用创建迁移任务组进行数据迁移。 前提条件 已获取源端和目的端账号的AK/SK。 源端账号拥有list Bucket,get BucketLocation,list Object,head Object,get Object等权限,具体权限获取方式请联系源端云服务商。 list Bucket、get BucketLocation权限在迁移前选择桶时使用,如果使用指定桶名时可不用配置。 目的端拥有OBS OperateAccess权限,获取方式请参见创建IAM用户并授权使用OBS。 已在天翼云OBS服务中创建桶。 操作步骤 步骤 1在浏览器中输入 步骤 2单击左侧导航栏的“迁移实施”页签,展开右侧出现的“对象存储迁移”页签,单击“迁移任务 > 创建迁移任务”,仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入“创建迁移任务”页面。 创建迁移任务 阅读,同意对象存储服务隐私协议,单机确认。 步骤 3选择源端/目的端。 选择源端 源端选择参数: 参数 说明 : 数据源 待迁移的源端云服务提供商。 appID 如果源端云服务提供商为腾讯云,则需要输入该参数,appID 是您腾讯云帐户的一个标识。 访问密钥 源端云服务提供商的访问密钥(AK)。最大长度是100个字符。 私有访问密钥 源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。 区域 源端云服务提供商所在区域 桶名 待迁移数据所在的桶。 选择目的端: 目的端选择参数 参数 说明 : 数据源 云服务提供商,选择天翼云 访问密钥 天翼云的访问密钥(AK)。最大长度是100个字符。 私有访问密钥 天翼云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。输入访问密钥和私有访问密钥后,请单击“连接目的端桶”。 桶名 存放迁移数据的天翼云OBS桶。 步骤 4单击“下一步”,设置任务参数。 步骤 5选择迁移方式。 选择文件/文件夹 单击“选择”,选择待迁移的文件或文件夹后,单击“确定”。对于已选择的文件或文件夹,您可以单击从迁移对象列表中删除。 如果选择的云服务提供商为七牛,则不支持选择文件/文件夹。 若不设置该参数,则默认迁移全桶数据。 针对每个迁移任务,在同一目录层级下,您最多可以选择500个文件或文件夹。 由于OBS服务的规格限制,请确认对象迁移到目的端后的名称不超过1024个字符,否则将导致任务失败。 指定对象列表 指定对象列表方式,一般用于增量迁移场景,用户需要将待迁移的源端对象名称写入对象列表文件,并将生成的对象列表文件放在天翼云OBS桶中,对象存储迁移服务将会迁移指定对象列表文件中的所有对象。 b.选择“列表文件所在桶(天翼云)”。 此参数中列出的桶是通过输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 c.在“对象列表文件”区域内单击“选择”,选择用户指定的对象列表文件,单击“确定”。 对象列表文件大小不能超过100MB。 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 对象列表文件必须是UTF8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL Encode编码。 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 对象列表文件如果是归档数据,迁移前需要先手动恢复,对象存储迁移服务才能访问和获取。 输入对象前缀 在“添加对象数据”区域内输入对象数据名称或者名称前缀,系统会自动匹配出数据。您可以单击,从这些匹配到的迁移数据列表中删除不需要迁移的数据。 若不添加该参数,则默认迁移全桶的数据。 指定URL列表 指定URL列表方式,一般适用于HTTP或HTTPS源端的迁移场景,用户需要将待迁移的文件URL和目的端对象名称写入URL列表文件,并将生成的URL列表文件放在天翼云OBS桶中,对象存储迁移服务将会迁移指定URL列表文件中的所有对象。 d.选择“列表文件所在桶(天翼云)”。 此参数中列出的桶是通过输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。 出于安全考虑,若您的源端同时支持HTTP和HTTPS协议,建议迁移时使用HTTPS协议;若使用HTTP协议,会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。 URL列表迁移不支持URL重定向。 e.在“选择URL列表文件”区域内单击“选择”,选择用户指定的URL列表文件,单击“确定”。 URL列表文件大小不能超过100MB。 URL列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。 URL列表文件必须是UTF8无BOM格式编码格式。 URL列表文件中每行只能包含一个URL和目的端对象名称。 URL列表文件中每行长度不要超过65535,否则会导致迁移失败。 URL列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 URL列表文件中每行使用制表符t分割URL和目的端对象名称,格式为:[URL][制表符][目的端对象名称],其中目的端对象名称使用URL Encode编码,例如: doc%2f%e6%96%87%e4%bb%b61.txt doc%2fthefile2.txt the%20file.txt the+file2.txt doc/thefile.txt 以上示例中,URL所表示的文件,被复制到目的端桶后,对象会被分别命名为:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。 URL列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。 步骤 6(可选)设置“源端参数”。 当您的源端云服务提供商提供了下表中首列相应的功能时,才会出现此部分参数。 源端参数 参数 说明 : 源端使用自定义域名下载 当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,且您的源端云服务提供商支持自定义域名时,可以勾选此选项。说明当源端云服务提供商是七牛云时,因其对默认域名的使用做了限制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。勾选此选项后,进行如下设置:在“自定义域名传输协议”中选择传输协议。说明HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。填写“桶自定义域名”。如果您使用了源端云服务提供商提供的CDN鉴权,则选择“启用CDN鉴权校验”,并配置校验类型和秘钥。说明l您需要参见源端云服务提供商的相关资料配置CDN后,才能使用CDN相关功能。l使用源端CDN产生的费用遵从源端云服务提供商的计费规则,费用由源端云服务提供商向您收取。l不支持URl重定向。单击“检查”,检查配置是否正确。l如果检查未通过,请单击“详情”查看未通过的原因。l如果检查通过,则可继续进行其他迁移配置。 解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。l勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。l不勾选:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。说明l目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。l解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。l解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。l归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。l对象存储数据从源端云服务提供商迁移到天翼云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。 步骤 7单击“高级选项”后面“展开”,展开高级选项参数。 步骤 8(可选)设置高级选项参数。 高级选项参数 参数 说明 : 服务端加密 如果勾选“KMS”,对迁移数据进行KMS服务端加密后再存储至目的OBS桶中。说明使用KMS服务端加密可能会降低迁移速率10%左右。当前区域支持KMS加密时,此参数方可用。 记录失败对象 选择是否记录迁移失败的对象。l选择“否”,则不记录迁移失败的对象。如果迁移失败,只能全量重传。l选择“是”,记录迁移失败的对象。如果迁移失败,支持只对迁移失败对象进行重传。说明迁移失败的对象将被记录在一个以任务名称命名的失败对象列表文件中,普通任务:上传到目的端桶的“oms/failedobjectlists/”路径下;任务组任务:上传到目的端桶的“oms/failedobjectlists”路径下。该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生时间(参照当前区域所属时区)、失败对象(经过URL编码)、失败对象(未经过URL编码)、源端SDK返回的错误码。当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的端。您如果不再需要该文件,请手动删除。 解冻归档数据 归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。l勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。l不勾选:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。说明l目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。l解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。l解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。l归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。l对象存储数据从源端云服务提供商迁移到天翼云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。 迁移指定时间后的对象 选择是否使用时间过滤源端待迁移对象。l选择“否”,不过滤源端待迁移对象。l选择“是”,仅迁移在指定时间之后修改的源端待迁移对象。需要单击,设置迁移指定时间。 流量控制 设置迁移任务在指定时段的最大流量带宽。l选择“否”,不进行流量控制。l选择“是”,进行流量控制。需要执行以下步骤:1.单击“新增流量控制”。下方新增一条规则记录。2.在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。限制最大流量的数值范围:1~ 200MB/s。3. 重复步骤,增加新的流量控制规则。您也可以单击“操作”栏的,删除本行记录。说明最多可以创建5条记录。即使在创建任务后,您也可以在任务详情中继续设置流量控制规则。 描述 输入本次迁移任务的简单描述信息。最多可输入255个字符。 步骤 9 单击“下一步”,进入确认信息页面。 步骤 10 确认迁移信息的设置,并启动迁移。 1.浏览各项迁移参数的设置是否正确。 如果有误,可以单击“上一步”返回之前的页面进行修改。 2.单击“开始迁移”。 提示创建迁移任务成功。查看迁移任务列表已新增该任务。 关于迁移任务状态,参见查看迁移任务。 任务创建后,会生成一个任务ID供您快速识别。它显示在列表中任务的左上角,由源端桶名+目的端桶名+时间序列标识拼接而成。
        来自:
        帮助文档
        云迁移工具RDA
        用户指南
        对象存储迁移
        创建迁移任务
      • 产品架构和功能原理
        本节介绍了产品架构和功能原理的相关内容。 DRS的产品架构以及功能原理如下图所示: 图 DRS产品架构 架构说明 最小权限设计 a. 采用JDBC连接,无需在用户的源数据库、目标数据库节点部署程序。 b. 任务独立虚拟机运行独享资源,租户之间数据隔离。 c. 采用最小IP资源,在源数据库、目标数据库仅开放DRS数据迁移实例节点IP访问权限,无需增加网段。 可靠性设计 a. 连接异常自动重试:当网络闪断、数据库倒换等场景造成DRS和数据库连接异常,会自动重试直到任务恢复。 b. 具备断点续传能力:源数据库或目标数据库连接出现异常时,自动记录当前回放位点,等故障修复后,自动从上一次位点接续回放,保证同步数据的一致性。 c. DRS迁移实例所在虚拟机故障,业务自动切换到新虚拟机并保证IP不变,保证迁移任务正常。 实时迁移基本原理 图 实时迁移原理 以“全量+增量”迁移为例,完整的迁移分为四个阶段。 a. 第一阶段:结构迁移。DRS服务会从源数据库查询到用户选择迁移的库、表、主键等对象,然后在目标数据库创建这些对象。 b. 第二阶段:全量数据迁移。DRS服务会通过并行技术,以最高效的资源利用,从源数据库查询到当前所有数据,并在目标数据库进行插入。在全量数据迁移启动前,会提前进行增量数据抽取保存,以便在第三阶段增量数据迁移时,能够和全量数据接续,保证数据的完整性和一致性。 c. 第三阶段:增量数据迁移。全量任务结束后,增量迁移任务启动,此时会从全量开始的增量数据持续的解析转换和回放,直到追平当前的增量数据。 d. 第四阶段:为了防止触发器、事件在迁移阶段对于数据的操作,在结束任务阶段再迁移触发器、事件。 全量数据迁移的底层模块主要原理: 分片模块:通过优化的分片算法,计算每个表的分片逻辑 抽取模块:根据计算的分片信息并行多任务从源数据库查询数据 回放模块:将抽取模块查询的数据并行多任务插入目标数据库 增量数据迁移的底层实现模块主要原理: 日志读取模块:日志读取模块从源数据库读取原始增量日志数据(例如MySQL为binlog),经过解析转换为标准的日志格式存储在本地。 日志回放模块:日志回放模块根据日志读取模块转换的标准格式增量日志,根据用户的选择策略进行加工过滤,将增量数据同步到目标数据库。
        来自:
        帮助文档
        数据库复制
        产品简介
        产品架构和功能原理
      • 分布式事务全局一致性
        全局时钟(Global Timestamp) 全局时钟在分布式数据库中的作用是通过提供统一的时间参考,确保系统内各组件协同工作时的时间同步,从而保障数据的一致性和系统的正确运行。如下为全局时钟的架构和分布式并发记录结构。 由GTM提供全局唯一的事务id和全局事务快照。当事务执行时,会话携带全局事务id,各节点通过全局事务id来判断数据的可见性。 全局时钟通过分布式并发记录来保障各组件协同工作时的时间同步。分布式并发控制核心点如下: 1. 逻辑时钟从零开始内部单向递增且唯一,由GTM维护,定时和服务器硬件计数器对齐,从而保证时钟源稳定。 2. 多个GTM节点构成集群,主节点对外提供服务;主备之间通过日志同步时间戳状态,保证GTS核心服务可靠性。 3. 单台物理机每秒能够处理1200万QPS,几乎满足所有业务场景。 4. 段页式存储的MVCC是整个并发控制的基础。同时约定:事务的gtsstart > gtsmin并且gtsmax没有提交或者gtsstart < gtsmax才能看到对应的事务。 两阶段提交(Two Phase Commit) 分布式事务执行时,由CN节点发起两阶段提交事务,并协调其它节点(参与者)执行事务,经过表决、执行两个阶段各参与者返回的状态,决定分布式事务需要提交或回滚。 两阶段提交被认为是一种一致性协议,用来保证分布式系统数据的一致性。绝大部分的关系型数据库都是采用两阶段提交协议来完成分布式事务处理。 两阶段提交事务在执行时分为两个阶段,第一阶段为表决阶段Prepare,第二阶段为执行阶段Commit,由协调者发起,并根据所有参与者返回的状态,判断是否需要执行下一阶段,Commit提交或回滚事务。 1. 表决阶段Prapare:所有参与者都将本事务能否成功的信息反馈发给协调者。 2. 执行阶段Commit:协调者根据所有参与者的反馈,通知所有参与者,步调一致地在所有分支上提交或者回滚。 两阶段提交机制的潜在问题: 1. 数据不一致问题:当部分参与者故障,各参与者在两阶段提交事务中的状态就会出现不一致的情况,如:部分节点commit,部分prepare,或部分commit,部分rollback,这都会导致该事务更新的数据在所有参与者中出现不一致。 2. 同步阻塞问题:两阶段提交过程中的一些步骤是同步阻塞的,没有超时机制,可能会有长时间阻塞的问题。同时,如果异常时,有prepare状态的两阶段事务残留,残留事务仍会持有锁,会阻塞后续会话对这些数据的访问和更新。 3. 协调节点单点故障问题:如果协调节点故障后短时间不能恢复,参与者的两阶段事务会一直残留,导致出现数据不一致、资源阻塞的问题。 TeleDB在内核处理机制,以及异常处理两个角度,对两阶段提交进行了优化,确保在两阶段事务异常时能自动恢复,不会出现上述问题。 内核处理机制优化 在两阶段事务执行过程中记录信息,用于异常时恢复残留的两阶段事务; 避免进入“Commit Prepared”的两阶段事务在所有参与节点被回滚。 分布式死锁检测模块:该模块对数据库状态进行实时监测,当发现存在长时间等待依赖时自动开启分布式死锁检测,经过节点间信息传递和算法分析可快速检测并解除死锁环。检测算法不影响系统查询效率,用户对死锁检测过程无感知。分布式死锁主要分为四个模块,分别为锁等待依赖关系的管理、线程模型模块、检测算法模块和监控与追踪模块。 锁等待依赖关系的管理:对分布式数据库中出现的长时间等待事务依赖对进行检测与上报。 线程模型模块:包含DDS专用线程工作模式和方法的设计、实现。 检测算法模块:分布式死锁检测的执行算法,根据上游节点发送的消息进行两阶段算法推演,再发送消息给下游节点。 监控与追踪模块:包含DDS依赖消息产生和传播的追踪日志、各节点依赖可视化、最近死锁记录保存。 其优点是内核原生支持、自动检测并解锁、分布式算法,需要传输的信息量少、网络资源消耗少、解锁速度快、无死锁误判、支持优先级解锁和抗丢包性强。 异常处理优化:提供两阶段事务的自动处理插件,在监测到两阶段事务残留时,通过访问两阶段事务执行过程中记录的信息,来判断各个参与节点的状态,根据状态参照对应规则,对残留事务进行清理,恢复各节点数据到全局一致。 PREPARED状态 COMMIT状态 ROLLBACK状态 异常阶段及原因 动作 有 有 无 commit阶段异常参与节点故障 COMMIT剩余事务 有 无 有 prepare阶段异常参与节点宕机 ROLLBACK剩余事务 有 无 无 prepare阶段异常发起节点宕机 ROLLBACK剩余事务
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品
        技术白皮书
        产品核心功能
        分布式事务全局一致性
      • 新建原子指标
        管理原子指标 1. 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“原子指标”页签,进入原子指标页面。 2. 您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建原子指标并发布。 编辑 执行3。 发布 执行4。 查看发布历史 执行5。 下线 执行6。 删除 执行7。 导入 执行8。 导出 执行9。 3. 编辑 a. 在需要编辑的原子指标右侧,单击“编辑”,进入编辑原子指标页面。 b. 根据实际需要编辑相关内容。 c. 单击“发布”。如果您暂时不想发布,可以先单击“保存”,稍后再发布。 4. 发布 a. 在需要发布的原子指标右侧,单击“发布”,弹出“提交发布”对话框。 b. 在下拉菜单中选择审核人。 c. 单击“确认提交”。 5. 查看发布历史 a. 在列表中,找到所需查看的原子指标,单击“更多 > 发布历史”,将显示“发布历史”页面。 b. 在“发布历史”中,您可以查看原子指标的发布历史和版本对比信息。 6. 下线 a. 在需要下线的原子指标右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。 b. 在下拉菜单中选择审核人。 c. 单击“确认提交”。 说明 下线及删除原子指标的前提是无依赖引用,即无衍生指标引用。 7. 删除 a. 勾选需要删除的原子指标,单击上方“更多 > 下线”,系统弹出“删除”对话框。 b. 单击“是”。 8. 导入 可通过导入的方式将原子指标批量快速的导入到系统中。 a. 在原子指标列表上方,单击“更多>导入”,进入“导入配置”页签。 b. 下载原子指标导入模板,编辑完成后保存至本地。 c. 选择是否更新已有数据。 说明 如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 不更新:当数据重复时,不会替换系统中原有的数据。 更新:当数据重复时 系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态,则会生成下展数据。 d. 单击“添加文件”,选择编辑完成的导入模板。 e. 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 f. 单击“关闭”。 9. 导出 可通过导出的方式将原子指标导出到本地。 a. 在原子指标列表选中待导出的指标。 b. 在列表上方,单击“更多>导出”,即可将系统中的原子指标导出到本地。 说明 在左侧主题树中选中某个主题,可以导出该主题下的所有原子指标; 当该空间下不超过500条原子指标数据时可以全部导出。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据架构
        指标设计
        技术指标
        新建原子指标
      • 设置挂载参数
        前提条件 Everest插件版本要求1.2.8及以上版本。 插件主要负责将挂载参数识别并传递给底层存储,指定参数有否有效依赖于底层存储是否支持。 约束与限制 挂载参数暂不支持安全容器。 在PV中设置挂载参数 在PV中设置挂载参数可以通过mountOptions字段实现,如下所示,mountOptions支持挂载的字段请参见文件存储挂载参数和对象存储挂载参数。 apiVersion: v1 kind: PersistentVolume metadata: name: pvobsexample annotations: pv.kubernetes.io/provisionedby: everestcsiprovisioner spec: mountOptions:umask0027uid10000gid10000 accessModes:ReadWriteMany capacity: storage: 1Gi claimRef: apiVersion: v1 kind: PersistentVolumeClaim name: pvcobsexample namespace: default csi: driver: obs.csi.everest.io fsType: obsfs volumeAttributes: everest.io/obsvolumetype: STANDARD everest.io/region: cnnorth4 storage.kubernetes.io/csiProvisionerIdentity: everestcsiprovisioner volumeHandle: obsnormalstaticpv persistentVolumeReclaimPolicy: Delete storageClassName: csiobs PV创建后,可以创建PVC关联PV,然后在工作负载的容器中挂载。 在StorageClass中设置挂载参数 在StorageClass中设置挂载参数同样可以通过mountOptions字段实现,如下所示,mountOptions支持挂载的字段请参见文件存储挂载参数和对象存储挂载参数。 apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: csiobsmountoption mountOptions:umask0027uid10000gid10000 parameters: csi.storage.k8s.io/csidrivername: obs.csi.everest.io csi.storage.k8s.io/fstype: s3fs everest.io/obsvolumetype: STANDARD provisioner: everestcsiprovisioner reclaimPolicy: Delete volumeBindingMode: Immediate StorageClass设置好后,就可以使用这个StorageClass创建PVC,从而动态创建出的PV会默认带有StorageClass中设置挂载参数。
        来自:
        帮助文档
        云容器引擎
        用户指南
        存储管理
        设置挂载参数
      • 管理分片与副本
        本节主要介绍如何查询Redis实例分片和副本信息,以及将集群实例的从节点手动升级为主节点的操作。 当前仅Redis 4.0/5.0/6.0的主备、读写分离、集群实例支持该功能,Redis 4.0/5.0/6.0单机实例和Redis 3.0实例不支持该功能。 主备或读写分离实例,分片数为1,默认是一个一主一从的双副本架构,支持通过“分片与副本”查看分片信息,如果需要手动切换主从节点,请执行主备切换操作。 Proxy集群实例,每个集群是由多个分片组成,每个分片默认都是一个双副本架构,您可以通过“分片与副本”查看分片信息,还可以根据业务需要,手动切换分片主从节点。不同实例规格对应的分片数,具体请参考Redis 4.0/5.0 Proxy集群实例。 Cluster集群实例,每个集群是由多个分片组成,每个分片默认都是一个双副本架构,您可以通过“分片与副本”查看分片信息,还可以根据业务需要,手动切换分片主从节点。不同实例规格对应的分片数,具体请参考Redis4.0/5.0 Cluster集群介绍。 升级副本 步骤 1 登录分布式缓存服务管理控制台。 步骤 2 在管理控制台左上角单击,选择区域和项目。 步骤 3 单击左侧菜单栏的“缓存管理”。进入缓存管理页面。 步骤 4 单击缓存实例名称,进入该实例的基本信息页面。 步骤 5 单击“分片与副本”页签,进入分片与副本页面。 界面显示该实例的所有分片列表,以及每个分片的副本列表。 步骤 6 单击分片名称前面的图标,展开当前分片下的所有副本。 分片与副本列表(集群实例) 分片与副本列表(主备实例) 对于集群实例,可以将分片中的从副本升级为主副本。 a. 选择角色为从的副本,单击“升级为主”。 b. 单击“是”,将选择的副本升级为主。 如果是主备实例或读写分离实例,可以设置从副本的“主备切换优先级”或者“摘除域名IP”。 c. 主备切换优先级:当主节点故障以后,系统会按照您指定的优先级,自动切换到优先级最高的从节点上。如果优先级相同,则系统会内部进行选择和切换。优先级为0100,1100优先级逐步降低,1为最高,100为最低,0为禁止倒换。 d. 摘除域名IP:实例的从副本数多于1个,单击“摘除域名IP”,可以摘除对应从副本的IP。如果主备实例只有1个从副本,则不支持摘除域名。
        来自:
        帮助文档
        分布式缓存服务Redis版
        用户指南
        实例配置管理
        管理分片与副本
      • 查询存储池信息详情
        枚举参数 无 请求示例 请求url 无 请求头header {} 请求体body { "regionID": "41f64827f25f468595ffa3a5deb5d15d" } 响应示例 { "returnObj": { "poolList": [ { "poolName": "DSSSSD", "status": "ACTIVE", "totalCapacity": 61440, "freeCapacity": 2345, "actualUsedCapacity": 75, "volumeNO": 135, "diskType": "SAS", "expireTime": 1678501018000, "createTime": 1676081790000, "resourceUUID": "0ae97ef56ee244af9d051a509b0a1be6" }, { "poolName": "DSSSSD", "status": "ACTIVE", "totalCapacity": 42440, "freeCapacity": 345, "actualUsedCapacity": 75, "diskType": "SSD", "expireTime": 1678500768000, "volumeNO": 35, "createTime": 1676081534000, "resourceUUID": "db9d4a8d32ba40d5b3673427e42062dd" } ] }, "message": "SUCCESS", "description": "成功", "statusCode": 800 } 状态码 请参考 状态码 错误码 请参考 错误码
        来自:
        帮助文档
        专属云(计算独享型)
        API参考
        API
        2022-11-30
        新版
        信息查询管理
        查询存储池信息详情
      • 签名信息应用
        lSignature base64(hmacsha256(kdate,stringtosign)) stringtosign:待签名字符串 kdate:构造动态秘钥 EopAuthorization ctyuneopak Headerheaders Signature headers:排序后的签名的请求头名称 若需要签名的请求头为 eopdate 和 host,那么 headers 的值为: nctyuneopak Headereopdate;host Signaturexad01/ada 请求所需头部为: EopAuthorization,例:ctyuneopak Header ctyuneoprequestid;eopdate Signaturexad01/ada eopdate,例:20211221T163614Z ctyuneoprequestid,例:123456789
        来自:
        帮助文档
        天翼云电脑(政企版)
        API参考
        如何调用API
        鉴权
        签名信息应用
      • 调用API
        本章节主要介绍调用API。 概述 您作为API调用者,需要实现一个API的调用,那么您需要完成以下工作: 1.获取API 从服务目录获取需要调用API。仅在API发布后,才支持被调用。 2.(可选)创建应用并获取授权 对于使用APP和IAM认证的API,需要完成创建应用和将API授权给应用。在API调用过程中,使用所创建应用的密钥对(AppKey、AppSecret),数据服务根据密钥对进行身份核对,完成鉴权。 3.调用API API调用者完成以上步骤后,可以进行API调用。 创建应用 1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据服务”模块,进入数据服务页面。 详见下图:选择数据服务 2.在左侧导航栏选择服务版本(例如:专享版),进入总览页。 3.单击“调用API > 应用管理”,进入到应用管理页面。单击“新建”,弹出“新建应用”对话框。填写如表3363所示信息。 详见下表: 应用信息 信息项 描述 应用名称 应用名称。 应用类型 IAM:使用IAM认证,即token访问。 APP:对接APP,通过APP认证方式访问。 描述 对应用的介绍。 4.单击“确定”,创建应用。 创建应用成功后,在“应用管理”页面的列表中显示新创建的应用和应用ID。 5.单击“应用名称”,进入应用详情页面,查看AppKey和AppSecret。 将API授权给应用 1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据服务”模块,进入数据服务页面。 详见下表: 选择数据服务 2.在左侧导航栏选择服务版本(例如:专享版),进入总览页。 3.通过以下任意一种方式,将API授权给应用。 主动授权: a.单击“开发API > API管理”,进入到API管理页面。 b.在待绑定应用的API所在行,单击“查看授权”,进入API完整信息界面。 在“授权信息”页签中,单击“添加授权”。 c.设置授权的截止时间,勾选应用名称,单击“确认授权”,完成API的授权。 申请授权: a.单击“调用API > 服务目录”,进入服务市场主页面。 b.单击待绑定应用的API名称,进入API完整信息页面。 c.在“调用信息”页面,单击“申请权限”。 d.设置使用截止时间并选择应用名称,单击“确认”。 e.申请后,需要等待审核中心审核,方可授权成功。 4.授权成功后,可以在应用管理详情页面查看已绑定的API。 说明 如果已绑定API列表中包含无需绑定的API,在此API所在行的操作列,单击“解绑”,将无需绑定的API删除。 如果需要调试已绑定的API,单击“测试”,进入调试页面。 如果需要对已绑定的API延长授权时间,单击“续约”。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据服务
        调用API
      • 访问MRS Manager(MRS 2.x及之前版本)
        本章节主要介绍访问MRS Manager(MRS 2.x及之前版本) 。 操作场景 MRS使用Manager对集群进行监控、配置和管理,用户可以在MRS控制台页面打开Manager管理页面,使用创建集群时设置的admin帐号和密码登录Manager。 通过弹性公网IP访问Manager 1.登录MRS管理控制台页面。 2.单击“集群列表 > 现有集群”,在集群列表中单击指定的集群名称,进入集群信息页面。 3.单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中“访问方式”选择“EIP访问”。专线访问请参考通过专线访问。 a.若用户创建集群时暂未绑定弹性公网IP,在弹性公网IP下拉框中选择可用的弹性公网IP。若用户创建集群时已经绑定弹性公网IP,直接执行3。 说明 如果没有弹性公网IP,可先单击“管理弹性公网IP”创建弹性公网IP后,然后在弹性公网IP下拉框中选择创建的弹性公网IP。 b. 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 c.添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Manager页面,请参考步骤6~步骤9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 说明 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 d.勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。” 4.单击“确定”,进入MRS Manager登录页面。 5.输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入MRS Manager页面。 6.在MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。 说明 如需给其他用户开通访问MRS Manager的权限,请执行69,添加对应用户访问公网的IP地址为可信范围。 7.单击弹性公网IP后边的“添加安全组规则”。 8.进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围,禁止使用0.0.0.0/0,否则会有安全风险。” 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需开放多个IP段为可信范围,请重复执行步骤6步骤9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 9.单击“确定”完成安全组规则添加。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问集群Manager
        访问MRS Manager(MRS 2.x及之前版本)
      • 域名监控概述
        监控指标 说明 证书到期预警 按证书到期时间统计域名证书: 已到期证书 到期时间<30天 到期时间>30天 证书未知:统计未绑定证书的域名、域名信息配置错误的域名数量。 SSL漏洞扫描 支持统计如下类型的漏洞: 高风险漏洞 中风险漏洞 低风险漏洞 合规检测 统计ATS和PCI DSS合规情况: ATS(应用程序安全传输,App Transport Security)为Apple ATS规范,是苹果在iOS 9中首次推出的隐私安全保护功能。从2017年1月1日起,所有提交到App Store的App必须强制开启ATS。启用ATS后,它会屏蔽明文HTTP资源加载,强制App通过HTTPS连接网络服务,对传输数据进行加密,保障用户数据安全。 PCI DSS(支付卡协会数据安全标准,Payment Card Industry Data Security Standard)为支付卡行业安全标准,是目前广受国际认可的数据安全标准。PCI DSS要求在开放的公共网络上传输持卡人数据,需使用高强度加密算法对数据进行保护。 域名安全等级分布 共支持如下9个等级,A+为最高级。
        来自:
        帮助文档
        证书管理服务
        用户指南
        SSL证书
        域名监控服务
        域名监控概述
      • 记录什么到日志
        loghostname (boolean) 默认情况下,连接日志消息只显示连接主机的IP 地址。打开这个参数将导致也记录主机名。注意根据你的主机名解析设置,这可能会导致很微小的性能损失。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 loglineprefix (string) 这是一个printf风格的字符串,它在每个日志行的开头输出。%字符开始“转义序列”,它将被按照下文描述的替换成状态信息。未识别的转义被忽略。其他字符被直接复制到日志行。某些转义只被会话进程识别并且被主服务器进程等后台进程当作空。通过指定一个在%之后和该选项之前的数字可以让状态信息左对齐或右对齐。 负值将导致在右边用空格填充状态信息已达到最小宽度,而正值则在左边填充。填充对于日志文 件的人类可读性大有帮助。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 默认值是'%m [%p] ',它记录时间戳和进程ID。转义效果只限会话%a应用名是%u用户名是%d数据库名是%r远程主机名或 IP 地址,以及远程端口是%h远程主机名或 IP 地址是%p进程 ID否%t无毫秒的时间戳否%m带毫秒的时间戳否%n带毫秒的时间戳(作为 Unix 时间戳)否%i命令标签:会话当前命令的类型是%eSQLSTATE 错误代码否%c会话 ID:见下文否%l对每个会话或进程的日志行号,从 1 开始否%s进程开始的时间戳否%v虚拟事务 ID (backendID/localXID)否%x事务 ID (如果未分配则为 0)否%q不产生输出,但是告诉非会话进程在字符串的这一点停止;会话进程忽略否%%纯文字 %否%c转义打印一个准唯一的会话标识符,它由两个 4 字节的十六进制数(不带先导零)组成,以点号分隔。这些数字是进程启动时间和进程 ID,因此%c也可以被用作保存打印这些项的方式的空间。例如,要从pgstatactivity生成会话标识符,使用这个查询:SELECT tohex(trunc(EXTRACT(EPOCH FROM backendstart))::integer) '.' tohex(pid) FROM pgstatactivity;提示如果你为loglineprefix设置了非空值,你通常应该让它的最后一个字符为空格,这样用以提供和日志行的剩余部分的视觉区别。也可以使用标点符号。提示Syslog产生自己的时间戳和进程 ID 信息,因此如果你记录到syslog你可能不希望包括哪些转义。提示包含仅在会话(后端)上下文(如用户或数据库名称)中可用的信息时, %q转义非常有用。例如:loglineprefix '%m [%p] %q%u@%d/%a '
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品
        参数指南
        错误报告和日志相关参数
        记录什么到日志
      • 断点续训加速
        万卡规模国产化集群下,断点续训在5类故障下实现1分钟检测、5分钟内定位、15分钟内恢复训练。 测试数据及代码准备 数据集 数据集大小 使用模型 Wikipediaen (1M条) 9.1GB Llama270B /Llama3.1405B 使用预处理为MindRecord格式的Wikipediaen (1M条)数据集,上传到对象存储,并由对象存储下载到平台HPFS。 测试代码在gitlab仓库下载到本地,并放置于/work/home下。 脚本和任务准备 按照下面修改run.sh脚本 plaintext ! /bin/bash huijuformers的绝对路径, 需要修改pathtohuijuformers export BASEDIR/work/data/llama29216/huijuformers 以下为平台自动注入的环境变量 yaml文件中需要修改的环境变量 export BATCHSIZE1 export EPOCHS350 export LEARNINGRATE6.e5 export DATAPARALLEL256 export MODELPARALLEL4 export PIPELINESTAGE9 模型微调相关 export FINETUNEMODELTYPEllama270bbase 合并为一个参数,与模型存放文件夹名称一致(与后端沟通过) export FINETUNINGTYPEALL export TIMETAG$(date +"%m%d%H%M") 数据相关 export DATASETPATH${BASEDIR}/data export DATASETFILEoriginaldata.json 需要修改 以下为平台后端需要自行更改后传入的环境变量 平台数据格式转换,专用数据调试时用不到 export DATASETTMPPATH${BASEDIR}/data/processeddata/${FINETUNEMODELTYPE} mkdir p ${DATASETTMPPATH} 模型输入 专业模式,平台训练时需要按照平台的挂载路径去修改这一块的变量 export CHECKPOINTDIR'' 低代码模式,微调时约定挂载为下面的路径 export CHECKPOINTDIR/work/mount/publicModel/${FINETUNEMODELTYPE}/${FINETUNEMODELTYPE} 输出文件夹路径,runmode为训练模式,如train,lora,full runmodetrain export OUTPUTDIR${BASEDIR}/output/${FINETUNEMODELTYPE}/${runmode}/${TIMETAG} export OUTPUTROOTDIR${BASEDIR}/output/${FINETUNEMODELTYPE}/${runmode} rm rf ${OUTPUTDIR}/resumerecord 获取节点IP、名称,记录至文件 echo $(hostname I awk '{print $1}'),$NODENAME >> ${BASEDIR}/output/nodes sed i '/pamlimits.so/s/^//' /etc/pam.d/sshd 启动脚本 cd ${BASEDIR}/bin/scripts apt install netcat y 微调 bash finetune.sh 预训练 export MSTOPOTIMEOUT7200 bash train.sh 启动训练任务 点击训练任务页面的新建任务,按照如下的示例配置训练命令和模型挂载等,然后启动任务。 Llama270B万卡测试结果 在平台使用9216卡对Llama270B进行预训练,万卡规模国产化集群下,断点续训在5类故障下实现1分钟检测、5分钟内定位、15分钟内恢复训练。
        来自:
        帮助文档
        训推服务
        用户指南
        训推加速
        断点续训加速
      • Linux客户端在重启服务器之后,直接挂载云存储网关创建的LUN
        本节主要介绍Linux客户端怎么在重启服务器之后,直接挂载云存储网关创建的LUN。 应用场景 客户端已经挂载云存储网关创建的LUN,为实现服务器开机启动后自动挂载LUN。 前提条件 Linux客户端已经挂载云存储网关LUN。 具体操作 1. 在客户端使用命令lsblk f查看挂载设备的文件系统信息,找到文件系统对应的UUID。 [root@client ~] lsblk f NAME FSTYPE LABEL UUID MOUNTPOINT sda mpathmember └─mpatha └─mpatha1 ext4 7269eef6e401454aacb4503d33337f21 /mnt/diskmpatha sdb mpathmember └─mpatha └─mpatha1 ext4 7269eef6e401454aacb4503d33337f21 /mnt/diskmpatha vda ├─vda1 swap 9e33bd6fc68c41c795c8703f4fe8c3d4 [SWAP] └─vda2 xfs a83f4fdc2ea14feca1e2a42016ce0afe / vdb └─vdb1 ext4 74296a9e8cfd470889b108086f71175b vdc └─vdc1 ext4 a9fedea4391e4d2a8824c9a3a6853394 2. 在/etc/fstab文件中新增云存储网关创建的LUN挂载信息,下次开机启动时可以自动挂载该LUN。 UUID7269eef6e401454aacb4503d33337f21 /mnt/diskmpatha ext4 defaults,netdev 0 0
        来自:
        帮助文档
        云存储网关
        最佳实践
        Linux客户端在重启服务器之后,直接挂载云存储网关创建的LUN
      • 使用GPU弹性云主机训练ViT模型
        本文为您介绍如何在GPU云主机上进行ViT模型训练,完成CV领域中图像分类任务。 背景信息 ViT全称Vision Transformer,该模型是在2020年由 Alexey Dosovitskiy 等人提出,将Transformer应用在图像分类的模型,虽然不是第一次将Transformer应用在视觉任务,但模型结构效果好,可扩展性强,成为了Transformer在CV领域应用的里程碑。模型示意图如下: 实例环境如下表所示。 实例类型 pi2.2xlarge.4 所在地域 上海7 系统盘 40GB 数据盘 10GB 操作系统 Ubuntu 18.04.5 LTS 公网弹性IP带宽 5Mbps 操作步骤 1. 配置PyTorch开发环境。 a. 安装NVIDIA GPU驱动、CUDA和CUDNN组件。 执行以下命令,安装NVIDIA显卡驱动。 apt install tar gcc g++ make buildessential chmod +x NVIDIALinuxx8664515.65.01.run ./NVIDIALinuxx8664515.65.01.run noopenglfiles 安装完成后执行nvidiasmi命令,查看是否安装成功。 ./cuda11.7.0515.43.04linux.run tar xJvf cudnnlinuxx86648.5.0.96cuda11archive.tar.xz cd cudnnlinuxx86648.5.0.96cuda11archive sudo cp include/ /usr/local/cuda11.7/include/ sudo cp lib/ /usr/local/cuda11.7/lib64/ sudo chmod a+r /usr/local/cuda11.7/include/cudnn sudo chmod a+r /usr/local/cuda11.7/lib64/libcudnn b. 配置conda环境。 依次执行以下命令,配置conda 环境。 wget c chmod +x Miniconda3py394.12.0Linuxx8664.sh ./Miniconda3py394.12.0Linuxx8664.sh c. 编辑~/.condarc 文件,加入下图配置信息,将 conda 的软件源替换为清华源。 channels: defaults showchannelurls: true defaultchannels: customchannels: condaforge: msys2: bioconda: menpo: pytorch: pytorchlts: simpleitk: deepmodeling: 详情请参见:清华大学开源软件镜像站 执行conda info,确认软件源已替换。 d. 执行以下命令替换pip源为清华源。 pip config set global.indexurl e. 安装Pytorch组件。 执行以下命令,安装 PyTorch。 pip install torch1.13.1+cu117 torchvision0.14.1+cu117 torchaudio0.13.1 extraindexurl 依次执行以下命令,查看PyTorch 是否安装成功。 2. 实验数据。 CIFAR10(Canadian Institute for Advanced Research10)是一个常用的计算机视觉数据集,用于图像分类任务。它由60000个32x32彩色图像组成,这些图像均来自于10个不同的类别,每个类别包含6000个图像。数据集被分为两个部分:训练集和测试集,其中训练集包含50000个图像,测试集包含10000个图像。CIFAR10数据集中的图像涵盖了广泛的对象类别,包括飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船和卡车。每个图像都有一个标签,表示它所属的类别。这个数据集被广泛用于计算机视觉领域的算法开发、模型训练和性能评估。 3. 使用ColossalAIExamples模型训练。 本文在分布式训练框架 ColossalAI 的基础上进行模型训练和开发。ColossalAI 提供了一组便捷的接口,通过这组接口能方便地实现数据并行、模型并行、流水线并行或者混合并行。 a. 安装ColossalAI和其他组件。 pip install colossalai timm titans b. ViT示例模型训练。 git clone cd ColossalAIExamples/image/visiontransformer/dataparallel 由于单卡T4显存有限,修改config.py文件,将BATCHSIZE设置为32。执行以下命令启动训练: colossalai run nprocpernode 1 trainwithcifar10.py config config.py 模型运行过程如下图所示:
        来自:
        帮助文档
        GPU云主机
        最佳实践
        使用GPU弹性云主机训练ViT模型
      • 故障诊断
        诊断维度 诊断项 说明 修复方案 Service 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态,保证Pod存在且处于Ready状态。 Service 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息,若无法处理,请提交工单。 节点 检查节点是否存在 检查集群中是否存在该节点。 请检查Node在集群中是否存在。 节点 检查节点状态是否Ready 检查节点在集群中的状态是否为Ready。 请登录到节点上执行systemctl status kubelet或journalctl exu kubelet查看节点上kubelet进程异常日志并尝试修复。 节点 检查节点状态是否不可调度 检查节点是否不可调度,不可调度的节点会影响Pod的正常运行。 节点不可调度,请检查节点调度设置。 节点 检查节点CPU装载率是否过高 检查节点CPU资源分配率是否过高。 请检查节点上pod的CPU request值设置的合理性。 节点 检查节点内存装载率是否过高 检查节点内存资源分配率是否过高。 请检查节点上pod的Memory request值设置的合理性。 节点 检查节点磁盘压力 检查节点磁盘使用率是否过高。 请检查节点磁盘使用情况,及时清理磁盘中不需要的文件或扩容磁盘。 节点 检查节点PID压力 检查节点PID使用率是否过高。 请检查节点PID使用情况。 节点 检查节点Chronyd进程状态是否正常 检查节点Chronyd进程是否异常,该进程异常可能会影响系统时钟同步。 节点Chronyd进程异常,可能影响节点系统时间同步。请尝试通过命令systemctl restart chronyd重启节点Chronyd进程。 节点 检查节点Ntpd进程状态是否正常 检查节点Ntpd进程是否异常,该进程异常时可能会影响系统时钟同步。 节点Ntpd进程异常,可能影响节点系统时间同步。请尝试通过命令systemctl restart ntpd重启节点Ntpd进程。 节点 检查节点Containerd状态是否正常 检查节点Containerd服务的状态,该进程异常时可能会影响Pod的正常运行。 节点Containerd状态异常,请收集节点日志并提交工单处理。 节点 检查节点Containerd镜像拉取是否正常 检查节点Containerd进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 节点 检查节点Docker状态是否正常 检查节点Dockerd服务的状态,该进程异常时可能会影响Pod的正常运行。 节点Docker状态异常,请收集节点日志并提交工单处理。 节点 检查节点Docker镜像拉取是否正常 检查节点Docker进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 节点 检查节点Kubelet状态是否正常 检查节点Kubelet服务的状态,该进程可能会影响Pod的正常运行。 请检查节点kubelet日志。 节点 检查节点Kubelet启动时间 检查节点Kubelet进程启动时间。 无 节点 节点OS版本 检查节点操作系统版本。 无 节点 节点内核版本 检查节点内核版本是否过低,内核版本过低可能造成系统异常。 请尝试更换节点升级内核。 节点 节点Systemd版本 检查节点systemd版本。 无 节点 节点runc版本 检查节点runc版本,runc版本过低可能造成系统异常。 无 节点 节点系统时间 检查节点系统时间。 无 节点 节点硬件时间 检查节点硬件时间。 无 节点 节点硬件时间漂移 检查节点硬件时钟与系统时间是否一致,时间相差超过2分钟可能引起组件异常。 请尝试登录节点,通过命令hwclock systohc将节点系统时间同步到硬件时间。 节点 检查节点内存交换区开启情况 检查节点内存交换区 (Memory Swap) 功能是否开启,K8s默认要求关闭内存交换区。 当前节点内存交换区 (Memory Swap) 功能不支持开启,请登录节点关闭该功能。 节点 检查Conntrack表使用情况 检查节点Conntrack表是否满,Conntrack表满可能影响网络性能。 请检查nfconntrackbuckets和nfconntrackmax内核参数。 节点 检查节点访问集群API Server是否正常 检查节点能否正常连接集群API Server,访问集群中其他K8s资源。 请检查集群相关配置。请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 节点 节点DNS服务地址 检查节点能否正常使用主机DNS服务,通过主机DNS服务解析集群外域名。 请检查主机DNS服务是否正常。更多信息,请参见 节点 检查节点内网IP是否存在 检查节点内网IP是否存在。 节点内网IP不存在,请尝试移除节点后重新导入。 节点 检查节点能否访问公网 检查节点能否正常访问公网,无法访问公网可能影响公网镜像拉取。 请检查集群是否开启SNAT公网访问。 节点 节点CPU使用率 检查节点CPU负载是否过高,CPU负载过高可能影响系统性能。 无 节点 节点内存使用率 检查节点内存负载是否过高,内存过高可能影响系统性能。 无 Pod 检查Pod是否存在 检查集群中是否存在该Pod。 请检查Pod在集群中对应命名空间下是否存在。 Pod 检查Pod状态是否为Running 检查Pod是否处于Running状态。 请检查Pod状态及日志。更多信息,请参见 Pod Pod容器重启次数统计 统计Pod中容器重启次数。 请检查Pod状态及日志。更多信息,请参见 Pod 检查Pod容器是否存在镜像下载阻塞情况 检查Pod容器对应的镜像下载被阻塞。 请检查Pod状态及日志。更多信息,请参见 Pod 检查Pod容器镜像Secrets是否有效 检查Pod拉取镜像的Secrets是否有效。 请检查Pod状态及日志。更多信息,请参见 Pod 检查Pod到主机网络DNS服务器的连通性 检查Pod到主机网络DNS服务器的连通性。 请检查Pod到主机网络DNS服务器的连通性。 Pod 检查Pod容器进程处于D状态检查 检查Pod内的容器进程是否处于D状态。 Pod的部分容器进程处于D状态,通常为容器进程卡在磁盘IO中,请尝试重启宿主机ECS,如仍无法恢复,请提交工单处理。 Pod 检查Pod是否初始化成功 检查Pod是否正常初始化。 请检查Pod状态及日志。更多信息,请参见 Pod 检查Pod是否处于调度中状态 检查Pod是否正常调度。 请检查Pod状态及日志。更多信息,请参见 Pod 检查Pod是否配置了livenessProbe探针 检查Pod描述文件是否配置了livenessProbe探针。 请为Pod配置合适的livenessProbe健康检查。 Pod 检查Pod是否配置了ReadinessProbe探针 检查Pod描述文件是否配置了ReadinessProbe探针。 请为Pod配置合适的readinessProbe健康检查。 Pod 检查Pod是否配置了资源requests 检查Pod描述文件是否配置了资源requests。 请为Pod配置合适的request资源申请。 Pod 检查Pod是否配置了资源limits 检查Pod描述文件否配置了资源limits。 请为Pod配置合适的limit资源限制。 Pod 检查Pod在过去24小时内是否存在OOM Kill情况 检查Pod在过去24小时内是否存在因内存过载而被Kill的情况。 请检查Pod是否配置了合适的limit资源限制,同时检查Pod状态及日志。更多信息,请参见 Ingress 检查Ingress是否存在 检查与转发规则匹配的Ingress是否存在。 检查所提供的URL信息是否有能够对应的Ingress规则。若URL信息无误,可能是Ingress规则存在问题。 Ingress 检查Ingress名称规范 检查所匹配到的Ingress名称是否规范。 无 Ingress 检查是否使用了nginx.ingress.kubernetes.io/sessioncookiehash废弃注解 检查是否使用了在0.24.0版本废弃的nginx.ingress.kubernetes.io/sessioncookiehash注解key。 确认当前Ingress Controller版本,移除该注解或使用其他注解代替。 Ingress 检查是否使用了nginx.ingress.kubernetes.io/baseurlscheme废弃注解 检查是否使用了在0.22.0版本废弃的nginx.ingress.kubernetes.io/baseurlscheme注解key。 确认当前Ingress Controller版本,移除该注解或使用其他注解代替。 Ingress 检查是否使用了nginx.ingress.kubernetes.io/securebackends废弃注解 检查是否使用了在0.21.0版本废弃的nginx.ingress.kubernetes.io/securebackends注解key。 确认当前Ingress Controller版本,移除该注解或使用其他注解代替。 Ingress 检查是否使用了nginx.com/nginx.org注解 检查是否使用了不兼容社区版Nginx Ingress Controller的商业版Ingress注解key(以nginx.com/nginx.org开头)。 请使用对应功能的正确用法。关于Ingress更多信息,请参见社区官方文档 。(引用到官方文档) Ingress 检查是否使用了nginx.ingress.kubernetes.io/grpcbackend废弃注解 检查是否使用了在0.21.0版本废弃的nginx.ingress.kubernetes.io/grpcbackend注解key。 确认当前Ingress Controller版本,移除该注解或使用其他注解代替。 Ingress 检查是否使用了nginx.ingress.kubernetes.io/mirroruri废弃注解 检查是否使用了在0.24.0版本废弃的nginx.ingress.kubernetes.io/mirroruri注解key。 确认当前Ingress Controller版本,移除该注解或使用其他注解代替。 Ingress 检查是否启用了canary 使用了nginx.ingress.kubernetes.io/canary相关注解,但value值为"false‘,如果需要使用灰度功能,请指定nginx.ingress.kubernetes.io/canary: "true"。 如果您需要在该Ingress上开启Canary功能,请在Ingress规则上添加nginx.ingress.kubernetes.io/canary: "true"注解。 Ingress 检查Ingress是否存在异常事件 检查集群中是否存在与该Ingress相关的异常事件。 检查并处理异常事件描述信息中的报错,如无法解决,请提交工单处理。
        来自:
        帮助文档
        分布式容器云平台 CCE One
        用户指南
        注册集群
        注册集群控制台
        运维
        故障诊断
      • 快速入门
        Golang 注意 1. golang版本要求1.18以上。 2. go.mod引用相关类库 go get 。 文本生成 java package main import ( "context" "fmt" openai "github.com/sashabaranov/goopenai" // 统一使用这个库 ) func main() { baseUrl : " // api前缀地址 appkey : "yourappkey" // 替换成自己的App Key modelId : "xirangmodelid" // 替换成自己要用的模型 prompt : "你是谁" // 对话问题 // 创建自定义配置 config : openai.DefaultConfig(appkey) config.BaseURL baseUrl // 使用配置创建客户端 client : openai.NewClientWithConfig(config) // 构建请求参数 resp, err : client.CreateChatCompletion( context.Background(), openai.ChatCompletionRequest{ Model: modelId, Messages: []openai.ChatCompletionMessage{ { Role: openai.ChatMessageRoleUser, Content: prompt, }, }, }, ) if err ! nil { panic(err) } // 打印模型输出 fmt.Println(resp.Choices[0].Message.Content) } 图像理解 java package main import ( "bytes" "crypto/tls" "encoding/json" "fmt" "io/ioutil" "net/http" ) func main() { url : " apiKey : "yourappkey" // 替换为自己的App key modelId : "xirangmodelid" // 替换为实际的model Id // 创建不验证证书的 HTTP 客户端 tr : &http.Transport{ TLSClientConfig: &tls.Config{InsecureSkipVerify: true}, } client : &http.Client{Transport: tr} // 构建请求负载 payload : map[string]interface{}{ "model": modelId, "messages": []map[string]interface{}{ { "role": "user", "content": []map[string]interface{}{ { "type": "text", "text": "描述下这张图", }, { "type": "imageurl", "imageurl": map[string]interface{}{ "url": " }, }, }, }, }, "streamoptions": map[string]interface{}{ "includeusage": true, }, "paralleltoolcalls": true, "stream": false, } // 将负载转换为 JSON jsonPayload, err : json.Marshal(payload) if err ! nil { fmt.Printf("JSON 编码错误: %vn", err) return } // 创建请求 req, err : http.NewRequest("POST", url, bytes.NewBuffer(jsonPayload)) if err ! nil { fmt.Printf("创建请求错误: %vn", err) return } // 设置请求头 req.Header.Set("Authorization", "Bearer "+apiKey) req.Header.Set("ContentType", "application/json") // 发送请求 resp, err : client.Do(req) if err ! nil { fmt.Printf("请求发送错误: %vn", err) return } defer resp.Body.Close() // 读取响应 body, err : ioutil.ReadAll(resp.Body) if err ! nil { fmt.Printf("读取响应错误: %vn", err) return } // 检查状态码 if resp.StatusCode > 200 && resp.StatusCode 'a' && r 'A' && r '0' && r 50 { safePrompt safePrompt[:50] } filename : fmt.Sprintf("%s%d.png", safePrompt, time.Now().Unix()) filepath : filepath.Join(outputDir, filename) // 保存图像 if err : ioutil.WriteFile(filepath, imgData, 0644); err ! nil { return "", fmt.Errorf("保存文件失败: %v", err) } return filepath, nil } func main() { apiKey : "yourappkey" // 替换为实际的app key modelId : "xirangmodelid" // 替换为实际的modelId outputDir : "images" size : "1024x1024" prompt : "一只戴帽子的可爱小海獭" filepath, err : generateImage(prompt, apiKey, modelId, outputDir, size) if err ! nil { log.Fatalf("错误: %v", err) } log.Printf("图像已保存至: %s", filepath) } embedding文本向量化 java package main import ( "context" "fmt" openai "github.com/sashabaranov/goopenai" ) func main() { baseUrl : " // API前缀地址 appkey : "yourappkey" // 替换成自己的App Key modelId : "xirangmodelid" // 替换成实际的模型ID text : "测试文本" // 需要生成嵌入向量的文本 // 创建自定义配置 config : openai.DefaultConfig(appkey) config.BaseURL baseUrl // 创建客户端 client : openai.NewClientWithConfig(config) // 构建Embedding请求 resp, err : client.CreateEmbeddings( context.Background(), openai.EmbeddingRequest{ Model: openai.EmbeddingModel(modelId), Input: []string{text}, // 注意Input是字符串切片 }, ) if err ! nil { panic(err) } // 打印结果 fmt.Printf("嵌入向量维度: %dn", len(resp.Data[0].Embedding)) fmt.Printf("前5个向量值: %vn", resp.Data[0].Embedding[:5]) fmt.Printf("使用令牌数: %dn", resp.Usage.TotalTokens) } rerank 重排序 java package main import ( "bytes" "encoding/json" "fmt" "io/ioutil" "net/http" ) func main() { apiURL : " apiKey : "yourappkey" // 替换成自己的App Key modelID : "xirangmodelid" //替换成实际的modelId // 请求数据 requestData : map[string]interface{}{ "query": "Python教程", "documents": []string{"Python基础语法", "Python高级特性", "Java编程入门"}, "model": modelID, "topn": 2, } // 编码为 JSON jsonData, : json.Marshal(requestData) // 创建请求 req, : http.NewRequest("POST", apiURL, bytes.NewBuffer(jsonData)) req.Header.Set("Authorization", "Bearer "+apiKey) req.Header.Set("ContentType", "application/json") // 发送请求 client : &http.Client{} resp, err : client.Do(req) if err ! nil { fmt.Printf("请求失败: %v", err) return } defer resp.Body.Close() // 读取响应 body, : ioutil.ReadAll(resp.Body) // 解析结果 var result map[string]interface{} if err : json.Unmarshal(body, &result); err ! nil { fmt.Printf("解析结果失败: %v", err) return } // 打印结果 fmt.Printf("查询: '%s'n", requestData["query"]) fmt.Println("返回结果:") if results, ok : result["results"].([]interface{}); ok { for i, item : range results { doc : item.(map[string]interface{}) fmt.Printf("%d. [得分: %.4f] %sn", i+1, doc["relevancescore"].(float64), requestData["documents"].([]string)[int(doc["index"].(float64))], ) } } else { fmt.Println("无效的响应格式") } }
        来自:
        帮助文档
        Token服务(原模型推理服务)
        快速入门
        快速入门
      • gRPC协议治理
        前提条件 1. 已开通云容器引擎,至少有一个云容器引擎集群实例。产品入口:云容器引擎。 2. 开通天翼云服务网格实例。 操作步骤 gRPC是远程过程调用框架(RPC),有多语言的实现,底层采用HTTP2作为传输协议;由于HTTP2采用长连接机制,在负载均衡的场景下可能导致负载的不平衡,本文介绍负载不均衡的场景以及如何通过服务网格实现负载均衡。 部署gRPC server和client应用。 apiVersion: apps/v1 kind: Deployment metadata: name: grpcserverv1 labels: app: grpcserver version: v1 spec: replicas: 1 selector: matchLabels: app: grpcserver version: v1 template: metadata: labels: app: grpcserver version: v1 spec: containers: args: address0.0.0.0:8080 image: registryvpccrshuadong1.cnspinternal.ctyun.cn/library/grpcserver imagePullPolicy: Always name: grpcserver ports: containerPort: 8080 apiVersion: apps/v1 kind: Deployment metadata: name: grpcserverv2 labels: app: grpcserver version: v2 spec: replicas: 1 selector: matchLabels: app: grpcserver version: v2 template: metadata: labels: app: grpcserver version: v2 spec: containers: args: address0.0.0.0:8080 image: registryvpccrshuadong1.cnspinternal.ctyun.cn/library/grpcserver imagePullPolicy: Always name: grpcserver ports: containerPort: 8080 apiVersion: v1 kind: Service metadata: name: grpcserver labels: app: grpcserver spec: ports: name: grpcbackend port: 8080 protocol: TCP selector: app: grpcserver type: ClusterIP apiVersion: apps/v1 kind: Deployment metadata: name: grpcclient labels: app: grpcclient spec: replicas: 1 selector: matchLabels: app: grpcclient template: metadata: labels: app: grpcclient "sidecar.istio.io/inject": "true" spec: containers: image: registryvpccrshuadong1.cnspinternal.ctyun.cn/library/grpcclient imagePullPolicy: Always command: ["/bin/sleep", "3650d"] name: grpcclient 部署之后的pod列表(一个client,两个版本的server): 通过client访问server,可以看到总是访问服务端的同一个实例。 kubectl exec it grpcclientb7499b9c45d2s n grpc /bin/greeterclient insecuretrue addressgrpcserver:8080 repeat10 为grpc client注入sidecar(打上标签"sidecar.istio.io/inject": "true"),重新部署grpcclient之后可以看到pod列表如下: 再次通过grpcclient访问grpcserver可以看到请求交替访问两个版本的grpcserver: 部署流量治理策略使70%的流量访问v2版本的grpcserver,30%的流量访问v1版本的grpcserver。 apiVersion: networking.istio.io/v1alpha3 kind: DestinationRule metadata: name: drgrpcserver spec: host: grpcserver trafficPolicy: loadBalancer: simple: ROUNDROBIN subsets: name: v1 labels: version: "v1" name: v2 labels: version: "v2" apiVersion: networking.istio.io/v1alpha3 kind: VirtualService metadata: name: vsgrpcserver spec: hosts: "grpcserver" http: match: port: 8080 route: destination: host: grpcserver subset: v1 weight: 30 destination: host: grpcserver subset: v2 weight: 70 再次访问可以看到请求在grpcserver的两个版本之间不再是交替访问,而是大概按照7:3的比例访问:
        来自:
        帮助文档
        应用服务网格
        用户指南
        流量管理中心
        多协议治理
        gRPC协议治理
      • DSC支持解析的非结构化文件类型?
        序号 文件类型 序号 文件类型 1 Access数据库文件 74 Pdf文档 2 Arff文件 75 Perl源代码 3 Asp文件 76 Pgp文件 4 Atom文件 77 Php源代码 5 Bat文件 78 Pkcs7数字证书文件 6 Bcpl源代码 79 Plist文件 7 Bib文件 80 Postgres数据库文件 8 C源代码 81 Postscript文档 9 C/C+源代码 82 Powerpoint文档 10 Cad Sldworks文件 83 Properties文件 11 Cad文档 84 Publisher文件 12 Cbor文件 85 Python源代码 13 Cfg文件 86 QuattroPro电子表格 14 Chm文件 87 Redis数据库文件 15 Com可执行文件 88 Rss文件 16 Css文件 89 Rtf文档 17 Datax配置文件 90 Ruby源代码 18 Dbf文件 91 R源代码 19 Dif文件 92 Sas7Bdat文件 20 Dita文件 93 Sas文件 21 Djvu文档 94 Scala源代码 22 Dos可执行文件 95 Shell脚本 23 D源代码 96 Sqlite3数据库文件 24 Elf可执行文件 97 Sqlserver数据库文件 25 Epub电子书 98 Sql源代码 26 Excel文档 99 Ssh公钥 27 Fdf文档 100 Ssh配置文件 28 Fictionbook Xml文件 101 Ssh私钥 29 Ftp会话文件 102 Staroffice文档 30 Gnuccash财务xml文件 103 Swift源代码 31 Go源代码 104 Tab文件 32 Groovy源代码 105 Tcl源代码 33 Hdr文件 106 Text文件 34 Hocon文件 107 Tff文件 35 Html文件 108 Tnef文件 36 Htm文件 109 Tomcat Application配置文件 37 Hwp文件 110 Tomcat Users配置文件 38 Ibooks文件 111 Tomcat配置文件 39 Iis配置文件 112 Toml文件 40 Ini文件 113 Tsd文件 41 IsaTab文件 114 Tsv文件 42 Iwork文档 115 Vcs文件 43 Java Jce Keystore文件 116 Visio文档 44 Java Keystore文件 117 Visualbasic源代码 45 Javascript源代码 118 Vrml虚拟现实建模语言代码 46 Java源代码 119 Webarchive文件 47 Json文件 120 Weblogic配置文件 48 Jsp源代码 121 Webvtt文件 49 Latex源代码 122 Windowsinf文件 50 Log日志文件 123 Windows帮助全文搜索引 51 Lua源代码 124 Windows预编译文件 52 Mariadb数据库文件 125 Wordperfect文档 53 Markdown文档 126 Word文档 54 Matlab源代码 127 Wpd文档 55 Mbox文件 128 Wps文档 56 Mhtml文件 129 Xdp文件 57 Microsoft Reader文档 130 Xfdf文件 58 Mongodb数据库文件 131 Xhtml文件 59 Mrs配置文件 132 Xlf文件 60 Msworks文档 133 Xliff文件 61 Mysql数据库文件 134 Xlr文件 62 Netcdf文件 135 Xlz文件 63 ObjectiveC源代码 136 Xml Sitemap文件 64 Obs配置文件 137 Xml文件 65 Office文档 138 Xmp文件 66 Onenote文件 139 Xps文档 67 Opendocument文件 140 Xpt文件 68 Openvpn配置文件 141 Yaml文件 69 Oracle数据库文件 142 常见数字证书文件 70 Outlook文件 143 空文件 71 Pascal源代码 144 配置文件windows Initialization 72 Pbm文件 145 其他普通未加密文本文件 73 Pcx文件 146 邮件文档
        来自:
        帮助文档
        数据安全中心
        常见问题
        产品咨询类
        DSC支持解析的非结构化文件类型?
      • 备份迁移
        / EXEC master.dbo.spaddlinkedsrvlogin @rmtsrvnameN'DRSTESTREMOTE',@useselfN'False',@localloginNULL,@rmtuserN'sa',@rmtpassword' ' GO 以上脚本为范例,创建的脚本可能包含大量系统默认配置项,但是每个DBLink仅需保留以下两个关键脚本即可执行成功,同时需要注意重新输入账号连接密码。 Agent JOB Agent JOB又名SQL Server代理服务,可以方便用户快速的在实例上创建定时任务,帮助用户进行日常运维和数据处理工作,用户在本地的JOB需要手动进行脚本迁移。 步骤 4 通过微软提供的官方Microsoft SQL Server Management Studio客户端工具连接本地实例与云上实例,同时在“SQL Server代理 > 作业”下找到当前实例上的所有JOB任务。 图 查看作业 步骤 5 选择SQL Server代理下的作业,然后按F7,可以在对象资源管理器中看到所有的作业(JOB),全部选中后创建脚本到新窗口。 图 创建脚本 步骤 6 复制新窗口中的TSQL创建脚本到新实例上,然后注意修改如下几个关键项,以保障你的创建成功。 注意修改每个JOB上的Ower账号: 例如: @ownerloginnameN'rdsuser' 注意修改每个JOB上的实例名称: 例如: @serverN'实例IP' @servername N'实例IP' 新建JOB的Owner账号十分重要,在RDS SQL Server上,仅有该JOB的Owner可以看到实例上自己的JOB,别的Login账号是看不到无法操作的,所以建议所有的JOB Owner尽量是同一个账号方便管理。 关键配置 用户将数据库还原到RDS for SQL Server实例上之后,本地的一些重要配置项也需要进行同步确认,避免影响业务的正常使用。 1. tempdb:临时数据库的文件配置需要进行同步。 推荐配置为8个临时文件,注意路径一定要确保在D:RDSDBDATATemp 通过在目标数据库端执行如下脚本添加临时数据库的文件配置: USE [master] GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb1', FILENAME N'D:RDSDBDATATemptempdb1.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb2', FILENAME N'D:RDSDBDATATemptempdb2.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb3', FILENAME N'D:RDSDBDATATemptempdb3.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb4', FILENAME N'D:RDSDBDATATemptempdb4.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb5', FILENAME N'D:RDSDBDATATemptempdb5.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb6', FILENAME N'D:RDSDBDATATemptempdb6.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb7', FILENAME N'D:RDSDBDATATemptempdb7.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO 图 检查临时文件 2. 数据库隔离级别:请确认原实例上数据库的隔离级别是否开启,并同步到RDS SQL Server实例,快照隔离参数有2个,分别是: − 读提交快照(Is Read Committed Snapshot On) − 允许快照隔离(Allow Snapshot Isolation) 若原实例上数据库的隔离级别是开启的,您可以通过在目标数据库端执行如下脚本开启数据库的隔离级别: USE [DBName] GO ALTER DATABASE [DBName] SET READCOMMITTEDSNAPSHOT ON WITH NOWAIT GO ALTER DATABASE [DBName] SET ALLOWSNAPSHOTISOLATION ON GO 3. 实例最大并行度:实例最大并行度在RDS for SQL Server实例上默认设置为0,用户也可以根据自己本地原来的设置项进行同步设置,避免不同环境下业务场景出现异常。 右击本地实例选择属性,在服务器属性弹出框中选择高级,然后在右侧找到最大并行度(max degree of parallelism)设置项,确认本地实例设置值,并同步在目标RDS for SQL Server实例管理的参数组中进行修改。 图 查看本地实例最大并行度值 登录本云实例控制台,在实例管理页,单击目标实例名称,进入基本信息页签,切换至“参数修改”,搜索最大并行度(max degree of parallelism)并进行修改。 图 修改目标RDS for SQL Server实例的最大并行度 4. 迁移上云的数据库恢复模式是否为完整(FULL)模式,如果不是需要进行修改。 右击数据库选择属性,在弹出数据库属性框中选择选项,并在右侧确认该数据库恢复模式为完整(FULL),保证该数据库高可用和备份策略可执行。 图 检查数据库恢复模式
        来自:
        帮助文档
        数据库复制
        常见问题
        备份迁移
      • 通过全量备份文件恢复到自建PostgreSQL数据库
        步骤一:在RDS for PostgreSQL下载全量备份文件 RDS for PostgreSQL实例会在固定时间进行自动全备任务,也可以由您指定时间进行手动全备任务,其生成的.tar.gz文件支持下载以及在本地进行恢复自建数据库。 1. 您可以在RDS界面单击实例名称,选择“备份恢复 > 全量备份 > 下载”,详见下载实例级备份文件。 2. 通过文件传输工具(例如WinSCP)将全备文件上传到本地PostgreSQL库所在的Linux设备。 步骤二:使用备份文件恢复数据到自建PostgreSQL 使用说明 以下步骤请根据实际情况修改: 1. RDS for PostgreSQL备份文件解压前后建议存放在不同目录下。 − 解压前文件:/home/postgres/全备文件.tar.gz − 解压后目录:/home/postgres/backuprds 2. “/home/postgres/backuplocal”目录存放本地PostgreSQL数据库“data”目录下的两个配置文件“postgresql.conf”和“pghba.conf”。 3. 使用postgres用户作为本地PostgreSQL数据库的安装用户。 4. 使用$PGDATA代替本地PostgreSQL数据库“data”目录,执行以下命令获取本地PostgreSQL数据库“data”目录。 su postgres psql hostlocalhost port dbnamepostgres usernamepostgres c "show datadirectory;" DBPORT为本地自建数据库实例的端口,默认值为5432,请以实际配置为准。 操作步骤 1. 切换至postgres用户并创建一个临时目录“backuprds”,以下所有步骤使用postgres用户执行。 su postgres mkdir /home/postgres/backuprds 2. 停止本地PostgreSQL数据库服务。 pgctl stop D $PGDATA 3. 创建临时目录保存本地PostgreSQL数据库data目录下的两个配置文件(“postgresql.conf”、“pghba.conf”)。 mkdir /home/postgres/backuplocal cp $PGDATA/pghba.conf $PGDATA/postgresql.conf /home/postgres/backuplocal 4. 清空本地数据库的“data”目录。 注意 操作前请确保“$PGDATA/”目录下的数据已经不再需要,请谨慎操作。 执行ls l $PGDATA查看“$PGDATA/”目录下的文件。 rm rf $PGDATA/ 5. 执行如下命令,将备份解压到1中准备的目录。 说明 若使用root用户上传RDS for PostgreSQL备份文件到“/home/postgres/全备文件.tar.gz”,该文件会存在权限问题,需要修改该文件属主。 1. 执行sudo su切换至root用户。 2. 执行chown R postgres:postgres /home/postgres/全备文件.tar.gz修改该文件属主为postgres用户。 3. 执行su postgres切换回postgres用户。 tar zxf /home/postgres/全备文件.tar.gz C /home/postgres/backuprds 解压后会在“/home/postgres/backuprds”目录下产生以下目录: − 一个“base”目录,存放全量文件。 − 一个“pgwal”目录,为增量文件目录。如果PostgreSQL版本为9.x,则为“pgxlog”目录。 − N个以数字命名的表空间目录(如果原备份存在表空间文件)。 6. 将5和3中的文件按顺序拷贝到本地数据库指定目录下。 a. 将解压出来的“base”目录下的文件,全部拷贝到本地数据库“data”目录,然后用3中保存的配置文件,覆盖本地数据库“data”目录下的两个文件。 cp r /home/postgres/backuprds/base/ $PGDATA cp r /home/postgres/backuplocal/ $PGDATA b. 将解压出来的“pgwal”目录(如果PostgreSQL版本为9.x,则为“pgxlog”目录)下的文件,拷贝到本地数据库“data”下的“pgwal”目录(如果PostgreSQL版本为9.x,则为“pgxlog”目录)。 cp r /home/postgres/backuprds/pgwal/ $PGDATA/pgwal c. (可选)如果原备份存在表空间文件,修改“data/tablespacemap”文件中对应的表空间软链接信息: 复制表空间文件到“/tmp/tblspc/”目录下。 若解压文件中存在多个表空间目录,请多次执行cp r /home/postgres/backuprds/$tablespace /tmp/tblspc命令,确保所有表空间复制到“/tmp/tblspc”目录。 mkdir /tmp/tblspc cp r /home/postgres/backuprds/$tablespace /tmp/tblspc $tablespace为5中解压出的以数字命名的表空间名称。 删除本地数据库“data”目录“/tablespacemap”文件。 rm rf $PGDATA/tablespacemap 添加本地数据库“data”目录“/tablespacemap”文件的配置信息,若解压文件中存在多个表空间目录请多次执行以下命令,确保表空间软链接信息配置完整。 echo "$tablespace /tmp/tblspc/$tablespace" >> $PGDATA/tablespacemap 7. 重新启动数据库,等待数据库恢复完成。 pgctl start D $PGDATA 说明 如果备份期间云数据库有较大的写业务,“pgwal”目录下会有较多的WAL日志,数据库启动时回放WAL的时间可能较长,启动命令可能会超时失败。 执行ps uxwwf grep 'startup'命令查看startup进程的状态来判断当前恢复的进度。
        来自:
        帮助文档
        关系数据库PostgreSQL版
        用户指南
        数据恢复
        通过全量备份文件恢复到自建PostgreSQL数据库
      • 动态资源
        本章节主要介绍翼MapReduce的动态资源操作。 简介 Yarn是大数据集群中的分布式资源管理服务,大数据集群为Yarn分配资源,资源总量可配置。Yarn内部为任务队列进一步分配和调度计算资源。对于Mapreduce、Spark、Flink和Hive的任务队列,计算资源完全由Yarn来分配和调度。 Yarn任务队列是计算资源分配的基本单位。 对于租户,通过Yarn任务队列申请到的资源是动态资源。用户可以动态创建并修改任务队列的配额,可以查看任务队列的使用状态和使用统计。 资源池 现代企业IT经常会面对纷繁复杂的集群环境和上层需求。例如以下业务场景: 集群异构,集群中各个节点的计算速度、存储容量和网络性能存在差异,需要把复杂应用的所有任务按照需求,合理地分配到各个计算节点上。 计算分离,多个部门需要数据共享,但是需要把计算完全分离在不同的计算节点上。 这就要求对计算资源的节点进一步分区。 资源池用来指定动态资源的配置。Yarn任务队列和资源池关联,可实现资源的分配和调度。 一个租户只能设置一个默认资源池。用户通过绑定租户相关的角色,来使用该租户资源池的资源。若需要使用多个资源池的资源,可通过绑定多个租户相关的角色实现。 调度机制 Yarn动态资源支持标签调度(Label Based Scheduling)策略,此策略通过为计算节点(Yarn NodeManager)创建标签(Label),将具有相同标签的计算节点添加到同一个资源池中,Yarn根据任务队列对资源的需求,将任务队列和有相应标签的资源池动态关联。 例如,集群中有40个以上的节点,根据各节点的硬件和网络配置,分别用Normal、HighCPU、HighMEM、HighIO为四类节点创建标签,添加到四个资源池中,资源池中的各节点性能如下表所示。 不同资源池中的各节点性能 标签名 节点数 硬件和网络配置 添加到 关联 Normal 10 一般 资源池A 普通的任务队列 HighCPU 10 高性能CPU 资源池B 计算密集型的任务队列 HighMEM 10 大量内存 资源池C 内存密集型的任务队列 HighIO 10 高性能网络 资源池D IO密集型的任务队列 任务队列只能使用所关联的资源池里的计算节点。 普通的任务队列关联资源池A,使用硬件和网络配置一般的Normal节点。 计算密集型的任务队列关联资源池B,使用具有高性能CPU的HighCPU节点。 内存密集型的任务队列关联资源池C,使用具有大量内存的HighMEM节点。 IO密集型的任务队列关联资源池D,使用具有高性能网络的HighIO节点。 Yarn任务队列与特定的资源池关联,可以更有效地使用资源,保证节点性能充足且互不影响。 FusionInsight Manager中最多支持添加50个资源池。系统默认包含一个默认资源池。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        多租户介绍
        技术原理
        动态资源
      • 配置Ranger数据连接
        本章节主要介绍如何配置Ranger数据连接。 本指导旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除。也能够避免集群迁移时Ranger元数据的迁移。 前置条件 已创建RDS服务MySQL数据库的实例,请参考 管理数据连接章节配置数据连接 中的 创建数据连接。 说明 对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考 管理数据连接章节[配置数据连接]( ) 中的 数据连接前置操作,新建用户并为该用户进行赋权。 对于MRS 3.x及之后版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,数据库用户不允许为root用户,请参考 管理数据连接章节[配置数据连接]( )中的 数据连接前置操作,新建用户并为该用户进行赋权。 Ranger元数据外置到Mysql前置操作 该前置操作仅在MRS 3.1.0及之后版本需要执行。 1.登录FusionInsight Manager页面,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。选择“集群 > 服务 > 服务名称 ”。 当前MRS 3.1.x集群支持Ranger鉴权的组件为: HDFS、HBase、Hive、Spark、Impala、Storm、Kafka组件。 2.在服务“概览”页面右上角单击“更多 > 停用Ranger鉴权”,如果“停用Ranger鉴权”是灰色,则表示未开启Ranger鉴权无需停用Ranger鉴权,如下图所示。 3.(可选)如需使用已有鉴权策略请执行该步骤在Ranger Web页面导出已有组件的鉴权策略,切换Ranger元数据完成后可重新导入已有的鉴权策略。此处以Hive为例,导出后会生成本地的json格式的策略文件。 a.登录FusionInsight Manager页面。 b.选择“集群 > 服务 > Ranger”,进入Ranger服务概览页面。 c.单击“基本信息”区域中的“RangerAdmin”,进入Ranger WebUI界面。 admin用户在Ranger中的用户类型为“User”,如需查看所有管理页面,可点击右上角用户名后,选择“Log Out”,退出当前用户。 d.使用rangeradmin用户(默认密码为Rangeradmin@123)或者其他具有Ranger管理员权限用户重新登录。 e.单击Hive组件对应行的导出按钮,导出鉴权策略。 详见下图:导出鉴权策略 f.单击“Export”,导出后会生成本地的json格式的策略文件。 详见下图: 导出Hive鉴权策略
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        管理数据连接
        配置Ranger数据连接
      • 查询容灾保护组列表
        请求示例 请求头header 无 请求体body json { "regionID":"81f7728662dd11ec810800155d307d5b" } 响应示例 json { "returnObj": { "currentCount": 2, "totalCount": 2, "totalPage": 1, "disasterPairTotal": 2, "disasterPairList": [ { "protectedName": "protectedtest01", "notCopyCnt": 0, "serverCnt": 0, "typeCode": 0, "pairID": "9fc54f236da04640b2a36d8ed5ed39e9", "drName": "drtest01", "healthCnt": 0, "pairName": "protectedtest01drtest01", "RPOLoadCnt": 0, "typeName": "区域容灾", "vpcName": "defaultvpc3c79a06a0", "createTimeDesc": "20230727 15:14:49", "copyFailCnt": 0, "regionName": "西北内蒙演示1" }, { "protectedName": "az1", "notCopyCnt": 1, "serverCnt": 1, "typeCode": 0, "pairID": "d0541cfd93f948ceac57efb8e7136565", "drName": "az2", "healthCnt": 0, "pairName": "az1az2", "RPOLoadCnt": 0, "typeName": "区域容灾", "vpcName": "defaultvpc3c79a06a0", "createTimeDesc": "20230615 18:34:01", "copyFailCnt": 0, "regionName": "西北内蒙演示1" } ] }, "message": "SUCCESS", "description": "成功", "statusCode": 800 } 状态码 状态码 描述 800 表示请求成功。
        来自:
        帮助文档
        云容灾 CDR
        API参考
        API(公测中)
        管理容灾保护组
        查询容灾保护组列表
      • 使用Packer制作私有镜像
        或者 packer version 或者 packer machinereadable version 设定 Packer。 2. 安装Packer QEMU插件。 Packer QEMU 插件提供了一个构建器(Builder),使得 Packer 能够利用 QEMU 来创建和定制镜像文件。 plaintext 安装qemu packer插件 packer plugins install github.com/hashicorp/qemu 3. 准备JSON模板文件。 Packer 使用 Template 模板文件来定义构建过程。它指定了构建器(Builders)、配置器(Provisioners)和后处理器(PostProcessors)等组件的配置,这些组件共同工作以创建机器镜像。 Template 文件通常使用 JSON 或 HashiCorp Configuration Language (HCL) 格式编写,详细内容请参考: net.ifnames0 biosdevname0 text ks .HTTPIP }}:{{ .HTTPPort }}/{{user configfile}} " ], "disksize": "{{user disksize}}", "diskdiscard": "unmap", "diskcompression": true, "headless": "{{user headless}}", "shutdowncommand": "shutdown P now", "shutdowntimeout": "5m", "outputdirectory": "artifacts/qemu/{{user name}}{{user version}}" } ], "provisioners": [ { "type": "file", "source": "/root/automation.zip", "destination": "/root/automation.zip" }, { "type": "shell", "executecommand": "echo 'packer'{{.Vars}} sudo S E bash '{{.Path}}'", "inline": [ "unzip /root/automation.zip d /root", "chmod u+x /root/automation/creatingmirrorscripts.sh", "/root/automation/creatingmirrorscripts.sh" ], "expectdisconnect": true, "validexitcodes": [0, 1] } ], "postprocessors": [ { "type": "shelllocal", "inline": [ "mv artifacts/qemu/{{user name}}{{user version}}/packer{{user name}}{{user version}} artifacts/qemu/{{user name}}{{user version}}/ctyunos22.06230117x8664dve240929R1.qcow2" ] } ] } 4. 准备Kickstart 配置文件。 Kickstart 配置文件(通常命名为ks.cfg),主要用于自动化安装操作系统。该文件详细定义了安装过程的各个方面,包括系统的镜像地址、安装方式、分区设置等。只要系统在获取到这个文件后,就会按照文件中所定义的配置方式进行安装。 本示例中将Kickstart 配置文件命名为 ctyunos2206.cfg,在上述模板示例文件 ctyunosexample.json 的参数 "variables" 中引用 "configfile": "ctyunos2206.cfg"。内容如下: plaintext
        来自:
        帮助文档
        镜像服务 IMS
        最佳实践
        使用Packer制作私有镜像
      • 错误码列表
        本节主要介绍初始化的错误码。 HTTP status 错误码 错误信息 描述 400 BadUserName Value 'value ' at 'argument' failed to satisfy constraint: Argument can only contain letters and digits, and has length between 5 and 16. 用户名不合法。取值:字符串形式,长度范围是5~16,只能由数字和字母组成,字母区分大小。 400 CanNotConnectToIP Can not connect to the IP IP. 无法连接指定的IP。 400 CanNotConnectToServer Can not connect to the server IP[:port]. 无法连接指定的服务器。 400 ClusterNetworkDoesNotMatch All IPs on the server serverIP do not match the 'cluster network' clusterNetwork. 服务器的IP和cluster network不匹配。 400 DuplicateIP The IP IP of 'argument' is duplicated. 服务的IP地址重复。 400 InconsistentIPformat The server IPs in the cluster should be unified as IPv4 or IPv6 format when cluster network is not specified. 如果不指定集群网络,集群内服务器IP应统一为IPv4或IPv6格式。 400 InsufficientPath The base storage pool must have at least one disk path. 基础存储池至少要有一个数据目录。 400 InsufficientPorts Insufficient available ports for server server . Expand the port range to support N additional ports. 服务器X端口范围中可用端口数量不足,请调整范围使之至少增加N个端口。 400 InvalidCIDR Value CIDR at 'networkType network' failed to satisfy constraint: Argument does not match the IP of the 'localhost'/'127.0.0.1'/'0:0:0:0:0:0:0:1' server. 当server ip包含localhost、127.0.0.1或0:0:0:0:0:0:0:1时,用户指定的'cluster/public network和服务器IP不匹配。 400 InvalidClusterNetwork Value clusterNetwork at 'cluster network' failed to satisfy constraint: Argument must satisfy CIDR specifications. 集群网格式错误。 400 InvalidDiskPath The disk paths do not exist: serverIP :diskPaths [,diskPaths ...][; serverIP :diskPaths [,diskPaths...]]. The available disk space must be greater than or equal to 1 GiB for each disk path: serverIP :diskPaths [,diskPaths ...][; serverIP :diskPaths [,diskPaths...]]. The disk paths can not access: serverIP :diskPaths [,diskPaths ...][; serverIP :diskPaths [,diskPaths...]]. The disk paths must be directory: serverIP :diskPaths [,diskPaths ...][; serverIP :diskPaths [,diskPaths...]]. The disk paths include incompatible data: serverIP :diskPaths [,diskPaths ...] [; serverIP :diskPaths [,diskPaths...]]. The disk paths include unsupported symbols: serverIP :diskPaths [,diskPaths ...] [; serverIP :diskPaths [,diskPaths...]]. 初始化过程中,因数据目录有问题而导致的失败。 400 InvalidDiskPathCapacityQuota The capacity quota for the following disk paths failed to satisfy constraint. It must be integer and not greater than the total capacity of disk path. serverIP:diskPaths [,diskPaths...] [;serverIP:diskPaths[,diskPaths...]..]. 容量配额参数错误。 400 InvalidEnumValue Value value at 'argument ' failed to satisfy constraint: Argument must satisfy enum value set: [value1, value2... ]. 枚举参数不合法。 400 InvalidIP Value IP at 'argument' failed to satisfy constraint: Argument must satisfy IPv4 or IPv6 specifications. IP格式错误。 400 InvalidLong Value value at 'argument' failed to satisfy constraint: Argument must be of type long. 参数填写错误,必须为长整型。 400 InvalidMetaDir The meta directory serverIP :metaDir is invalid. reason 服务数据目录无效,请修改后重试。 400 InvalidNewPassword Value 'value' at 'new password' failed to satisfy constraint: Argument must have length between 8 and 16, and must contain 3 of the following: uppercase letters, lowercase letters, digits, special symbols (~ ! @
        来自:
        帮助文档
        存储资源盘活系统
        API参考
        初始化
        错误码列表
      • 新建一个作业对账实例
        本章节主要介绍新建一个对账作业实例的操作。 场景说明 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源,介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。 环境准备 需要准备好对账的数据源,即通过管理中心分别创建数据连接,用于跨源数据对账。 操作步骤 1.建立跨源数据连接。 a.创建DLI数据连接。在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据湖探索(DLI)”,输入数据连接名称,单击“测试”,提示连接成功,单击“确定”。 b.创建DWS数据连接。在DataArts Studio管理中心模块,单击创建数据连接,数据连接类型选择“数据仓库服务(DWS)”,输入数据连接名称,设置其他参数,如下图所示,单击“测试”,提示连接成功,单击“确定”。 2.创建对账作业。 a.在DataArts Studio数据质量模块,单击左侧导航菜单“对账作业”。 b.单击“新建”,配置对账作业的基本信息,如下图所示。 c.单击“下一步”,进入规则配置页面。您需要点击规则卡片中的,然后配置对账规则,如下图所示。 说明 要分别配置源端和目的端的信息。 配置告警条件,其中点击左侧的表行数 (${11})表示左侧源端选中表的行数,点击右侧表行数 (${21})表示目的端表行数。此处配置告警条件为 ${11}!${21},表示当左侧表行数与右侧表行数不一致时,触发报警并显示报警状态。 d.单击“下一步”,配置订阅信息,如下图所示。 说明 勾选触发告警表示作业报警时发送通知到对应的smn主题,勾选运行成功表示不报警时发送通知到SMN主题。 e.单击“下一步”,配置调度方式,如下图所示。 说明 单次调度表示需要手动触发运行,周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例,设置每15分钟触发运行一次对账作业为例的配置。 3.查看对账作业 a.单击对应的对账作业操作列中的运行链接,运行对账作业后,自动跳转到运维管理页面。 b.单击结果&日志查看运行结果和运行日志,等待作业运行结束后,如下图所示。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据质量
        使用教程
        新建一个作业对账实例
      • Service Annotations说明
        参数 类型 描述 控制台默认取值 支持的集群版本 kubernetes.io/elb.class String 请根据不同的应用场景和功能需求选择合适的负载均衡器类型。取值如下: union:共享型负载均衡。 performance:独享型负载均衡,仅支持1.17及以上集群 performance v1.9及以上 kubernetes.io/elb.id String 为负载均衡实例的ID,取值范围:1100字符。在关联已有ELB时:必填。获取方法:在控制台的“服务列表”中, 单击“网络 > 弹性负载均衡 ELB”,单击ELB的名称,在ELB详情页的“基本信息”页签下找到“ID”字段复制即可。 无 v1.9及以上 kubernetes.io/elb.protocolport String Service使用7层能力配置端口。详细使用请参见 无 v1.19.16及以上 kubernetes.io/elb.certid String Service使用7层能力配置HTTPS证书。详细使用请参见 无 v1.19.16及以上 kubernetes.io/elb.subnetid String 为集群所在子网的ID,取值范围:1100字符。l Kubernetes v1.11.7r0及以下版本的集群自动创建时:必填l Kubernetes v1.11.7r0以上版本的集群:可不填。 无 v1.11.7r0以下必填v1.11.7r0以上该字段废弃 kubernetes.io/elb.enterpriseID String v1.15及以上版本的集群支持此字段,v1.15以下版本默认创建到default项目下。 为ELB企业项目ID,选择后可以直接创建在具体的ELB企业项目下。该字段不传(或传为字符串'0'),则将资源绑定给默认企业项目。 获取方法:登录控制台后,单击顶部菜单右侧的“企业 > 项目管理”,在打开的企业项目列表中单击要加入的企业项目名称, 进入企业项目详情页,找到“ID”字段复制即可。 无 v1.15及以上 kubernetes.io/elb.autocreate 自动创建service关联的ELB示例: 公网自动创建:值为'{"type":"public","bandwidthname":"ccebandwidth1551163379627","bandwidthchargemode": "bandwidth","bandwidthsize":5,"bandwidthsharetype":"PER","eiptype":"5bgp","name":"james"}'l 私网自动创建: 值为'{"type":"inner", "name": "Alocationdtest"}' 无 v1.9及以上 kubernetes.io/elb.adaptiveweight String 根据Pod动态调整ELB后端云主机的权重。每个Pod收到的负载请求更加均衡。 开启:truel 关闭:false该参数仅1.21及以上集群适用,且ELB直通Pod场景下无效。 无 v1.21及以上 kubernetes.io/elb.lbalgorithm String 后端云主机组的负载均衡算法。取值范围: ROUNDROBIN:加权轮询算法。 LEASTCONNECTIONS:加权最少连接算法。 SOURCEIP:源IP算法。当该字段的取值为SOURCEIP时,后端云主机组绑定的后端的weight字段无效。云主机 ROUNDROBIN v1.9及以上 kubernetes.io/elb.healthcheckflag String 是否开启ELB健康检查功能。 开启:“(空值)”或“on” 关闭:“off”开启时需同时填写kubernetes.io/elb.healthcheckoption字段。 off v1.9及以上 kubernetes.io/elb.healthcheckoption ELB健康检查配置选项。 无 v1.9及以上 kubernetes.io/elb.passthrough String 集群内访问Service是否经过ELB。 无 v1.19及以上 kubernetes.io/elb.sessionaffinitymode String 负载均衡监听是基于IP地址的会话保持,即来自同一IP地址的访问请求转发到同一台后端服务器上。 不启用:不填写该参数。 开启会话保持:需增加该参数,取值“SOURCEIP”,表示基于源IP地址。 无 v1.9及以上 kubernetes.io/elb.aclid String 为ELB设置IP地址黑名单或白名单时需填写,参数值为ELB的IP地址组ID。 该参数仅独享型ELB生效,且仅在新建Service或指定新的服务端口(监听器)时生效。 无 v1.19.16v1.21.4 kubernetes.io/elb.aclstatus String 为ELB设置IP地址黑名单或白名单时需填写,取值为'on',表示开启访问控制。 无 v1.19.16v1.21.4 kubernetes.io/elb.acltype String 为ELB设置IP地址黑名单或白名单时需填写。l black:表示黑名单,所选IP地址组无法访问ELB地址。 white:表示白名单,仅所选IP地址组可以访问ELB地址。 该参数仅独享型ELB生效,且仅在新建Service或指定新的服务端口(监听器)时生效。 无 v1.19.16v1.21.4 kubernetes.io/elb.sessionaffinityoption ELB会话保持配置选项,可设置会话保持的超时时间。 无 v1.9及以上 kubernetes.io/hwshostNetwork Boolean 为标记工作负载服务是否使用主机网络模式。如果Pod使用的主机网络,开启这个annotation会ELB转发到主机网络的方式对接。 取值范围:“true”或者“false”默认是“false”,表示未使用主机网络。 无 v1.9及以上
        来自:
        帮助文档
        云容器引擎
        用户指南
        网络管理
        Service
        Service Annotations说明
      • 配置应用发现
        本节主要介绍配置应用发现 应用发现是指AOM通过配置的规则发现和收集您主机上部署的应用和关联的指标。从是否需要您来操作的角度区分应用发现方式,则有两种,自动发现和手动配置。本章节介绍手动配置操作。 自动发现 您的主机安装ICAgent后,ICAgent会根据内置发现规则发现主机上的应用,并呈现在“应用监控”界面。 手动配置 您可在“应用发现”界面添加一条自定义的应用发现规则,并应用至已安装ICAgent的主机上,ICAgent会根据您配置的应用发现规则发现主机上的应用,并呈现在“应用监控”界面。 过滤规则 ICAgent会在目标主机上进行周期性探测,类似ps e o pid,comm,lstart,cmd grep v defunct命令的效果,查出目标主机的所有进程。然后将每一个进程分别与过滤规则(过滤规则详见下表)进行匹配。如果进程满足过滤规则,则进程会被过滤掉,不会被AOM发现;如果进程不满足过滤规则,则进程不会被过滤,会被AOM发现。 探测结果类似如下回显信息: PID COMMAND STARTED CMD 1 systemd Tue Oct 2 21:12:06 2018 /usr/lib/systemd/systemd switchedroot system deserialize 20 2 kthreadd Tue Oct 2 21:12:06 2018 [kthreadd] 3 ksoftirqd/0 Tue Oct 2 21:12:06 2018 (ksoftirqd/0) 1140 tuned Tue Oct 2 21:12:27 2018 /usr/bin/python Es /usr/sbin/tuned l P 1144 sshd Tue Oct 2 21:12:27 2018 /usr/sbin/sshd D 1148 agetty Tue Oct 2 21:12:27 2018 /sbin/agetty keepbaud 115200 38400 9600 hvc0 vt220 1154 dockercontaine Tue Oct 2 21:12:29 2018 dockercontainerd l unix:///var/run/docker/libcontainerd/dockercontainerd.sock shim dockercontainerdshim starttimeout 2m statedir /var/run/docker/libcontainerd/containerd runtime dockerrunc metricsinterval0 过滤规则 过滤规则 举例 :: 如果进程的“COMMAND”列的值为“dockercontaine”、“vi”、“vim”、“pause”、“sshd”、“ps”、“sleep”、“grep”、“tailf”、“tail”或“systemdudevd”,且为非容器内的进程,则该类进程会被过滤掉,不会被AOM发现。 例如,上面信息中“PID”为“1154”的进程,因为其“COMMAND”列的值为“dockercontaine”,所以该进程不会被AOM发现。 如果进程的“CMD”列的值以“[”开头,且以“]”结尾,则该类进程会被过滤掉,不会被AOM发现。 例如,上面信息中“PID”为“2”的进程,因为其“CMD”列的值为“[kthreadd]”,所以该进程不会被AOM发现。 如果进程的“CMD”列的值以“(”开头,且以“)”结尾,则该类进程会被过滤掉,不会被AOM发现。 例如,上面信息中“PID”为“3”的进程,因为其“CMD”列的值为“(ksoftirqd/0)”,所以该进程不会被AOM发现。 如果进程的“CMD”列的值以“/sbin/”开头,则该类进程会被过滤掉,不会被AOM发现。 例如,上面信息中“PID”为“1148”的进程,因为其“CMD”列的值以“/sbin/”开头,所以该进程不会被AOM发现。
        来自:
        帮助文档
        应用运维管理
        用户指南
        资源接入AOM
        配置应用发现
      • 操作类
        如果让客户端和云存储网关服务端断开连接,应如何操作? 对于Windows客户端,需要先进行脱机才能断开连接,先断开备连接,再断开主连接,否则可能丢失数据。 对于Linux客户端,需要先执行sync命令才能断开连接,否则可能丢失数据。 如何确保Linux客户端在重启服务器之后能够直接挂载云存储网关创建的LUN? 在将云存储网关创建的LUN挂载到客户端之后,请参考以下步骤: 1. 在客户端使用命令lsblk f查看挂载设备的文件系统信息,找到文件系统对应的UUID: [root@client ~] lsblk f NAME FSTYPE LABEL UUID MOUNTPOINT sda mpathmember └─mpatha └─mpatha1 ext4 7269eef6e401454aacb4503d33337f21 /mnt/diskmpatha sdb mpathmember └─mpatha └─mpatha1 ext4 7269eef6e401454aacb4503d33337f21 /mnt/diskmpatha vda ├─vda1 swap 9e33bd6fc68c41c795c8703f4fe8c3d4 [SWAP] └─vda2 xfs a83f4fdc2ea14feca1e2a42016ce0afe / vdb └─vdb1 ext4 74296a9e8cfd470889b108086f71175b vdc └─vdc1 ext4 a9fedea4391e4d2a8824c9a3a6853394 2. 在/etc/fstab文件中新增云存储网关创建的LUN挂载信息,下次开机启动时可以自动挂载该LUN。 UUID7269eef6e401454aacb4503d33337f21 /mnt/diskmpatha ext4 defaults,netdev 0 0
        来自:
        帮助文档
        云存储网关
        常见问题
        操作类
      • 准备工作
        在部署天翼云TeleDB数据库前,您需要获取许可证文件、完成环境初始化并进行相关的数据库参数配置。 1. 获取许可证文件。 说明 请您联系天翼云商务代表获取许可证文件。 2. 环境初始化。 1. 挂载磁盘,对所有机器规划挂载目录,建议您控制台主机用app目录,实例主机用data目录。 1. 执行如下命令,格式化数据盘。若您使用的磁盘不是新盘需格式化数据盘。若您使用的是新盘则可跳过该步骤。 mkfs.xfs f i attr2 l lazycount1,sectsize4096 b size4096 d sectsize4096 L data /dev/vdb 2. 执行如下命令,创建根目录文件,提供给挂载数据盘使用。 mkdir p /app 3. 执行如下命令,挂载数据盘。 mount /dev/vdb /app 4. 执行如下命令,写入磁盘配置文件,开机自动挂载磁盘。 echo "/dev/vdb /app xfs defaults 0 0" >> /etc/fstab 2. 创建部署使用用户teledb 1. 执行如下命令,创建用户(创建部署的用户是teledb,不是teledbx) groupadd f teledb useradd g teledb teledb 2. 执行如下命令,设置密码。 passwd teledb 说明 由于安装teledbX时会将 当作特殊字符,不被识别,所以设置的密码中不包含 。 3. 初始化系统参数。 su teledb cd /etc/security 在/etc/security/limits.conf文件中最后一部分,添加如下内容。 teledb soft nofile 131072 teledb hard memlock 128849018880 teledb soft memlock 128849018880 teledb soft core 1024000 teledb hard core 1024000 teledb hard nproc unlimited teledb soft nproc unlimited teledb hard nofile 131072 teledb hard stack unlimited teledb soft stack unlimited 4. 执行如下命令。 echo vm.swappiness10 >> /etc/sysctl.conf sysctl w vm.swappiness10 echo vm.minfreekbytes102400 >> /etc/sysctl.conf sysctl w vm.minfreekbytes102400 5. 进入/etc/sudoers文件,添加权限. 在root ALL(ALL)ALL 一行下面添加如下内容。 teledb ALL(ALL) NOPASSWD:ALL 6. 修改挂载目录权限. 执行如下命令,修改成可读写运行权限 sudo chmod 777 /app 执行如下命令,修改/app目录下文件所属用户。 sudo chown R teledb:teledb /app 3. (可选)创建软连接。 执行如下命令创建软连接(安装dcp主机不需要执行该操作, 安装teledb控制台的主机以及teledb实例主机需要执行该操作。) cd /usr/local/bin ln s /usr/sbin/ip ip ln s /usr/sbin/sysctl sysctl ln s /usr/sbin/userdel userdel ln s /usr/sbin/useradd useradd 3. 数据库参数配置 1. DN节点参数配置参考以下参数设置,其中sharedbuffers根据服务器配置调整,建议为服务器总内存的1/4,且上限不超过64GB。 服务器总内存小于512G时,根据情况适当下调以下参数,避免出现OOM。 sharedbuffers 64GB effectivecachesize 128GB workmem 100MB maintenanceworkmem 16GB 以下是512G内存服务器的DN节点参数配置建议: maxconnections 5000 maxpoolsize 6000 commitdelay 20 commitsiblings 10 sharedbuffers 64GB effectivecachesize 128GB workmem 100MB maintenanceworkmem 16GB dynamicsharedmemorytype posix bgwriterdelay 10ms bgwriterlrumaxpages 1000 bgwriterlrumultiplier 10.0 effectiveioconcurrency 200 wallevel replica walbuffers 16MB walwriterdelay 10ms minwalsize 60GB maxwalsize 200GB synchronouscommit local fullpagewrites off fsync off checkpointtimeout 30min checkpointcompletiontarget 0.9 effectivecachesize 128GB updateprocesstitle off trackactivities off autovacuum on autovacuummaxworkers 3 logstatement 'none' maxparallelworkerspergather 0 poolerscalefactor 64 sharedqueues 512 enablematerial off vacuumdelta 300 minfreesize300 mlscheckdatamaskoff 2. CN节点参数配置 参考以下参数设置: maxconnections 5000 maxpoolsize 6000 commitdelay 20 commitsiblings 10 sharedbuffers 6GB effectivecachesize 16GB workmem 100MB maintenanceworkmem 4GB dynamicsharedmemorytype posix bgwriterdelay 10ms bgwriterlrumaxpages 1000 bgwriterlrumultiplier 10.0 effectiveioconcurrency 200 randompagecost 1.1 wallevel replica walbuffers 16MB walwriterdelay 10ms minwalsize 1GB maxwalsize 3GB synchronouscommit off fullpagewrites on fsync on checkpointtimeout 30min checkpointcompletiontarget 0.9 updateprocesstitle off trackactivities off autovacuum on autovacuummaxworkers 2 logstatement 'none' maxparallelworkerspergather 0 poolerscalefactor 64 sharedqueues 512 enablematerial off vacuumdelta 300 persistentdatanodeconnections on logdestination 'stderr' loggingcollector on logdirectory 'log' minfreesize300
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品
        安装部署
        安装前准备
        准备工作
      • 1
      • ...
      • 22
      • 23
      • 24
      • 25
      • 26
      • ...
      • 452
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      物理机 DPS

      GPU云主机

      镜像服务 IMS

      轻量型云主机

      弹性伸缩服务 AS

      弹性高性能计算 E-HPC

      天翼云CTyunOS系统

      训推服务

      推荐文档

      基本信息

      文档下载

      加入会议

      未备案不得提供非经营性互联网信息服务

      创建云间高速

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号