AI创作平台套餐32.67元/年起,花卷聆记AI录音卡598元起
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 818 天翼云云智盛典 NEW 爆款云主机低至1.5折起,Token套餐低至9.9元/月起
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
星辰TokenHub
  • 模型广场
  • 体验中心
  • 服务接入
星辰MaaS平台
  • 星辰MaaS智能体平台
  • 星辰大模型
大模型
  • glm-5.3-flash
  • GLM-5.2
  • deepseek-v4-pro-0813
  • deepseek-v4-flash-0731-new
  • qwen3.8-flash
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
应用托管
  • 天翼云DramaFlow2.0
  • 应用实例
科研助手
  • 开发机
  • 并行计算
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
智能体引擎
  • 智能体引擎
可信数据空间
  • 可信数据空间
公共算力服务
  • 裸金属
  • 定制裸金属
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入AI Store公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 智教云电脑
  • WPS 365 天翼云版
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)
  • 琥珀数据压缩归档服务
智慧教育
  • 智擎思政平台(个人版)
  • 智擎研学平台(个人基础版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      数据集成工具_相关内容
      • 带宽与网速
        本文向您介绍企业版VPN中带宽与网速类常见问题。 如何测试VPN速率情况? 假设测试环境VPN连接已经创建,在VPN连接两端VPC的本端子网下分别创建ECS,并使两个VPC之间的ECS相互能够ping通的情况下,测试VPN的速率情况。 当用户购买的VPN网关的带宽为200Mbit/s时,测试情况如下。 1. 互为对端的ECS都使用Windows系统,测试速率可达180Mbit/s,使用iperf3和filezilla(是一款支持ftp的文件传输工具)测试均满足带宽要求。 说明 基于TCP的FTP协议有拥塞控制机制,180Mbit/s为平均速率,且IPsec协议会增加新的IP头,因此10%左右的速率误差在网络领域是正常现象。 使用iperf3客户端测试结果如下图所示。 使用iperf3服务器端测试结果如下图所示。 2. 互为对端的ECS都使用Centos7系统,测试速率可达180M,使用iperf3测试满足带宽要求。 3. 服务器端ECS使用Centos7系统,客户端使用Windows系统,测试速率只有20M左右,使用iperf3和filezilla测试均不能满足带宽要求。 原因在于Windows和Linux对TCP的实现不一致,导致速率慢。所以对端ECS使用不同的系统时,无法满足带宽要求。 使用iperf3测试结果如下图所示。 用户购买的VPN网关为网关的整体吞吐能力,即该VPN网关下所有VPN连接的带宽之和。在大带宽场景下,由于主机的转发性能限制,需要使用多台主机构建多条流量才能充分利用网关的带宽。这种场景下对ECS的配置要求也很高,建议ECS的网卡支持2G以上的带宽。 测试总结:综上测试结果,云网关能够满足带宽速率要求,但是建议两端主机使用相同的操作系统,并且网卡要达到配置要求。
        来自:
        帮助文档
        VPN连接
        常见问题
        企业版VPN
        带宽与网速
      • 使用Nginx实现公网访问Redis 4.0/5.0的单机主备Proxy集群实例
        本章节主要介绍通过跳板机访问VPC内Redis 4.0/5.0单机、主备、Proxy集群实例的操作,Redis 4.0/5.0 Cluster集群实例暂不支持使用该方案进行公网访问。 方案正文 当前,天翼云DCS的Redis 4.0以及Redis 5.0版本不支持绑定弹性IP,无法通过公网访问。 下图中安装了Nginx代理工具的ECS就是一台跳板机,它与DCS Redis实例在相同VPC,可通过子网IP访问Redis实例;为ECS绑定弹性IP后,公网可以访问ECS;Nginx支持监听多个端口,并将请求内容转发到不同的后端Redis实例。 图 通过Nginx访问VPC内DCS Redis 购买一台ECS 1.确认Redis实例所在的虚拟私有云。 如下图所示,已购买一个虚拟私有云在“vpcdemo”内的Redis 4.0/Redis 5.0主备实例。 图 Redis缓存实例信息 2.购买一台同在“vpcdemo”的ECS,并为其绑定一个弹性公网IP,按需选择带宽,够用就好。 图 ECS信息 安装Nginx 1.购买ECS后,需要在ECS上安装Nginx,本文以ECS操作系统为Centos7.x为例进行安装,不同操作系统命令稍有不同。 2.执行以下命令,添加Nginx到yum源。 sudo rpm Uvh 3.添加完之后,执行以下命令,查看是否已经添加成功。 yum search nginx 4.添加成功之后,执行以下命令,安装Nginx。 sudo yum install y nginx 5.执行以下命令安装stream模块。 yum install nginxmodstream 6.启动Nginx并设置为开机自动运行。 sudo systemctl start nginx.service sudo systemctl enable nginx.service 7.在本地浏览器中输入服务器地址(ECS公网IP地址),查看安装是否成功。 如果出现下面页面,则表示安装成功。
        来自:
        帮助文档
        分布式缓存服务Redis版
        最佳实践
        使用Nginx实现公网访问Redis 4.0/5.0的单机主备Proxy集群实例
      • 登录弹性云主机
        本节介绍了登录Windows弹性云主机、登录Linux弹性云主机及后续处理等相关内容。 登录Windows弹性云主机 有2种方法可以登录Windows弹性云主机:管理控制台提供的“VNC远程登录方式”和“MSTSC方式”,如下图所示。 图 Windows弹性云主机登录方式一览 1. (可选)使用密钥文件解析密码。 对于密钥方式鉴权的弹性云主机,需先通过管理控制台提供的获取密码功能,将创建弹性云主机时使用的密钥文件解析为密码。 具体操作,请参见获取Windows弹性云主机的密码。 2. 根据需要选择登录方式,登录弹性云主机。 − 管理控制台远程登录(VNC方式) 具体操作,请参见远程登录(VNC方式Windows)。 − 远程桌面连接(MSTSC方式) 具体操作,请参见远程桌面连接(MSTSC方式)。 登录Linux弹性云主机 弹性云主机设置的登录鉴权方式不同,登录弹性云主机的方法也存在差异,如下图所示。 图 Linux弹性云主机登录方式一览 首次登录密钥方式鉴权的弹性云主机时,需使用PuTTY、XShell等工具,采用“SSH密钥方式”进行登录,登录用户名为“root”。此时,弹性云主机必须绑定弹性IP。 SSH密钥方式登录Linux弹性云主机的方法,请参见SSH密钥方式登录。 如需使用控制台提供的“VNC远程登录方式”进行登录,需先使用SSH密钥方式登录弹性云主机并设置密码,然后使用该密码进行登录。 首次登录密码方式鉴权的弹性云主机时,有2种方法可以登录: − 管理控制台远程登录(VNC方式)。登录用户名为“root” VNC方式,具体操作请参见远程登录(VNC方式Linux)。 − SSH密码方式,登录用户名为“root”,且弹性云主机必须绑定弹性IP。 SSH密码方式,具体操作请参见SSH密码方式登录。
        来自:
        帮助文档
        弹性云主机 ECS
        快速入门
        登录弹性云主机
      • 步骤三:开发代码
        本章主要介绍开发代码 代码托管服务提供基于Git的在线代码管理服务,包括代码克隆/提交、分支管理等功能。 由于门店网络查询功能为高优先级Story,本章节将以此功能为例进行介绍如何进行源代码管理与开发。 本样例项目中采用分支来进行代码的开发。首先由开发人员Chris在代码仓库中创建分支,并进行代码开发;然后开发人员Chris在代码仓库中提交分支合并请求,项目经理Maggie评审通过后合并分支至主干。 使用分支管理代码 分支是用来将特性开发并行独立出来的工具。使用分支意味着把工作从开发主线上分离开来,以免影响开发主线。 在创建代码仓库时,会有一个默认分支“master”,即主线。为了保证凤凰商城的稳定运行,需要有一个稳定的持续可用master。因此,项目经理建议:不直接在master分支上进行代码开发,而是统一采用功能分支+合并请求的方式,并且每一个功能分支的代码,必须经过团队的其他成员评审后,才可以进行合并。 步骤 1 将master分支设置为受保护分支。 1. 进入“凤凰商城”项目,单击导航“代码 > 代码托管”,页面将显示样例项目内置的代码仓库“phoenixsample”。 2. 单击仓库名称进入代码仓库,选择“设置”页签。在导航中单击“策略设置 > 保护分支”。 3. 单击“新建保护分支”,参照下表在弹框中完成配置,单击“确定”保存。 新建保护分支配置 配置项 配置建议 选择需要保护的分支 选择“master”。 能推送 根据需要配置,本文档中保持默认配置。 能合并 根据需要配置,本文档中保持默认配置。 成员 根据需要勾选“能推送”、“能合并”,并在下拉列表中选择成员。本文档中保持默认配置。 步骤 2 创建功能分支。 1. 进入“凤凰商城”项目,在代码托管页面中找到仓库“phoenixsample”。 2. 单击仓库名称进入代码仓库,在“代码”页签中单击“分支”。 3. 单击“新建”,参照下表输入分支信息,单击“确定”保存。 新建分支 配置项 配置建议 基于 选择“master”。 分支名称 输入“FeatureStore”。 关联工作项 选择“作为用户可以查询所有门店网络”。
        来自:
        帮助文档
        软件开发生产线CodeArts
        最佳实践
        HE2E DevOps实践
        实施步骤
        步骤三:开发代码
      • 知识库的基本操作
        一、知识库入口 花卷左侧工具栏——更多——知识库 二、如何创建知识库? 1.创建个人知识库 选择个人知识库,在我创建的知识库右边点击「+」进行新建知识库,填写知识库名称和描述,点击「确定」创建,即可完成创建知识库。 2.创建企业知识库 只有企业知识库管理员才能创建企业知识库。设置企业知识库管理员的步骤见创建管理员权限。选择企业知识库,在我创建的知识库右边点击「+」进行新建知识库,填写知识库名称和描述,点击「确定」创建,即可完成创建知识库。 三、如何修改知识库名称图标? ● 新建知识库时,可以设置知识库名称和图标。 ● 点击知识库右侧「…」,选择资料修改,也可以找到修改知识库名称和头像的设置。 四、如何删除知识库? ● 删除知识库:点击知识库右侧「…」,选择删除知识库,便可完成删除。 注意 某个知识库确认删除后,所有内容将被删除不可恢复,请谨慎操作。 五、如何在知识库创建文件? 进入某一知识库,点击上传图标,支持本地文件/云空间文件/云盘同步三种方式进行文件上传。若文件包含图表/公式等多模态数据,支持开启深度解析,以提升复杂信息的处理精度。 上传解析成功的文件会显示在文件列表中,鼠标悬浮到某一文件,会展示该文件的AI摘要。点击文件右侧「…」,对文件进行删除。
        来自:
        帮助文档
        花卷慧办
        用户指南
        客户端指南
        知识库
        知识库的基本操作
      • Node.js Redis客户端
        客户端服务器为centos(redhat系列) 步骤 1 查看并获取待连接Redis实例的IP地址和端口。 具体步骤请参见查看实例信息。 步骤 2 登录弹性云主机。 步骤 3 安装Node.js。 yum install nodejs 如果以上命令安装不了,备选方式如下: wget nocheckcertificate tar xvf nodev0.12.4.tar.gz cd nodev0.12.4 ./configure make make install 说明 安装完成后,可执行node v查看Node.js的版本号,确认Node.js已安装成功。 安装完成后,可执行node v查看Node.js的版本号,确认Node.js已安装成功。 步骤 4 安装js包管理工具npm。 yum install npm 步骤 5 安装Node.js redis客户端ioredis。 npm install ioredis 步骤 6 编辑连接Redis实例的示例脚本。 编辑连接示例脚本ioredisdemo.js。示例脚本中增加以下内容,包括连接以及数据读取。 var Redis require('ioredis'); var redis new Redis({ port: 6379, // Redis port host: '192.168.0.196', // Redis host family: 4, // 4 (IPv4) or 6 (IPv6) password: '', db: 0 }); redis.set('foo', 'bar'); redis.get('foo', function (err, result) { console.log(result); }); // Or using a promise if the last argument isn't a function redis.get('foo').then(function (result) { console.log(result); }); // Arguments to commands are flattened, so the following are the same: redis.sadd('set', 1, 3, 5, 7); redis.sadd('set', [1, 3, 5, 7]); // All arguments are passed directly to the redis server: redis.set('key', 100, 'EX', 10); 其中,host 为Redis实例的IP地址,port为Redis实例的端口。IP地址和端口获取见步骤1,请按实际情况修改后执行。 为创建Redis实例时自定义的密码,请按实际情况修改后执行。 步骤 7 运行示例脚本,连接Redis实例。 node ioredisdemo.js
        来自:
        帮助文档
        分布式缓存服务Redis版
        快速入门
        连接实例
        多语言连接
        Node.js Redis客户端
      • 事务模式迁移
        本章节主要介绍事务模式迁移。 CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。 详见下图:事务模式迁移 说明 如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        事务模式迁移
      • 配置Hive源端参数
        本章节主要介绍配置Hive源端参数。 作业中源连接为配置Hive连接时,源端作业参数如下表所示。 表 Hive作为源端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBLE 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式,如果没有使用WHERE条件做数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 HDFS 分区过滤条件 读取方式为HDFS时,单击“显示高级属性”后显示此参数。 该参数表示抽取指定值的partition,可以配置多个值(空格分隔),也可以配置为字段取值范围,接受时间宏函数。 单/多值过滤: "{dateformat(yyyyMMdd, 1, DAY)} {dateformat(yyyyMMdd)}" 范围过滤: " {value} > {dateformat(yyyyMMdd, 7, DAY)} && {value} 18 and age < 60 说明 Hive作为数据源,CDM自动使用Hive数据分片文件进行数据分区。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置Hive源端参数
      • 基本概念(1)
        关键词 说明 集群 集群指容器运行所需要的云资源组合,关联了若干服务器节点、负载均衡、专有网络等云资源。 专有版集群:需要创建1个Master(非高可用),或者3/5个Master(高可用)节点,以及若干Worker节点,可对集群基础设施进行更细粒度的控制,需要自行规划、维护、升级服务器集群。 托管版集群:只需创建Worker节点,Master节点由CCE创建并托管,具备操作简单、低成本无需运维等特点。 节点 一台服务器(可以是虚拟机实例或者物理服务器)已经安装了Docker Engine,可以用于部署和管理容器。容器的Agent程序会被安装到节点上并注册到一个集群上。 专有网络VPC 专有网络VPC是您自己独有的云上私有网络。您可以完全掌控自己的专有网络,例如选择IP地址范围、配置路由表和网关等,您可以在自己定义的专有网络中使用天翼云资源如云服务器、云数据库和负载均衡等。 安全组 安全组是一种虚拟防火墙,具备状态检测和数据包过滤能力,用于在云端划分安全域。安全组是一个逻辑上的分组,由同一地域内具有相同安全保护需求并相互信任的实例组成。 应用目录 应用目录功能集成了Helm,提供了Helm的相关功能,并进行了相关功能扩展,例如提供图形化界面。 编排模板 编排模板是一种保存Kubernetes YAML格式编排文件的方式。 Kubernetes Kubernetes是一个开源平台,具有可移植性和可扩展性,用于管理容器化的工作负载和服务,简化了声明式配置和自动化。 容器(Container) 打包应用及其运行依赖环境的技术,一个节点可运行多个容器。 镜像(Image) 容器镜像是容器应用打包的标准格式,封装了应用程序及其所有软件依赖的二进制数据。 镜像仓库(Image Registry) 容器镜像仓库是一种存储库,用于存储Kubernetes和基于容器应用开发的容器镜像。 管理节点(Master Node) 管理节点是Kubernetes集群的管理者,运行着的服务包括kubeapiserver、kubescheduler、kubecontrollermanager、etcd组件,和容器网络相关的组件。 工作节点(Worker Node) 工作节点是Kubernetes集群中承担工作负载的节点,可以是虚拟机也可以是物理机。工作节点承担实际的Pod调度以及与管理节点的通信等。一个工作节点上的服务包括Docker运行时环境、kubelet、KubeProxy以及其它一些可选的组件。 命名空间(Namespace) 命名空间为Kubernetes集群提供虚拟的隔离作用。Kubernetes集群初始有3个命名空间,分别是默认命名空间default、系统命名空间kubesystem和kubepublic,除此以外,管理员可以创建新的命名空间以满足需求。 容器组(Pod) Pod是Kubernetes部署应用或服务的最小的基本单位。一个Pod封装多个应用容器(也可以只有一个容器)、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 副本控制器(ReplicationController,RC) RC确保任何时候Kubernetes集群中有指定数量的Pod副本在运行。通过监控运行中的Pod来保证集群中运行指定数目的Pod副本。指定的数目可以是多个也可以是1个;少于指定数目,RC就会启动运行新的Pod副本;多于指定数目,RC就会终止多余的Pod副本。 副本集(ReplicaSet,RS) ReplicaSet(RS)是RC的升级版本,唯一区别是对选择器的支持,RS能支持更多种类的匹配模式。副本集对象一般不单独使用,而是作为Deployment的理想状态参数使用。 工作负载(Workload) 工作负载是在Kubernetes上运行的应用程序。 标签(Label) Labels的实质是附着在资源对象上的一系列Key/Value键值对,用于指定对用户有意义的对象的属性,标签对内核系统是没有直接意义的。标签可以在创建一个对象的时候直接赋予,也可以在后期随时修改,每一个对象可以拥有多个标签,但key值必须唯一。 服务(Service) Service是Kubernetes的基本操作单元,是真实应用服务的抽象,每一个服务后面都有很多对应的容器来提供支持,通过KubeProxy的ports和服务selector决定服务请求传递给后端的容器,对外表现为一个单一访问接口。 路由(Ingress) Ingress是授权入站连接到达集群服务的规则集合。您可以通过Ingress配置提供外部可访问的URL、负载均衡、SSL、基于名称的虚拟主机等。通过POST Ingress资源到API Server的方式来请求Ingress。Ingress Controller负责实现Ingress,通常使用负载均衡器,它还可以配置边界路由和其他前端,这有助于以高可用的方式处理流量。 配置项(ConfigMap) 配置项可用于存储细粒度信息如单个属性,或粗粒度信息如整个配置文件或JSON对象。您可以使用配置项保存不需要加密的配置信息和配置文件。 保密字典(Secret) 保密字典用于存储在Kubernetes集群中使用一些敏感的配置,例如密码、证书等信息。 卷(Volume) 和Docker的存储卷有些类似,Docker的存储卷作用范围为一个容器,而Kubernetes的存储卷的生命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。 存储卷(Persistent Volume,PV) PV是集群内的存储资源,类似节点是集群资源一样。PV独立于Pod的生命周期,可根据不同的StorageClass类型创建不同类型的PV。 存储卷声明(Persistent VolumeClaim,PVC) PVC是资源的使用者。类似Pod消耗节点资源一样,而PVC消耗PV资源。 存储类(StorageClass) 存储类可以实现动态供应存储卷。通过动态存储卷,Kubernetes将能够按照用户的需要,自动创建其所需的存储。 弹性伸缩(Autoscaling) 弹性伸缩是根据业务需求和策略,经济地自动调整弹性计算资源的管理服务。典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 可观测性(Observability) Kubernetes可观测性体系包含监控和日志两部分,监控可以帮助开发者查看系统的运行状态,而日志可以协助问题的排查和诊断。 Helm Helm是Kubernetes包管理平台。Helm将一个应用的相关资源组织成为Charts,然后通过Charts管理程序包。 节点亲和性(nodeAffinity) 节点亲和性指通过Worker节点的Label标签控制Pod部署在特定的节点上。 污点(Taints) 污点和节点亲和性相反,它使节点能够排斥一类特定的Pod。 容忍(Tolerations) 应用于Pod上,允许(但并不要求)Pod调度到带有与之匹配的污点的节点上。 应用亲和性(podAffinity) 应用亲和性决定应用Pod可以和特定Pod部署在同一拓扑域。例如,对于相互通信的服务,可通过应用亲和性调度,将其部署到同一拓扑域(例如同一个主机)中,以减少它们之间的网络延迟。 应用反亲和性(podAntiAffinity) 应用反亲和性决定应用Pod不与特定Pod部署在同一拓扑域。例如,将一个服务的Pod分散部署到不同的拓扑域(例如不同主机)中,以提高服务本身的稳定性。 服务网格(Istio) Istio是一个提供连接、保护、控制以及观测服务的开放平台,兼容社区Istio开源服务网格,用于简化服务的治理,包括服务调用之间的流量路由与拆分管理、服务间通信的认证安全以及网格可观测性能力。
        来自:
      • 管理Agent
        本章节主要介绍数据治理中心的管理Agent功能。 对于HDFS和关系型数据库类型的数据源,不方便暴露节点的场景,可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据,但不支持写入数据。Agent的使用流程详见下图 前提条件 已具备CDM集群。 新建Agent 1.进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理 > Agent管理 > 新建Agent”,配置Agent相关信息。 详见下图:配置Agent IP地址:配置为源端网络中部署Agent的IP地址。 端口:Agent自定义的端口。建议范围:1024~65535。 启用压缩:是否对数据使用gzip算法进行压缩传输。 −对于文本数据(基于字符编码的数据,例如MySQL的INT等数据类型,详见相关数据库的说明文档),建议开启此选项,gzip压缩可以达到较好的压缩效果。 −对于二进制数据(基于值编码的数据,例如MySQL的BINARY等数据类型,详见相关数据库的说明文档),由于其本身已经压缩过,不推荐再开启gzip压缩,压缩后可能会导致压缩效果较差,同时会增大客户端解压缩的压力,带来不必要的性能损耗。 启用SSL:是否启用SSL双向认证,保证数据的安全性。如果对安全性要求较高,则可以开启SSL。 限流:设置agent的最大下行速率,默认不限流。 2.单击“确定”,完成Agent的创建。在Agent管理页面可查看已成功创建的Agent。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理连接
        管理Agent
      • 手动配置信息
        / EXEC master.dbo.spaddlinkedsrvlogin @rmtsrvnameN'DRSTESTREMOTE',@useselfN'False',@localloginNULL,@rmtuserN'sa',@rmtpassword' ' GO 说明: 以上脚本为范例,创建的脚本可能包含大量系统默认配置项,但是每个DBLink仅需保留以下两个关键脚本即可执行成功,同时需要注意重新输入账号连接密码。 Agent JOB Agent JOB又名SQL Server代理服务,可以方便用户快速的在实例上创建定时任务,帮助用户进行日常运维和数据处理工作,用户在本地的JOB需要手动进行脚本迁移。 1.通过微软提供的官方Microsoft SQL Server Management Studio客户端工具连接本地实例与云上实例,同时在“SQL Server代理 > 作业”下找到当前实例上的所有JOB任务。 图 查看作业 2.选择SQL Server代理下的作业,然后按F7,可以在对象资源管理器中看到所有的作业(JOB),全部选中后创建脚本到新窗口。 图 创建脚本 3.复制新窗口中的TSQL创建脚本到新实例上,然后注意修改如下几个关键项,以保障你的创建成功。 注意修改每个JOB上的Ower账号: 例如: @ownerloginnameN'rdsuser' 注意修改每个JOB上的实例名称: 例如: @serverN'实例IP' @servername N'实例IP' 说明: 新建JOB的Owner账号十分重要,在RDS SQL Server上,仅有该JOB的Owner可以看到实例上自己的JOB,别的Login账号是看不到无法操作的,所以建议所有的JOB Owner尽量是同一个账号方便管理。 关键配置 用户将数据库还原到RDS for SQL Server实例上之后,本地的一些重要配置项也需要进行同步确认,避免影响业务的正常使用。 1.tempdb:临时数据库的文件配置需要进行同步。 推荐配置为8个临时文件,注意路径一定要确保在D:RDSDBDATATemp 通过在目标数据库端执行如下脚本添加临时数据库的文件配置: USE [master] GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb1', FILENAME N'D:RDSDBDATATemptempdb1.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb2', FILENAME N'D:RDSDBDATATemptempdb2.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb3', FILENAME N'D:RDSDBDATATemptempdb3.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb4', FILENAME N'D:RDSDBDATATemptempdb4.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb5', FILENAME N'D:RDSDBDATATemptempdb5.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb6', FILENAME N'D:RDSDBDATATemptempdb6.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb7', FILENAME N'D:RDSDBDATATemptempdb7.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO 图 检查临时文件 2.数据库隔离级别:请确认原实例上数据库的隔离级别是否开启,并同步到RDS SQL Server实例,快照隔离参数有2个,分别是:读提交快照(Is Read Committed Snapshot On) 允许快照隔离(Allow Snapshot Isolation) 若原实例上数据库的隔离级别是开启的,您可以通过在目标数据库端执行如下脚本开启数据库的隔离级别: USE [DBName] GO ALTER DATABASE [DBName] SET READCOMMITTEDSNAPSHOT ON WITH NOWAIT GO ALTER DATABASE [DBName] SET ALLOWSNAPSHOTISOLATION ON GO 3.实例最大并行度:实例最大并行度在RDS for SQL Server实例上默认设置为0,用户也可以根据自己本地原来的设置项进行同步设置,避免不同环境下业务场景出现异常。 右击本地实例选择属性,在服务器属性弹出框中选择高级,然后在右侧找到最大并行度(max degree of parallelism)设置项,确认本地实例设置值,并同步在目标RDS for SQL Server实例管理的参数组中进行修改。 图 查看本地实例最大并行度值 登录本云实例控制台,在实例管理页,单击目标实例名称,进入基本信息页签,切换至“参数修改”,搜索最大并行度(max degree of parallelism)并进行修改。 图8 修改目标RDS for SQL Server实例的最大并行度 4.迁移上云的数据库恢复模式是否为完整(FULL)模式,如果不是需要进行修改。 右击数据库选择属性,在弹出数据库属性框中选择选项,并在右侧确认该数据库恢复模式为完整(FULL),保证该数据库高可用和备份策略可执行。 图 检查数据库恢复模式 5.由于备份信息里记录的是源数据库的统计信息,这些信息过旧且会影响SQL性能,迁移结束后建议启动一次全部用户的数据库,收集一遍统计信息,确保上线新系统性能稳定。
        来自:
        帮助文档
        数据库复制
        最佳实践
        本地Microsoft SQL Server备份迁移到云上RDS for SQL Server实例
        手动配置信息
      • Oracle数据迁移到DWS
        创建DWS连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 2.连接器类型选择“数据仓库服务(DWS)”后单击“下一步”配置DWS连接参数,必填参数如下表“DWS连接参数”所示,可选参数保持默认即可。 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”,选择连接Agent中已创建的Agent。 导入模式 COPY模式:将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS,只能使用COPY模式。 COPY 3.单击“保存”完成创建连接。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从Oracle导出数据到DWS的任务。 详见下图:创建Oracle到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称:选择创建Oracle连接中的“oraclelink”。 −模式或表空间:待迁移数据的数据库名称。 −表名:待迁移数据的表名。 −高级属性里的可选参数一般情况下保持默认既可,详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称:选择上述 创建DWS连接中的连接“dwslink”。 −模式或表空间:选择待写入数据的DWS数据库。 −自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 −表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 −存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。 −扩大字符字段长度:当目的端和源端数据编码格式不一样时,自动建表的字符字段长度可能不够用,配置此选项后CDM自动建表时会将字符字段扩大3倍。 −导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如下图“表到表的字段映射”所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 单击,可批量映射字段。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。可适当调大参数,提升迁移效率。 是否写入脏数据:表到表的迁移容易出现脏数据,建议配置脏数据归档。 作业运行完是否删除:这里保持默认值“不删除”。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 说明 如遇目的端写太久导致迁移超时,请减少Oracle连接器中“一次请求行数”参数值的设置。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        Oracle数据迁移到DWS
      • 通过DTS工具迁移DDS/MongoDB数据
        本页介绍了如何通过数据传输服务DTS将DDS/MongoDB数据迁移到DDS/MongoDB云数据库。 前提条件 源端 账号权限要求: 全量迁移,需要具备admin库的readAnyDatabase权限、clusterMonitor权限。 增量迁移,需要具备admin库的readAnyDatabase权限、clusterMonitor权限,local库的read权限。 或者具备超级用户权限。 目标端 账号权限要求: admin库的dbAdminAnyDatabase权限、readWriteAnyDatabase权限、clusterMonitor权限。 或者具备超级用户权限。 其他要求: 已创建文档数据库服务DDS。 操作步骤 副本集到副本集迁移详细信息请参考:数据传输服务DTS​>用户指南​>数据迁移​>入云​>将DDS/MongoDB副本集迁移到DDS/MongoDB副本集。 分片集群到分片集群迁移详细信息请参考:数据传输服务DTS​>用户指南 数据迁移​>入云​>将DDS/MongoDB分片集迁移到将DDS/MongoDB分片集群。 副本集到分片集群迁移详细信息请参考:数据传输服务DTS​>用户指南 数据迁移​>入云​>将DDS/MongoDB副本集迁移到将DDS/MongoDB分片集群。
        来自:
        帮助文档
        文档数据库服务
        用户指南
        数据迁移
        通过DTS工具迁移DDS/MongoDB数据
      • 配置云搜索服务目的端参数
        本章节主要介绍配置云搜索服务目的端参数。 作业中目的连接为配置Elasticsearch/云搜索服务(CSS)连接,即将数据导入到云搜索服务时,目的端作业参数如下表所示。 表 Elasticsearch作为目的端时的作业参数 参数名 说明 取值样例 索引 待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 index 类型 待写入数据的Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。 type 管道ID 需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 pipelineid 定时创索引 对于持续写入数据到Elasticsearch的流式作业,CDM支持在Elasticsearch中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引: 每小时:每小时整点创建新索引,新索引的命名格式为“索引名+年+月+日+小时”,例如“index2018121709”。 每天:每天零点零分创建新索引,新索引的命名格式为“索引名+年+月+日”,例如“index20181217”。 每周:每周周一的零点零分创建新索引,新索引的命名格式为“索引名+年+周”,例如“index201842”。 每月:每月一号零点零分创建新索引,新索引的命名格式为“索引名+年+月”,例如“index201812”。 不创建:选择此项表示不创建定时索引。 从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。 每小时
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置云搜索服务目的端参数
      • 配置常见关系数据库源端参数
        参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明 SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如select from table a; select from table b。 不支持with语句。 不支持注释 ,比如"",“/”。 不支持增删改操作,包括但不限于以下操作: load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置通配符( ),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: 表示导出所有以“SCHEMA”开头的数据库。 表示导出所有以“SCHEMA”结尾的数据库。 表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 SCHEMAE 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 说明 表名支持配置通配符( ),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如: 表示导出所有以“table”开头的表。 表示导出所有以“table”结尾的表。 表示表名中只要有“table”字符串,就全部导出。 table 抽取分区字段 “使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时,字段值不支持ASCII字符代码表之外的字符,不支持中文字符。 id Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 分区字段是否允许空值 是否允许分区字段包含空值。 是 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围,将作业拆分为多少个子作业执行。 按表分区抽取 从MySQL导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 仅支持源端数据源为云数据库PostgreSQL/云数据库MySQL时配置该参数。 数据库用户需要具有系统视图 dbatabpartitions 和 dbatabsubpartitions 的 SELECT 权限。 否
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置常见关系数据库源端参数
      • 添加防护对象
        后续配置 添加防护对象后,网站访问流量将经过WAF保护,您还需要完善以下防护配置,才能实现针对性的网站防护。 配置 说明 相关文档 Web基础防护 覆盖OWASP常见安全威胁,支持SQL注入、XSS、文件包含、远程命令执行、目录穿越、文件上传、CSRF、SSRF、命令注入、模板注入、XML实体注入等攻击检测和拦截。 Web基础防护 CC防护 CC防护支持默认防护策略及灵活的自定义防护策略。自定义策略支持依托精准访问控制规则进行特征识别,并根据访问源IP/ SESSION控制访问频率,恶意流量通过阻断、人机验证等处置手段有效缓解CC攻击。 CC防护 BOT防护 提供公开类型、协议特征、自定义会话特征等多种判定维度的防护策略,支持根据BOT会话行为特征设置BOT对抗策略,对BOT行为进行处理,有效防护搜索引擎、扫描器、脚本工具等爬虫攻击。 BOT防护 精准访问控制 支持基于IP、URL、Referer、UserAgent等请求特征进行多维度组合,定义访问匹配条件过滤访问请求,实现针对性的攻击阻断。 精准访问控制 IP黑白名单 支持添加始终拦截与始终放行的黑白名单IP/IP地址段,增强防御准确性。 IP黑白名单 地域访问控制 支持针对地理位置的黑名单封禁,可指定需要封禁的国家、地区,阻断该区域的来源IP的访问。 地域访问控制 防敏感信息泄露 支持对网站返回的内容进行过滤(拦截、脱敏展示),过滤内容包括敏感信息、关键字和响应码。 防敏感信息泄露 网页防篡改 通过缓存页面和锁定访问请求,可避免页面被恶意篡改而带来的负面影响,对重点静态页面进行保护。 网页防篡改 Cookie防篡改 通过对Cookie中的字段增加完整性校验保护,WAF会新增一个Cookie字段用于篡改校验。 Cookie防篡改 隐私屏蔽 通过设置隐私屏蔽规则,可屏蔽用户隐私信息,避免用户隐私信息出现在系统记录的日志中。 隐私屏蔽
        来自:
        帮助文档
        Web应用防火墙(原生版)
        用户指南
        接入WAF
        网站接入WAF防护(独享型接入)
        添加防护对象
      • 概述
        本文介绍应用托管套餐。 简介 应用套餐是天翼云应用托管推出的应用、算力和模型一体化订阅服务,以额度统一计量,支持文本模型、视觉模型和多模态模型,兼容主流 AI 编程与智能体工具,助力业务调用高效、安全、稳定运行。 支持的模型 应用中可使用的模型范围如下: 注意:模型将根据实际场景适配调整,具体可使用模型以控制台实际展示为准。 模态 系列 模型 模型能力 文本模型 GLM系列 GLM5.1 文本生成 文本模型 GLM系列 GLM5.0 文本生成 文本模型 DeepSeek系列 Deepseekv4pro 深度思考、文本生成 文本模型 DeepSeek系列 Deepseekv4flash 深度思考、文本生成 文本模型 DeepSeek系列 Deepseekv3.2 文本生成 文本模型 MiniMax系列 MiniMaxM3 深度思考、文本生成 文本模型 MiniMax系列 MiniMaxM2.7 深度思考、文本生成 文本模型 MiniMax系列 MiniMaxM2.5 文本生成 多模态模型 Kimi系列 KimiK2.6 深度思考、视觉理解、文本生成 多模态模型 Kimi系列 KimiK2.5 深度思考、视觉理解、文本生成 多模态模型 Qwen系列 Qwen3.6plus 深度思考、视觉理解、文本生成 多模态模型 Qwen系列 Qwen3.5plus 深度思考、视觉理解、文本生成 多模态模型 Qwen系列 Qwen3.5397ba17b 深度思考、视觉理解、文本生成 多模态模型 Seed2.0 系列 Seed2.0Lite 深度思考、视觉理解、文本生成 多模态模型 MiniMax系列 miniMaxM3 深度思考、视觉理解、文本生成 视觉模型 豆包系列 DoubaoSeedance2.0 说明:doubaoseedance2.0 模型仅限平台内置应用内使用,不对外开放独立接口调用。 视频生成 视觉模型 豆包系列 DoubaoSeedance2.0fast 说明:doubaoseedance2.0 模型仅限平台内置应用内使用,不对外开放独立接口调用。 视频生成 视觉模型 豆包系列 Doubaoseedance2.0mini 说明:doubaoseedance2.0 模型仅限平台内置应用内使用,不对外开放独立接口调用。 视频生成 视觉模型 豆包系列 DoubaoSeedance1.5pro 视频生成 视觉模型 豆包系列 DoubaoSeedream4.5 图片生成 视觉模型 豆包系列 DoubaoSeedream4.0 图片生成 视觉模型 豆包系列 DoubaoSeedream5.0lite 图片生成 视觉模型 Seedream 系列 Seedream4.0 图片生成 视觉模型 Seedream 系列 Seedream4.5 图片生成 套餐计费说明详情见:应用套餐计费说明 。
        来自:
        帮助文档
        应用托管
        用户指南
        套餐管理
        概述
      • OpenClaw技能配置指南
        前置工作 已通过天翼云生态专区订购 OpenClaw 应用 。 说明 若 OpenClaw 版本过低,将导致无法在公有云生态专区页面中进行技能配置。 操作步骤 OpenClaw 的 技能(Skills )是让智能体具备执行能力的核心模块,通过标准化封装工具,OpenClaw 可以完成网页浏览、信息检索、邮件管理等任务。 1.从ClawHub 获取技能 登录天翼云官网,进入生态专区控制台。在应用管理我的应用中,选中对应的OpenClaw实例,点击进入应用详情页面。 点击“应用配置”页签,进入OpenClaw应用配置页面。在“技能(Skills)”模块中,天翼云支持从ClawHub选择并安装所需的技能到当前OpenClaw应用中。 2.安装技能 配置技能所需的参数说明如下表所示。填写完成后,点击“安装技能”按钮将自动下载并安装。 参数 填写说明 示例 技能来源 可选ClawHub、ClawHub中国镜像站 CLI Token 仅技能来源为ClawHub时需填写,输入从ClawHub获取的CLI Token。 说明 您可从ClawHub中获取CLI Token,Token获取参考以下步骤。 1)点击右上角用户图像的settings 2)下拉页面,点击Create token并复制token值 配置方式 可选:场景化配置、自定义配置 场景化配置可根据不同场景进行多个技能的一键安装;自定义配置可输入技能名称进行安装 Skill套餐 仅场景化配置可选择,可选:内容创作、搜索研究、知识记忆 技能名称 仅自定义配置可输入,需要安装的技能名称。 说明 1)您可从ClawHub中获取技能名称,名称获取参考下图。 2)您可从ClawHub中国镜像站中获取技能名称,名称获取参考下图。 findskills 注意 技能(Skills)由第三方ClawHub社区收录,部分技能(Skills)可能存在安全风险,天翼云无法确认其安全性,安装前请前往ClawHub社区仔细检查。
        来自:
        帮助文档
        应用云主机
        最佳实践
        一键部署OpenClaw操作指南
        OpenClaw技能配置指南
      • 云主机带宽占用高怎么办
        本文为您介绍云主机带宽占用高的解决方法。 操作场景 如果云主机操作卡顿或无法连接,可能是由于云主机带宽占用过高导致的,下面内容介绍了排查云主机带宽占用高的方法及相应的解决方案。 Windows操作系统云主机 1. 首先登录云主机,以Windows server操作系统云主机为例。 2. 在云主机中打开“运行”窗口,输入“perfmon res”,打开资源监视器。 3. 在“资源监视器”中,单击“CPU”或“网络”,查看CPU占用率或带宽使用情况。 4. 在监视器中查看带宽占用率较高的进程名,一般会有以下情况。 1. 如果消耗带宽较多的进程为业务进程,表示云主机规格不满足业务运行需求,建议变更云主机的配置。 2. 如果消耗带宽较多的进程为异常进程,可能是病毒或木马导致,建议自行终止进程或者使用安全软件进行查杀。必要时候建议重装系统确保系统正常运行。 Linux操作系统云主机 1. 通过管理控制台登录云主机,以CentOS 7.6 操作系统云主机为例。 2. 执行以下命令安装Linux流量监控工具iftop。 plaintext yum install iftop y 3. 执行如下命令,查看导致流量较高的端口与消耗流量的IP,以eth0端口为例。 plaintext iftop i eth0 P 4. 执行如下命令查看端口对应的进程,以38366端口为例。 plaintext netstat tunlp grep 38366 TX表示发送流量,RX表示接收流量,TOTAL表示总流量。 cum:表示第一列各种情况的总流量。 peak:表示第一列各种情况的流量峰值。 rates:表示第一列各种情况2秒、10秒、40秒内的平均流量。 5. 查看带宽占用率较高的进程名。 1. 如果消耗带宽较多的进程为业务进程,表示云主机规格不满足业务运行需求,建议变更云主机的配置。 2. 如果消耗带宽较多的进程为异常进程,可能是病毒或木马导致,建议自行终止进程或者使用安全软件进行查杀。必要时候建议重装系统确保系统正常运行。
        来自:
        帮助文档
        弹性云主机 ECS
        故障修复
        高频故障案例
        云主机带宽占用高怎么办
      • 基于DNS的服务发现
        本文为您介绍基于DNS的服务发现。 本文主要介绍Kubernetes集群中DNS域名解析原理和在Serverless集群中安装DNS服务器CoreDNS。 背景信息 DNS为Kubernetes集群内的工作负载提供域名解析服务。CoreDNS是Kubernetes集群中负责DNS解析的组件,能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集,在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样,CoreDNS项目由 CNCF托管,关于CoreDNS的更多信息,可浏览CoreDNS的官网。Serverless集群使用CoreDNS负责集群的服务发现,您可以根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 前提条件 确保您已经创建Serverless集群,具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。 操作步骤 步骤一:安装CoreDNS插件 1. 登录容器服务控制台,在左侧菜单栏选择“集群”。 2. 在集群列表页面,选择目标集群名称,然后在左侧菜单栏选择“插件”下的“插件市场”,安装CoreDNS插件。 3. 提交“安装插件”,稍后会在集群中创建2个coredns pod,集群会根据Pod内的配置,将域名请求发往集群DNS服务器获取结果。 4. 查看coredns是否正常运行。 步骤二:创建Nginx工作负载,以及service 1. 创建无状态工作负载,参考如下: apiVersion: "apps/v1" kind: "Deployment" metadata: name: "nginxdeploy" namespace: "default" spec: replicas: 2 selector: matchLabels: name: "nginxdeploy" template: metadata: labels: name: "nginxdeploy" source:"CCSE" spec: containers: image: "registryvpccrshuadong1.ctyun.cn/opensource/nginx:1.25alpineamd64" imagePullPolicy: "IfNotPresent" name: "nginx" 2. 查看nginx pod是否正常运行,从eci控制台进入pod容器内部。 kubectl get po ndefault grep nginx 查看Pod内的DNS域名解析配置文件为/etc/resolv.conf,文件内容如下: nameserver 10.96.0.10 search kubesystem.svc.cluster.local svc.cluster.local cluster.local options ndots:5 3. 创建service,参考如下: apiVersion: v1 kind: Service metadata: name: nginxdeploy namespace: default spec: ports: name: tcp80 port: 30002 protocol: TCP targetPort: 80 selector: name: nginxdeploy type: ClusterIP
        来自:
        帮助文档
        云容器引擎 Serverless版
        最佳实践
        基于DNS的服务发现
      • PHP客户端
        Predis 介绍使用同一VPC内弹性云主机ECS上的Predis连接Redis的方法。更多的客户端的使用方法请参考Redis客户端。 前提条件 已成功申请Redis实例,且状态为“运行中”。 已创建弹性云主机,创建弹性云主机的方法,请参见《弹性云主机用户指南》。 如果弹性云主机为Linux系统,该弹性云主机必须已经安装php编译环境。 操作步骤 步骤 1 查看并获取待连接Redis实例的IP地址和端口。 具体步骤请参见查看实例信息。 步骤 2 登录弹性云主机。 步骤 3 安装php开发包与命令行工具。执行如下命令,使用yum方式直接安装。 yum install phpdevel phpcommon phpcli 步骤 4 安装完后可查看版本号,确认成功安装。 php version 步骤 5 将Predis包下载到/usr/share/php目录下。 1. 通过以下命令下载Predis源文件。 wget 说明 仅以该版本作为示例,您还可以去redis官网或者php官网下载其他版本的predis客户端。 2. 解压Predis源文件包。 tar zxvf predis1.1.10.tar.gz 3. 将解压好的predis目录重命名为“predis”,并移动到/usr/share/php/下。 mv predis1.1.10 predis 步骤 6 编辑一个文件连接redis。 使用redis.php文件连接Redis单机/主备/Proxy集群示例: 'tcp' , 'host' > '{redisinstanceaddress}' , 'port' > {port} , 'password' > '{password}' ]); $client>set('foo', 'bar'); $value $client>get('foo'); echo $value; ?> 使用rediscluster.php连接Redis Cluster集群代码示例: 'redis'); $client new PredisClient($servers, $options); $client>set('foo', 'bar'); $value $client>get('foo'); echo $value; ?> 其中, {redisinstanceaddress} 为Redis实例真实的IP地址, {port} 为Redis实例真实的端口。IP地址和端口获取见步骤1,请按实际情况修改后执行。 {password} 为创建Redis实例时自定义的密码,请按实际情况修改后执行。如果免密访问,请将password行去掉。 步骤 7 执行php redis.php连接Redis实例。
        来自:
        帮助文档
        分布式缓存服务Redis版
        快速入门
        连接实例
        多语言连接
        PHP客户端
      • 配置HDFS目的端参数
        参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 /user/output 文件格式 写入后的文件格式,可选择以下文件格式: CSV格式:按CSV格式写入,适用于数据表到文件的迁移。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复,可选择如下处理方式: 替换重复文件 跳过重复文件 停止任务 停止任务 压缩格式 写入文件后,选择对文件的压缩格式。支持以下压缩格式: NONE:不压缩。 DEFLATE:压缩为DEFLATE格式。 GZIP:压缩为GZIP格式。 BZIP2:压缩为BZIP2格式。 LZ4:压缩为LZ4格式。 SNAPPY:压缩为SNAPPY格式。 SNAPPY 换行符 文件中的换行符,默认自动识别“n”、“r”或“rn”。“文件格式”为“二进制格式”时该参数值无效。 n 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 使用包围符 “文件格式”为“CSV格式”,才有该参数,用于将数据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello,world,使用包围符后,导出到CSV文件的时候数据为"hello,world"。 否 首行为标题行 在迁移表到CSV文件时,CDM默认是不迁移表的标题行,如果该参数选择“是”,CDM在才会将表的标题行数据写入文件。 否 写入到临时文件 将二进制文件先写入到临时文件(临时文件以“.tmp”作为后缀),迁移成功后,再进行rename或move操作,在目的端恢复文件。 否 作业成功标识文件 当作业执行成功时,会在写入目录下生成一个标识文件,文件名由用户指定。不指定时默认关闭该功能。 finish.txt 自定义目录层次 支持用户自定义文件的目录层次。例如:【表名】/【年】/【月】/【日】/【数据文件名】. csv 目录层次 指定文件的目录层次,支持时间宏(时间格式为yyyy/MM/dd)。不填默认为不带层次目录。例如:${dateformat(yyyy/MM/dd, 1, DAY)} 加密方式 “文件格式”选择“二进制格式”时,该参数才显示。 选择是否对写入的数据进行加密: 无:不加密,直接写入数据。 AES256GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES256GCM(NoPadding)。该参数在目的端为加密,在源端为解密。 AES256GCM 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES256GCM”时显示该参数,初始化向量由长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”,解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置HDFS目的端参数
      • MySQL数据迁移到DWS
        创建DWS连接 1.在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面。 2.连接器类型选择“数据仓库服务(DWS)”后单击“下一步”配置DWS连接参数,必填参数如下表“DWS连接参数”所示,可选参数保持默认即可。 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”,选择连接Agent中已创建的Agent。 导入模式 COPY模式:将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS,只能使用COPY模式。 COPY 3.单击“保存”完成创建连接。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到DWS的任务。 详见下图:创建MySQL到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称:选择上述 创建MySQL连接 中的“mysqllink”。 −使用SQL语句:否。 −模式或表空间:待抽取数据的模式或表空间名称。 −表名:要抽取的表名。 −其他可选参数一般情况下保持默认即可,详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称:选择创建DWS连接中的连接“dwslink”。 −模式或表空间:选择待写入数据的DWS数据库。 −自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 −表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 −是否压缩:DWS提供的压缩数据能力,如果选择“是”,将进行高级别压缩,CDM提供了适用I/O读写量大,CPU富足(计算相对小)的压缩场景 −存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。 −扩大字符字段长度:当目的端和源端数据编码格式不一样时,自动建表的字符字段长度可能不够用,配置此选项后CDM自动建表时会将字符字段扩大3倍。 −导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如下图“表到表的字段映射”所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 单击,可批量映射字段。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。可适当调大参数,提升迁移效率。 是否写入脏数据:表到表的迁移容易出现脏数据,建议配置脏数据归档。 作业运行完是否删除:这里保持默认值“不删除”。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        MySQL数据迁移到DWS
      • 配置eci-profile
        本文介绍如何配置eciprofile。 基于 Kubernetes 的 Mutating Webhook机制实现了eciprofile,支持为调度到虚拟节点上的 Pod 自动追加Annotations、Labels、Tolerations等,实现自动修改Pod 的规格、镜像缓存、安全组等配置,降低您对业务 Pod 配置的维护成本。本文介绍如何配置eciprofile。 功能介绍 对于ECI的一些功能特性,例如指定ECI实例规格,启用镜像缓存等,需要在Pod中追加Annotation或者Label来实现。更多信息,请参见ECI Pod Annotation。 对于上述情况,eciprofile实现了自动追加Annotation和Label的功能。在eciprofile中,您可以自定义selector,在selector中同时指定筛选条件和要追加的Annotation和Label,满足selector筛选条件的Pod会自动追加指定的Annotation和Label。 前提条件 1. 确保您已经创建Serverless集群,具体操作请参阅创建Serverless集群。 2. 已在插件市场安装插件eciprofile,且插件正常运行。 3. 确保kubectl工具已经连接目标集群。 selectors配置 创建Pod时,系统会按照selectors去匹配Pod,对于Label能够匹配上的Pod,会自动追加Annotation和Label,以便生效ECI的功能特性。 Selector 支持两种匹配方式: 1. 命名空间标签匹配。 2. Pod标签匹配。 可以分别通过 namespaceLabels 和 objectLabels 字段来指定匹配的 Namespace 和 Pod 标签。通过 effect 字段配置的 Annotation 和 Label 会自动追加到匹配的 Pod 上。 说明 要了解 Selector 的生效情况,可以通过查看 Pod 上的 k8s.ctyun.cn/matchedselector 标签来判断。 新增的 Selector 不会应用于存量 Pod,仅对新创建的 Pod 生效,若需要对现有工作负载生效,请重新部署工作负载。 在一个 Selector 中,建议您至少配置 namespaceLabels 和 objectLabels 中的一个。如果两者同时配置了,则Pod需要同时匹配两者;如果两者均未配置或者为空对象,且配置了 effect,则 effect 对所有 Pod 均生效。 1. 命名空间标签匹配。 假设想让集群中新创建的所有Pod都默认使用1C1G的规格,Selector配置模板如下: shell apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: 1c1gglobal spec: namespaceLabels: {}
        来自:
        帮助文档
        云容器引擎 Serverless版
        用户指南
        ECI Pod
        配置eci-profile
      • 搭建微信公众号后台——收发文本消息
        coding: utf8 2. filename: receive.py 3.import xml.etree.ElementTree as ET 4. 5.def parsexml(webdata): 6. if len(webdata) 0: 7. return None 8. xmlData ET.fromstring(webdata) 9. msgtype xmlData.find('MsgType').text 10. if msgtype 'text': 11. return TextMsg(xmlData) 12. elif msgtype 'image': 13. return ImageMsg(xmlData) 14. elif msgtype 'location': 15. return LocationMsg(xmlData) 16. elif msgtype 'event': 17. return EventMsg(xmlData) 18. 19.class Event(object): 20. def init(self, xmlData): 21. self.ToUserName xmlData.find('ToUserName').text 22. self.FromUserName xmlData.find('FromUserName').text 23. self.CreateTime xmlData.find('CreateTime').text 24. self.MsgType xmlData.find('MsgType').text 25. self.Eventkey xmlData.find('EventKey').text 26. 27.class Msg(object): 28. def init(self, xmlData): 29. self.ToUserName xmlData.find('ToUserName').text 30. self.FromUserName xmlData.find('FromUserName').text 31. self.CreateTime xmlData.find('CreateTime').text 32. self.MsgType xmlData.find('MsgType').text 33. self.MsgId xmlData.find('MsgId').text 34. 35.class TextMsg(Msg): 36. def init(self, xmlData): 37. Msg.init(self, xmlData) 38. self.Content xmlData.find('Content').text 39. 40.class ImageMsg(Msg): 41. def init(self, xmlData): 42. Msg.init(self, xmlData) 43. self.PicUrl xmlData.find('PicUrl').text 44. self.MediaId xmlData.find('MediaId').text 45. 46.class LocationMsg(Msg): 47. def init(self, xmlData): 48. Msg.init(self, xmlData) 49. self.LocationX xmlData.find('LocationX').text 50. self.LocationY xmlData.find('LocationY').text 51. 52.class EventMsg(Msg): 53. def init(self, xmlData): 54. Event.init(self, xmlData) 55. self.Event xmlData.find('Event').text 4、新建templates文件夹,在文件夹下新建replytext.xml文件,复制如下代码: $def with (toUser,fromUser,createTime,content) $createTime 5、最终本地代码文件形成如下: 6、通过WinSCP工具将上述文件与目录上传至ECS指定目录下:
        来自:
        帮助文档
        弹性云主机 ECS
        最佳实践
        搭建微信公众号后台——收发文本消息
      • 如何确认CDN加速是否生效
        本文介绍如何确认CDN加速是否生效。 问题概述 本文介绍域名配置CDN加速并执行CNAME切换后,如何查看CDN加速是否生效。 验证步骤 要确认CDN加速是否生效,可通过如下步骤进行验证 : 1. 检查域名解析:确保将您的域名解析指向天翼云CDN提供的CNAME地址。您可以使用工具如ping或dig来验证解析结果是否正确。 在Windows系统中可以通过ping的方式查看所添加的加速域名。 ping example.ctyun.cn 系统如果显示被转向cname域名,如example.ctyun.cn.ctadns.cn,并解析出访问CDN节点的IP即表示CDN加速已生效。 在Linux系统中可以通过dig的方式查看所添加的加速域名。 dig example.ctyun.cn 同Windows系统,显示域名解析被转向CNAME域名,如example.ctyun.cn.ctadns.cn,并解析出访问CDN节点的IP即表示CDN功能已生效。 2. 使用curl命令测试:在命令行中使用curl命令发送HTTP请求并查看响应头信息。可以使用CDN加速域名来进行测试。例如,执行以下命令: curl I example.ctyun.cn/xxx.jpg 如果返回的响应头包含CtlCacheStatus字段,其值表明内容是否被缓存(如HIT、MISS等),则表示CDN解析已生效。 3. 调用API接口方式,详情请见:如何验证IP地址是否属于天翼云CDN节点IP,通过API接口查看IP对应的节点是否为天翼云CDN节点。 4. 实际访问测试:通过实际访问网站或应用程序进行测试,观察加载速度和内容是否符合预期。可以尝试从不同地理位置和网络环境下进行测试,以确保CDN节点在对应加速区域内都能产生正常加速效果。 注意 执行CNAME切换后,因DNS解析生效和节点文件缓存需要一定时间,所以CDN节点要达到最佳加速效果也需要一段时间。
        来自:
        帮助文档
        CDN加速
        常见问题
        域名接入
        如何确认CDN加速是否生效
      • HBase/CloudTable增量迁移
        本章节主要介绍HBase/CloudTable增量迁移。 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 详见下图:HBase时间区间 起始时间(包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间及以后的数据。 终止时间(不包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间以前的数据。 这2个参数支持配置为 时间宏变量使用解析,例如: 起始时间配置为 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 时,表示只导出昨天以后的数据。 终止时间配置为 ${dateformat(yyyyMMdd HH:mm:ss)} 时,表示只导出当前时间以前的数据。 这2个参数同时配置后,CDM就只导出前一天内的数据,再将该作业配置为每天0点执行一次,就可以增量同步每天新生成的数据。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        增量迁移原理介绍
        HBase/CloudTable增量迁移
      • 配置DDS目的端参数
        本章节主要介绍配置DDS目的端参数。 作业中目的连接为配置DDS连接,即导入数据到文档数据库服务(DDS)时,目的端作业参数如下表所示。 表 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mongodb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 COLLECTION
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置DDS目的端参数
      • 文件格式介绍
        文件格式问题解决方法 1.数据库的数据导出到CSV文件,由于数据中含有分隔符逗号,造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法: a.指定字段分隔符 使用数据库中不存在的字符,或者是极少见的不可打印字符来作为字段分隔符。例如:可以在目的端指定“字段分隔符”为“%01”,这样导出的字段分隔符就是“u0001”,详情可见表上表 特殊字符对应的 URL 编码。 b.使用包围符 在目的端作业参数中开启“使用包围符”,这样数据库中如果字段包含了字段分隔符,在导出到CSV文件的时候,CDM会使用包围符将该字段括起来,使之作为一个字段的值写入CSV文件。 2.数据库的数据包含换行符 场景:使用CDM先将MySQL中的某张表(表的某个字段值中包含了换行符n)导出到CSV格式的文件中,然后再使用CDM将导出的CSV文件导入到MRS HBase,发现导出的CSV文件中出现了数据被截断的情况。 解决方法:指定换行符。 在使用CDM将MySQL的表数据导出到CSV文件时,指定目的端的换行符为“%01”(确保这个值不会出现在字段值中),这样导出的CSV文件中换行符就是“%01”。然后再使用CDM将CSV文件导入到MRS HBase时,指定源端的换行符为“%01”,这样就避免了数据被截断的问题。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        文件格式介绍
      • 产品规格
        本文主要介绍可信数据空间的产品规格。 产品 销售品名称 规格 功能描述 计费单位 可信数据空间 数据空间服务平台 基础版 可信数据空间全部能力,包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括:可信数据空间服务(1套)、接入连接器(连接器数:5)、隐私计算(隐私计算节点:5)、数据沙箱(数据沙箱数:2)、数据交易平台(1套)、开发平台(开发租户数:5)适用于数据空间运营单位。 元/月 可信数据空间 数据空间服务平台 升级版 可信数据空间全部能力,包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。升级版包括:可信数据空间服务(1套)、接入连接器(连接器数:5)、隐私计算(隐私计算节点:5)、数据沙箱(数据沙箱数:10)、数据交易平台(1套)、开发平台(开发租户数:20)适用于数据空间运营单位。 元/月 可信数据空间 数据空间服务平台 企业版 可信数据空间全部能力,包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括:可信数据空间服务(1套)、接入连接器(连接器数:5)、隐私计算(隐私计算节点:5)、数据沙箱(数据沙箱数:50)、数据交易平台(1套)、开发平台(开发租户数:100)适用于数据空间运营单位。 元/月 可信数据空间 连接器 连接器 提供可信数据空间的接入服务,包括数据上架、订单管理、数据使用等能力。适用于数据提供企业、数据需求企业使用。 元/月
        来自:
      • MySQL数据迁移到OBS
        创建OBS连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 详见下图:选择连接器类型 2.连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到OBS的任务。 详见下图: 创建MySQL到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称:选择创建MySQL连接中的“mysqllink”。 −使用SQL语句:否。 −模式或表空间:待抽取数据的模式或表空间名称。 −表名:要抽取的表名。 −其他可选参数一般情况下保持默认即可,详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称:选择创建OBS连接中的“obslink”。 −桶名:待迁移数据的桶。 −写入目录:写入数据到OBS服务器的目录。 −文件格式:迁移数据表到文件时,文件格式选择“CSV格式”。 −高级属性里的可选参数一般情况下保持默认既可,详细说明请参见 配置OBS目的端参数。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如下图“表到文件的字段映射”所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。CDM支持并发抽取MySQL数据,如果源表配置了索引,可调大抽取并发数提升迁移速率。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据,建议配置写入脏数据。 作业运行完是否删除:这里保持默认值“不删除”。根据使用场景,也可配置为“删除”,防止迁移作业堆积。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        MySQL数据迁移到OBS
      • 配置MySQL数据库连接
        参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysqllink 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 使用本地API 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的localinfile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。 如果CDM自动启用失败,请联系数据库管理员启用localinfile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“localinfile”设置为“ON”,开启该功能。 说明 如果RDS上的“localinfile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上,具体操作请参见 是 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”,选择管理Agent中已创建的Agent。 localinfile字符集 mysql通过localinfile导入数据时,可配置编码格式。 utf8 驱动版本 不同类型的关系数据库,需要适配不同的驱动。 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 说明 CDM作业默认打开了useCursorFetch开关,即JDBC连接器与关系型数据库的通信使用二进制协议。 开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 sslmoderequire 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 ' 单次写入行数 指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。 100
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理连接
        配置MySQL数据库连接
      • 1
      • ...
      • 71
      • 72
      • 73
      • 74
      • 75
      • ...
      • 444
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      818 天翼云云智盛典

      爆款云主机低至1.5折起,Token套餐低至9.9元/月起

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      应用云主机 ACS

      多活容灾服务 MDR

      弹性伸缩服务 AS

      弹性高性能计算 E-HPC

      天翼云CTyunOS系统

      AI Store

      公共算力服务

      星辰MaaS模型服务平台

      推荐文档

      产品功能

      创建阈值规则

      玩转天翼云⑦:Linux扩展Swap分区的三种方法

      产品功能

      启动会议

      什么是分布式消息服务

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号