活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
星辰TokenHub
  • 模型广场
  • 体验中心
  • 服务接入
星辰MaaS平台
  • 星辰MaaS智能体平台
  • 星辰大模型
大模型
  • glm-5.3-flash
  • GLM-5.2
  • deepseek-v4-pro-0813
  • deepseek-v4-flash-0731-new
  • qwen3.8-flash
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
应用托管
  • 天翼云DramaFlow2.0
  • 应用实例
科研助手
  • 开发机
  • 并行计算
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
智能体引擎
  • 智能体引擎
可信数据空间
  • 可信数据空间
公共算力服务
  • 裸金属
  • 定制裸金属
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入AI Store公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 智教云电脑
  • WPS 365 天翼云版
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)
  • 琥珀数据压缩归档服务
智慧教育
  • 智擎思政平台(个人版)
  • 智擎研学平台(个人专业版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      数据集成工具_相关内容
      • 挂载SMB协议类型文件存储到边缘虚拟机(Windows)
        本节介绍SMB协议的文件存储如何挂载到Windows系统的边缘虚拟机上。 操作场景 当创建文件存储后,您需要使用边缘虚拟机来挂载该文件存储,以实现多个边缘虚拟机共享使用文件存储的目的。 本章节以Windows Server 2019操作系统为例进行SMB协议的文件存储的挂载。 同一文件存储不能同时支持NFS协议和SMB协议。 前提条件 在需要操作的地域创建虚拟私有云VPC。 已创建该VPC下的边缘虚拟机,以下将以操作系统为 Windows Server 2019 的边缘虚拟机为例。 已创建该VPC下的文件存储,协议类型为SMB,并获取到文件存储的挂载点名称。 如果需要跨VPC访问文件存储,需要配置对等连接以确保VPC网络互通。 操作步骤 1. 登录ECX控制台。 2. 点击【边缘虚拟机>实例】,进入边缘虚拟机界面,找到即将执行挂载操作的边缘虚拟机所在行。 3. 点击“登录”,使用VNC方式登录已创建好的Windows Server 2019的边缘虚拟机。 4. 对于Windows Server 2016以上的系统,需要配置允许客户端匿名访问,在命令行工具中执行以下命令。 REG ADD HKEYLOCALMACHINESYSTEMCurrentControlSetservicesLanmanWorkstationParameters /f /v AllowInsecureGuestAuth /t REGDWORD /d 1 5. 鼠标移到桌面左下角,右键点击“Windows徽标”按钮,点击打开“文件资源管理器”。 6. 在文件资源管理器的左侧栏找到“此电脑”,右键单击“此电脑”,选择“映射网络驱动器”。 7. 在弹出的对话框中输入文件存储的挂载点名称,即文件存储服务ip路径。 8. 单击“完成”。 9. 挂载成功后,已挂载的文件存储将显示在“此电脑”的网络位置中,您可以像使用普通文件存储一样进行创建、修改或删除文件。
        来自:
        帮助文档
        智能边缘云
        用户指南
        边缘存储
        文件存储
        挂载SMB协议类型文件存储到边缘虚拟机(Windows)
      • CDN模拟测试(按需)
        本文介绍在CDN控制台成功添加加速域名后,如何获取CDN节点IP进行模拟测试。 背景说明 在CDN控制台成功添加加速域名后,为保证DNS解析顺利切换而不影响现有业务,建议先模拟访问进行功能测试,测试无误后,再切换DNS解析。 步骤说明 1. 在天翼云CDN控制台的【域名管理】【域名列表】,复制加速域名对应的CNAME记录值。 2. 通过ping(Windows)或dig(MAC) CNAME记录的方式,如 ping .ctdns.cn 获取该CNAME解析出来的IP,即为可用于测试验证功能的天翼云节点IP。 3. 修改本地电脑的HOSTS文件,添加一条记录,如:“IP 加速域名”,让本地电脑访问加速域名时,强制绑定解析到该节点IP,由该节点IP进行服务,从而可以通过本地电脑来验证加速域名对应的相关业务功能和场景。 4. 验证内容: 成功绑定HOSTS文件后,您可以打开浏览器,在本地电脑访问加速域名进行连通性测试,测试结果可通过浏览器自带的开发者工具(F12)查看。如果浏览器访问到的IP和您在HOSTS文件中绑定的IP一致,表示HOSTS文件配置正确。 在本地电脑成功访问加速域名绑定的IP后,您可以基于自己的测试用例URL,或者必要的核验步骤,验证相关功能的准确性。例如在浏览器中访问一个源站存在的URL,查看对应URL返回的状态码是否200;一般首次访问CDN节点,如CDN节点可正常回源获取该文件,则会返回200状态码至客户端。如果返回状态码非200或其他功能验证不符合预期,请提交工单联系天翼云客服处理。
        来自:
        帮助文档
        CDN加速
        快速入门
        CDN模拟测试(按需)
      • 账户改密
        本章节为您介绍云堡垒机(原生版)改密策略。 改密策略是一种自动化工具,旨在增强主机资源账户的安全性。它允许用户通过预设的策略,对一个或多个主机资源账户的密码进行手动、定时或周期性的修改。 以下是改密策略的主要功能: 支持通过策略手动、定时、周期修改资源账户密码。 支持生成不同密码、相同密码,以及生成指定相同密码。 说明 随机生成的密码遵循以下设定:随机生成的密码长度为830个字符,同时包含三项(大小字母、数字、()!@ $%^&+[]{}:;<>,.?/中的特殊符号),且不会以“/”开头,不会出现连续三个以上相同字符。 新建改密策略 1.使用“管理角色”账户登录云堡垒机(原生版)控制台。 2.在左侧导航栏选择“资产管理 > 账户策略”,进入“改密策略”页面。 3.单击页面右上角的“新建”按钮,填写改密策略相关参数。 参数 参数说明 取值样例 名称 自定义改密策略名称。 定期改密 描述 自定义改密策略描述。 XX主机定期改密策略 改密账号 添加改密账号: 目前仅支持添加SSH、Telnet协议的主机账号。 选择后改密账号格式为:协议[资产账号名@]资产名称。 SSH[admin@]Test01 执行策略 按需选择您的执行策略: 立即执行:保存后立即执行。 定时执行:在选择时间后,仅在选择的事件执行一次。 周期执行:选择执行起始时间和执行周期。 立即执行 改密方式 按需选择您的改密方式: 随机生成不同密码 随机生成相同密码 手动生成指定密码 手动生成指定密码 指定密码 仅在“改密方式”选择“手动生成指定密码”时可填写。 改密完成通知 通过开关按钮选择是否进行通知。 收件人邮箱 填写接收改密内容的邮箱,仅支持填写一个邮箱。 改密结果会以加密附件的方式发送。 admin@chinatelecom.com 改密附件密码 填写改密附件的密码。 4.填写完成后,单击“提交”即可完成新建改密策略。
        来自:
        帮助文档
        云堡垒机(原生版)
        用户指南
        管理员手册
        资产管理
        账户改密
      • 在科研助手使用Stable Diffusion进行图像生成
        本文介绍了如何在科研助手上使用Stable Diffusion进行图像生成。 概述: Stable Diffusion,是一种AI绘画生成工具,它能够根据文本描述创造出高质量的图像。 准备环境: 1.在【开发机】中创建开发机: 1. 填入【名称】“stablediffusion”选择【队列】及【可用区】。 2. 【资源配置】 【GPU加速型】下拉选择规格“CPU:12核内存:20GBGPU:NVIDIARTX30601” (规格根据实际情况修改 GPU类型可选择A10 A100 3060 3080 H800)。 3. 在【选择框架版本中】选择”SDWebUI框架。 2.点击【确认】创建开发机。 3.启动IDE: 1. 在【开发机】中可查看开发机的状态,点击【刷新】,等待“stablediffusion”状态为运行中后点击右侧操作栏的【打开】按钮。 2. 点击【打开】按钮后跳转到Jupyte WebIDE。 3. 在Jupyter WebIDE的启动页中,找到【AI Community】下点击【AI Task】选项卡跳转到SDUI页面。 使用Stable Diffusion: 1.切换【txt2img】分页: 1. 在【Prompt】框内输入文本提示符如:“In the mountains and river of spring, peach blossoms bloom along the river” ,建议提示文本使用英文准确度更高。 2. 点击【Generate】按钮,将在右下角生成图片,点击【保存】后可以下载生成的图片。 2.切换【img2img】分页: 1. 在左下角上传刚才生成的图片 2. 在Prompt框内输入文本提示符如:“only spring moutain and river” 3. 点击Generate,将在右下角生成风格类似的图片,也可以根据需要下载 3.查看后台日志: 1. 在Jupyter启动页【其他】下点击【终端】选项卡跳转到终端页面。 2. 终端输入命令 tail f /var/log/SD.log。
        来自:
        帮助文档
        科研助手
        最佳实践
        在科研助手使用Stable Diffusion进行图像生成
      • SSH密码方式登录
        本节介绍了SSH密码方式登录的操作场景、前提条件、本地使用Windows操作系统登录流程、本地使用Linux操作系统。 操作场景 本节操作介绍在Windows和Linux环境中使用SSH密码方式远程登录Linux云主机的操作步骤。 前提条件 弹性云主机状态为“运行中”。 弹性云主机已经绑定弹性IP,绑定方式请参见绑定弹性公网IP。 如果Linux弹性云主机采用密钥方式鉴权,已获取root用户的密码,具体操作请参见获取Windows弹性云主机的密码。 所在安全组入方向已开放22端口,配置方式请参见配置安全组规则。 使用的登录工具(如PuTTY)与待登录的弹性云主机之间网络连通。例如,默认的22端口没有被防火墙屏蔽。 本地使用Windows操作系统 如果本地主机为Windows操作系统,可以按照下面方式登录云主机。 下面步骤以PuTTY为例。 1. 在以下路径中下载PuTTY和PuTTYgen。 2. 运行PuTTY。 3. 单击“Session”。 a. Host Name (or IP address):输入云主机的弹性IP。 b. Port:输入 22。 c. Connection Type:选择 SSH。 d. Saved Sessions:任务名称,在下一次使用putty时就可以单击保存的任务名称,即可打开远程连接。 图 单击“Session” 4. 单击“Window”,在“Translation”下的“Received data assumed to be in which character set:”选择“UTF8”。 5. 单击“Open”。 如果首次登录服务器,PuTTY会显示安全警告对话框,询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 6. 建立到云主机的SSH连接后,根据提示输入用户名和密码登录云主机。 说明 如果是公共镜像(包括CoreOS),首次登录时,登录用户名、密码如下: 用户名:root 密码:购买云主机时,您设置的密码
        来自:
        帮助文档
        弹性云主机 ECS
        用户指南
        实例
        登录Linux弹性云主机
        SSH密码方式登录
      • 基于Service实现集群内访问负载均衡
        本文为您介绍如何基于Service实现集群内访问负载均衡。 背景信息 Kubernetes Service是一组具有相同标签的 Pod 集合的抽象,可以简单地理解为集群内的负载均衡器,集群内外的各个服务可以通过 Service 进行互相通信。不同类型的 Service 适合不同的场景,本文将重点讨论每种类型的 Service 的适用场景以及 kubeproxy 如何实现 Service 的负载均衡。 前提条件 确保您已经创建Serverless集群,具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。 假设您在一个K8S的集群里面发布了两个应用,前端应用frontend和后端应用backend,前端应用要访问后端应用。 确保您的Serverless集群已安装CoreDNS插件。 实现原理 Service和iptables模式的kubeproxy在kubernetes集群中的工作原理如下: 操作步骤 步骤一:创建后端应用和前端应用 这里使用nginx代表后端应用,部署2个副本;busybox代表前端应用,可以从busybox中访问nginx的80端口。 1. 登录容器服务控制台,在左侧菜单栏选择“集群”。 2. 在集群列表页面,选择目标集群名称,然后在左侧菜单栏选择“工作负载”下的“无状态”,点击“创建deployment”。 也可以使用yaml创建工作负载,创建nginx工作负载参考如下: apiVersion: "apps/v1" kind: "Deployment" metadata: name: "nginxdeploy" namespace: "default" spec: replicas: 2 selector: matchLabels: name: "nginxdeploy" template: metadata: labels: name: "nginxdeploy" source: "CCSE" spec: containers: image: "registryvpccrshuadong1.ctyun.cn/opensource/nginx:1.25alpineamd64" imagePullPolicy: "IfNotPresent" name: "nginx" 创建busybox工作负载参考如下: apiVersion: "apps/v1" kind: "Deployment" metadata: name: "lintest3deploy" namespace: "default" spec: replicas: 1 selector: matchLabels: name: "busybox" template: metadata: labels: name: "busybox" spec: containers: image: "registryhuadong1.crsinternal.ctyun.cn/opensource/busybox:1.36" imagePullPolicy: "IfNotPresent" name: "busybox" command: "tail" "f" "/dev/null"
        来自:
        帮助文档
        云容器引擎 Serverless版
        最佳实践
        基于Service实现集群内访问负载均衡
      • 带宽与网速
        本文向您介绍企业版VPN中带宽与网速类常见问题。 如何测试VPN速率情况? 假设测试环境VPN连接已经创建,在VPN连接两端VPC的本端子网下分别创建ECS,并使两个VPC之间的ECS相互能够ping通的情况下,测试VPN的速率情况。 当用户购买的VPN网关的带宽为200Mbit/s时,测试情况如下。 1. 互为对端的ECS都使用Windows系统,测试速率可达180Mbit/s,使用iperf3和filezilla(是一款支持ftp的文件传输工具)测试均满足带宽要求。 说明 基于TCP的FTP协议有拥塞控制机制,180Mbit/s为平均速率,且IPsec协议会增加新的IP头,因此10%左右的速率误差在网络领域是正常现象。 使用iperf3客户端测试结果如下图所示。 使用iperf3服务器端测试结果如下图所示。 2. 互为对端的ECS都使用Centos7系统,测试速率可达180M,使用iperf3测试满足带宽要求。 3. 服务器端ECS使用Centos7系统,客户端使用Windows系统,测试速率只有20M左右,使用iperf3和filezilla测试均不能满足带宽要求。 原因在于Windows和Linux对TCP的实现不一致,导致速率慢。所以对端ECS使用不同的系统时,无法满足带宽要求。 使用iperf3测试结果如下图所示。 用户购买的VPN网关为网关的整体吞吐能力,即该VPN网关下所有VPN连接的带宽之和。在大带宽场景下,由于主机的转发性能限制,需要使用多台主机构建多条流量才能充分利用网关的带宽。这种场景下对ECS的配置要求也很高,建议ECS的网卡支持2G以上的带宽。 测试总结:综上测试结果,云网关能够满足带宽速率要求,但是建议两端主机使用相同的操作系统,并且网卡要达到配置要求。
        来自:
        帮助文档
        VPN连接
        常见问题
        企业版VPN
        带宽与网速
      • 使用Nginx实现公网访问Redis 4.0/5.0的单机主备Proxy集群实例
        本章节主要介绍通过跳板机访问VPC内Redis 4.0/5.0单机、主备、Proxy集群实例的操作,Redis 4.0/5.0 Cluster集群实例暂不支持使用该方案进行公网访问。 方案正文 当前,天翼云DCS的Redis 4.0以及Redis 5.0版本不支持绑定弹性IP,无法通过公网访问。 下图中安装了Nginx代理工具的ECS就是一台跳板机,它与DCS Redis实例在相同VPC,可通过子网IP访问Redis实例;为ECS绑定弹性IP后,公网可以访问ECS;Nginx支持监听多个端口,并将请求内容转发到不同的后端Redis实例。 图 通过Nginx访问VPC内DCS Redis 购买一台ECS 1.确认Redis实例所在的虚拟私有云。 如下图所示,已购买一个虚拟私有云在“vpcdemo”内的Redis 4.0/Redis 5.0主备实例。 图 Redis缓存实例信息 2.购买一台同在“vpcdemo”的ECS,并为其绑定一个弹性公网IP,按需选择带宽,够用就好。 图 ECS信息 安装Nginx 1.购买ECS后,需要在ECS上安装Nginx,本文以ECS操作系统为Centos7.x为例进行安装,不同操作系统命令稍有不同。 2.执行以下命令,添加Nginx到yum源。 sudo rpm Uvh 3.添加完之后,执行以下命令,查看是否已经添加成功。 yum search nginx 4.添加成功之后,执行以下命令,安装Nginx。 sudo yum install y nginx 5.执行以下命令安装stream模块。 yum install nginxmodstream 6.启动Nginx并设置为开机自动运行。 sudo systemctl start nginx.service sudo systemctl enable nginx.service 7.在本地浏览器中输入服务器地址(ECS公网IP地址),查看安装是否成功。 如果出现下面页面,则表示安装成功。
        来自:
        帮助文档
        分布式缓存服务Redis版
        最佳实践
        使用Nginx实现公网访问Redis 4.0/5.0的单机主备Proxy集群实例
      • 性能测试
        前提条件 已创建了文件系统,并已挂载至云主机。 说明 本文旨在指导性能测试方法,若要达到官网性能指标,建议使用多台云服务器进行测试 。性能指标参见产品规格。 注意事项 不同云主机规格带宽限制不同,测试不同存储规格的文件系统要注意选择合适带宽的云主机,否则无法达到官网性能指标。建议规格如下: 参数 建议规格 CPU >16核 内存 >32GB 最大带宽 >10Gbps 如果您所在资源池的云主机最大带宽无法达到文件系统带宽官网规格上限,需要开通多台云主机,并将测得结果求和即为最终的结果。 操作步骤 1. 以root 用户登录云主机。 2. 安装FIO测试工具。 Linux: plaintext yum install fio y Windows: 可从FIO官网下载,建议安装到C盘,“C:Program Files ”路径下。 3. 根据要测试的性能指标运行相应测试命令。 fio参数说明 参数 参数说明 name 测试名称,用于在输出结果中区分不同的测试任务。例如nametest read write可以定义一个名为“test read write”的测试任务。 ioengine I/O引擎,用于指定产生I/O操作的底层机制。如ioenginelibaio(Linux异步I/O库),不同的引擎会以不同的方式处理I/O请求,影响测试的效率和准确性。 rw 读写模式,用于确定测试是进行读操作、写操作还是混合读写操作。例如rwrandwrite表示随机写,rwrandread表示随机读,rwread表示顺序读,rwwrite表示顺序写,rwrw表示混合读写。 bs 块大小,指定I/O操作的数据块大小,单位可以是字节(如4096表示4KB)。例如bs4k表示数据块大小为4KB,它会影响测试的性能表现,不同的应用场景通常有对应的合适块大小。通常测试带宽时设置为1M,测试时延和IOPS时设置为4k。 size 测试文件大小,定义了测试所涉及的数据量大小。例如size1G表示测试文件大小为1GB,用于评估存储设备在不同数据量下的性能。 numjobs 作业数量,指定同时运行的I/O作业数量。例如numjobs4表示同时有4个I/O作业在运行,用于模拟多线程或多进程应用对存储设备的并发I/O操作。 runtime 运行时间,规定了测试的运行时长。例如runtime60表示测试将持续运行60秒,可用于在不同时间尺度下评估存储设备的性能。 groupreporting 分组报告,当有多个作业(由numjobs参数指定)同时运行时,会将所有作业的性能结果汇总报告,方便查看整体性能。 directory 测试文件所在目录,用于指定测试文件存放的位置。例如directory/data/testdir表示测试文件将在/data/testdir目录下进行操作,可针对特定存储路径进行性能评估。 rwmixwrite 在混合读写(rw)模式下,指定写操作所占的比例,范围是0 100。例如rwmixwrite70表示在混合读写测试中,写操作占总I/O操作的70%。
        来自:
        帮助文档
        弹性文件服务 SFS
        用户指南
        性能测试
      • 事务模式迁移
        本章节主要介绍事务模式迁移。 CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。 详见下图:事务模式迁移 说明 如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        事务模式迁移
      • 通过LTS记录WAF全量日志
        WAF攻击日志attacklog字段说明 字段 类型 字段说明 描述 attacklog.category string 日志分类 值为“attack”。 attacklog.time string 日志时间 attacklog.timeiso8601 string 日志的ISO 8601格式时间 attacklog.policyid string 防护策略ID attacklog.level string 防护策略层级 表示Web基础防护策略级别。 1:宽松 2:中等 3:严格 attacklog.attack string 发生攻击的类型 发生攻击的类型,仅在攻击日志中出现。 default:默认 sqli:SQL注入攻击 xss:跨站脚本攻击 webshell:WebShell攻击 robot:恶意爬虫 cmdi:命令注入攻击 rfi:远程文件包含 lfi: 本地文件包含 illegal:非法请求 vuln:漏洞攻击 cc:命中CC防护规则 customcustom:命中精准防护规则 customwhiteblackip:命中IP黑白名单规则 customgeoip:命中地理位置控制规则 antitamper: 命中网页防篡改规则 anticrawler:命中JS挑战反爬虫规则 leakage:命中敏感信息泄露规则 antiscanhighfreqscan:防扫描高频扫描攻击 followedaction:攻击惩罚 attacklog.action string 防护动作 WAF防护攻击动作。 block:拦截 log:仅记录 captcha:人机验证 attacklog.subtype string 爬虫的子类型 当attack为robot时,该字段不为空。 scripttool:脚本工具 searchengine:搜索引擎 scaner:扫描工具 uncategorized:其他爬虫 attacklog.rule string 触发的规则ID或者自定义的策略类型描述 attacklog.rulename string 标识自定义的策略类型描述。 命中基础防护规则时该字段为空。 attacklog.location string 触发恶意负载的位置 attacklog.reqbody sting 标识请求体 attacklog.respheaders string 响应头 attacklog.hitdata string 触发恶意负载的字符串 attacklog.respbody string 响应体 attacklog.backend.protocol string 标识当前后端协议 attacklog.backend.alive string 标识当前后端状态 attacklog.backend.port string 标识当前后端端口 attacklog.backend.host string 标识当前后端Host值 attacklog.backend.type string 标识当前后端Host 类型 IP 或域名 attacklog.backend.weight number 标识当前后端权重 attacklog.status string 请求的响应状态码 attacklog.upstreamstatus string 标识请求的源站响应状态码 attacklog.reqid string 随机ID标识 由引擎IP尾缀、请求时间戳、NGINX分配的请求ID组成。 attacklog.requestid string 标识请求唯一ID NGINX分配的请求ID。 attacklog.id string 攻击ID 攻击的ID标识。 attacklog.method string 请求方法 attacklog.sip string 客户端请求IP attacklog.sport string 客户端请求端口 attacklog.host string 请求的服务器域名 attacklog.httphost string 请求的服务器域名 attacklog.hport string 请求的服务器端口 attacklog.uri string 请求URL 不包括域名。 attacklog.header json string,decode后为json table 请求header信息 attacklog.mutipart json string,decode后为json table 请求multipart header 用于文件上传。 attacklog.cookie json string,decode后为json table 请求Cookie信息 attacklog.params json string,decode后为json table 请求URI后的参数信息 attacklog.bodybytessent string 发送给客户端的响应体字节数 WAF发送给客户端的响应体字节数。 attacklog.upstreamresponsetime string 后端服务器从上游服务接收响应内容所经过的时间,单位为秒。 多次请求响应的时间,使用逗号分隔。 attacklog.engineid string 引擎的唯一标识 attacklog.regionid string 标识引擎所在region的ID attacklog.engineip string 标识引擎IP attacklog.processtime string 引擎的检测用时 attacklog.remoteip string 标识请求的四层客户端IP attacklog.xforwardedfor string 标识请求头中“XForwardedFor”的内容 attacklog.cdnsrcip string 标识请求头中“CdnSrcIp”的内容 attacklog.xrealip string 标识请求头中“XRealIP”的内容 attacklog.groupid string 日志组ID 对接LTS服务的日志组ID。 attacklog.attackstreamid string 日志流ID 与“groupid”相关,是日志组下用户的accessstream的ID。 attacklog.hostid string 防护域名ID(upstreamid) attacklog.tenantid string 防护域名的租户ID attacklog.projectid string 防护域名的项目ID attacklog.enterpriseprojectid string 标识请求域名所属企业项目ID attacklog.webtag string 标识网站名称 attacklog.reqbody string 识请求体(超过1K 记录时会被截断)
        来自:
        帮助文档
        Web应用防火墙(独享版)
        管理防护事件
        通过LTS记录WAF全量日志
      • (停止维护)CCE发布Kubernetes 1.25版本说明
        本文主要介绍CCE发布Kubernetes 1.25版本说明。 云容器引擎(CCE)严格遵循社区一致性认证。本文介绍CCE发布Kubernetes 1.25版本所做的变更说明。 版本升级说明 CCE针对Kubernetes 1.25版本提供了全链路的组件优化和升级。 表 核心组件及说明 集群类型 核心组件 版本号 升级注意事项 :::: CCE集群 Kubernetes 1.25 无 CCE集群 Docker CentOS:18.9.0 Ubuntu:18.09.9 无 CCE集群 Containerd 1.4.1 无 CCE集群 操作系统 CentOS Linux release 7.6 无 CCE集群 操作系统 Ubuntu 18.04 server 64bit 无 资源变更与弃用 CCE 1.25变更说明 CCE v1.25集群的节点均默认采用Containerd容器引擎。 社区1.25 ReleaseNotes 清理iptables链的所有权 Kubernetes通常创建iptables链来确保这些网络数据包到达,这些iptables链及其名称属于Kubernetes内部实现的细节,仅供内部使用场景,目前有些组件依赖于这些内部实现细节,Kubernetes总体上不希望支持某些工具依赖这些内部实现细节。 在Kubernetes 1.25版本后,Kubelet通过IPTablesCleanup特性门控分阶段完成迁移,是为了不在NAT表中创建iptables链,例如KUBEMARKDROP、KUBEMARKMASQ、KUBEPOSTROUTING。 存储驱动的弃用和移除,移除云服务厂商的intree卷驱动。 社区1.24 ReleaseNotes 在Kubernetes 1.24版本后,Service.Spec.LoadBalancerIP被弃用,因为它无法用于双栈协议。请使用自定义annotation。 在Kubernetes 1.24版本后,kubeapiserver移除参数address、insecurebindaddress、port、insecureport0。 在Kubernetes 1.24版本后,kubecontrollermanager和kubescheduler移除启动参数port0和address。 在Kubernetes 1.24版本后,kubeapiserver auditlogversion和auditwebhookversion仅支持audit.k8s.io/v1,Kubernetes 1.24移除audit.k8s.io/v1[alphabeta]1,只能使用audit.k8s.io/v1。 在Kubernetes 1.24版本后,kubelet移除启动参数networkplugin,仅当容器运行环境设置为Docker时,此特定于Docker的参数才有效,并会随着Dockershim一起删除。 在Kubernetes 1.24版本后,动态日志清理功能已经被废弃,并在Kubernetes 1.24版本移除。该功能引入了一个日志过滤器,可以应用于所有Kubernetes系统组件的日志,以防止各种类型的敏感信息通过日志泄漏。此功能可能导致日志阻塞,所以废弃。 VolumeSnapshot v1beta1 CRD在Kubernetes 1.20版本中被废弃,在Kubernetes 1.24版本中移除,需改用v1版本。 在Kubernetes 1.24版本后,移除自1.11版本就废弃的service annotation tolerateunreadyendpoints,使用Service.spec.publishNotReadyAddresses代替。 在Kubernetes 1.24版本后,废弃metadata.clusterName字段,并将在下一个版本中删除。 Kubernetes 1.24及以后的版本,去除了kubeproxy监听NodePort的逻辑,在NodePort与内核net.ipv4.iplocalportrange范围有冲突的情况下,可能会导致偶发的TCP无法连接的情况,导致健康检查失败、业务异常等问题。升级前,请确保集群没有NodePort端口与任意节点net.ipv4.iplocalportrange范围存在冲突。
        来自:
        帮助文档
        云容器引擎
        用户指南
        集群管理
        集群概述
        集群Kubernetes版本发布说明
        (停止维护)CCE发布Kubernetes 1.25版本说明
      • 管理Agent
        本章节主要介绍数据治理中心的管理Agent功能。 对于HDFS和关系型数据库类型的数据源,不方便暴露节点的场景,可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据,但不支持写入数据。Agent的使用流程详见下图 前提条件 已具备CDM集群。 新建Agent 1.进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理 > Agent管理 > 新建Agent”,配置Agent相关信息。 详见下图:配置Agent IP地址:配置为源端网络中部署Agent的IP地址。 端口:Agent自定义的端口。建议范围:1024~65535。 启用压缩:是否对数据使用gzip算法进行压缩传输。 −对于文本数据(基于字符编码的数据,例如MySQL的INT等数据类型,详见相关数据库的说明文档),建议开启此选项,gzip压缩可以达到较好的压缩效果。 −对于二进制数据(基于值编码的数据,例如MySQL的BINARY等数据类型,详见相关数据库的说明文档),由于其本身已经压缩过,不推荐再开启gzip压缩,压缩后可能会导致压缩效果较差,同时会增大客户端解压缩的压力,带来不必要的性能损耗。 启用SSL:是否启用SSL双向认证,保证数据的安全性。如果对安全性要求较高,则可以开启SSL。 限流:设置agent的最大下行速率,默认不限流。 2.单击“确定”,完成Agent的创建。在Agent管理页面可查看已成功创建的Agent。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理连接
        管理Agent
      • 配置HBase/CloudTable源端参数
        本章节主要介绍配置HBase/CloudTable源端参数。 作业中源连接为配置HBase连接或配置CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如下表所示。 说明 CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含该表的所有字段,用户需要自己手工添加字段。 由于HBase的无Schema技术特点,CDM无法获知数据类型,如果数据内容是使用二进制格式存储的,CDM会无法解析。 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段是以字符串格式存储,而不能是二进制格式,例如数值100需存储格式是字符串“100”,不能是二进制“01100100”。 表 HBase/CloudTable作为源端时的作业参数 参数名 说明 取值样例 表名 导出数据的HBase表名。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBL2 列族 可选参数,导出数据所属的列族。 CF1&CF2 切分Rowkey 可选参数,选择是否拆分Rowkey,默认为“否”。 是 Rowkey分隔符 可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。 l 起始时间 可选参数,起始时间(包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间及以后的数据。 该参数支持配置为时间宏变量,使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 20190101 20:00:00 终止时间 可选参数,终止时间(不包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间以前的数据。 该参数支持配置为时间宏变量。 20190201 20:00:00
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置HBase/CloudTable源端参数
      • DDS数据迁移到DWS
        创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建数据迁移任务。 2.配置作业基本信息: 作业名称:输入便于记忆、区分的作业名称。 源端作业配置 源连接名称:选择创建DDS连接中的“mongolink”。 −数据库名称:选择待迁移数据的数据库。 −集合名称:DDS中MongoDB的集合,类似于关系型数据库中的表名。 目的端作业配置 −目的连接名称:选择创建DWS连接中的连接“dwslink”。 −模式或表空间:选择待写入数据的DWS数据库。 −表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 −导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。 3.单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。 如果字段映射关系不正确,用户单击字段所在行选中后,按住鼠标左键可拖拽字段来调整映射关系。 导入到DWS时需要手动选择DWS的分布列,建议按如下顺序选取: a.有主键可以使用主键作为分布列。 b.多个数据段联合做主键的场景,建议设置所有主键作为分布列。 c.在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如果需要转换源端字段内容,可在该步骤配置,这里选择不进行字段转换。 4.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 作业运行完是否删除:这里保持默认值“不删除”。 5.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 6.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        DDS数据迁移到DWS
      • Kubernetes 1.33版本说明
        弃用API apidiscovery.k8s.io/v2beta1 API 组已废弃。此 API 用于客户端查询集群中所有已注册的 API 资源信息,建议迁移至 v2 稳定版本。 EndpointSlice的annotation service.kubernetes.io/topologymode在 1.33 版本中已弃用,保持向后兼容,由spec.trafficDistribution替换。 Pod status.resize 字段在 1.33 版本中已弃用,将不再设置。Pod 调整大小的状态将在两个新 condition 下暴露:PodResizeInProgress 和 PodResizePending。 WatchFromStorageWithoutResourceVersion 特性在 1.33 版本中已被弃用,无法再启用。 更多信息请参考:Kubernetes 1.33 Changelog Kubernetes 1.32 版本Changelog 功能特性 1. CustomResourceFieldSelectors (GA),CustomResourceFieldSelectors 特性门控在 1.32 进入 GA,默认启用。该特性支持在 CustomResourceDefinition(CRD)中启用 selectableFields,包括 list、watch 和 deletecollection,以更加高效、更精确地过滤 CRD 资源。 2. StatefulSetAutoDeletePVC (GA),StatefulSetAutoDeletePVC 特性门控在 1.32 进入 GA,默认启用。该特性提供对 StatefulSet 中 PVC 删除的精细控制,允许在 StatefulSet 明确不需要 PVC 时自动清理 PVC,降低孤立 PVC 对 StatefulSet 的影响。 3. SizeMemoryBackedVolumes (GA),SizeMemoryBackedVolumes 特性门控在 1.32 进入 GA,默认启用。该特性支持对基于内存的卷(如 emptyDir)指定大小限制,防止 Pod 过度占用节点内存。 4. PodLifecycleSleepAction (GA),PodLifecycleSleepAction 特性门控在 1.32 进入 GA。该特性支持在容器生命周期回调中通过 Sleep 字段直接使用 sleep 命令,将容器暂停一段指定的时间。 5. Memory Manager (GA),Memory Manager 特性门控在 1.32 进入 GA。作为 kubelet 工作负载准入过程的一部分,Memory Manager 提供拓扑提示来优化内存分配和对齐,使用户能够为 Guaranteed QoS 类别的 Pod 分配独占内存。 6. CronJobsScheduledAnnotation (GA),CronJobsScheduledAnnotation 特性门控在 1.32 进入 GA,默认启用。该特性会将 CronJob 被调度的时间写到 Job 的注解 batch.kubernetes.io/cronjobscheduledtimestamp 中。 7. PodIndexLabel (GA),PodIndexLabel 特性门控在 1.32 进入 GA,默认启用。该特性会将 Index Job 的完成顺序写到 Pod 的标签 batch.kubernetes.io/jobcompletionindex 中。 8. WatchList (Beta),WatchList 特性门控进阶至 Beta,默认启用。对于使用 clientgo 的用户,在开启 clientgo 的 WatchListClient 特性后,使用流式请求而不是全量 List 访问 kubeapiserver,降低控制面资源消耗。 9. RelaxedEnvironmentVariableValidation (Beta),RelaxedEnvironmentVariableValidation 特性门控进阶至 Beta,默认开启。该特性支持在环境变量名中使用所有可打印的 ASCII 字符(""除外),增加了环境变量使用的灵活性。 10. JobManagedBy (Beta),JobManagedBy 特性门控进阶至 Beta,默认启用。该特性支持通过 Job 的 spec.managedBy 字段自定义 Job 的 controller,使外部控制器(如 Kueue)能够管理 Job 同步。 11. QueueingHint (Beta),调度器的每个插件都集成 QueueingHint 回调函数,方便调度器获取 Pod 重新入队的建议,快速判断 Pod 是否需要重新入队,以减少不必要的调度重试,从而提升调度吞吐量。 12. RecoverVolumeExpansionFailure (Beta),RecoverVolumeExpansionFailure 特性门控进阶至 Beta,默认启用。该特性允许用户通过重试较小的大小从卷扩展失败中恢复,确保卷扩展更具弹性和可靠性。 13. AuthorizeWithSelectors / AuthorizeNodeWithSelectors (Beta),AuthorizeWithSelectors 和 AuthorizeNodeWithSelectors 特性门控进阶至 Beta,后者需要搭配前者使用。启用后,AuthorizeNodeWithSelectors 允许节点鉴权器使用更细粒度的选择算符(例如 fieldSelector 和 labelSelector)进行鉴权,提高了 Kubernetes 授权系统的灵活性。kubelet 仅有最小权限,只能读取自己的节点对象和绑定到自己节点的 Pod。 14. 优化 JobController,极大提升 Job 的更新和删除效率,尤其是在大量使用 Job 的场景下。 15. 优化 kubeproxy,Service 更新时使用 fieldSelector: clusterIP!None,以避免监听 Headless Service,减少不必要的带宽占用。 16. 优化 Pod 状态显示信息。当镜像拉取失败后,Pod 的 status.containerStatuses[].state.waiting 字段会记录镜像拉取失败的原因(ImagePullBackOff)和具体失败信息。
        来自:
        帮助文档
        云容器引擎 专有版/托管版
        用户指南
        集群
        集群概述
        Kubernetes版本发布记录
        Kubernetes 1.33版本说明
      • 配置云搜索服务目的端参数
        本章节主要介绍配置云搜索服务目的端参数。 作业中目的连接为配置Elasticsearch/云搜索服务(CSS)连接,即将数据导入到云搜索服务时,目的端作业参数如下表所示。 表 Elasticsearch作为目的端时的作业参数 参数名 说明 取值样例 索引 待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 index 类型 待写入数据的Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。 type 管道ID 需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 pipelineid 定时创索引 对于持续写入数据到Elasticsearch的流式作业,CDM支持在Elasticsearch中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引: 每小时:每小时整点创建新索引,新索引的命名格式为“索引名+年+月+日+小时”,例如“index2018121709”。 每天:每天零点零分创建新索引,新索引的命名格式为“索引名+年+月+日”,例如“index20181217”。 每周:每周周一的零点零分创建新索引,新索引的命名格式为“索引名+年+周”,例如“index201842”。 每月:每月一号零点零分创建新索引,新索引的命名格式为“索引名+年+月”,例如“index201812”。 不创建:选择此项表示不创建定时索引。 从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。 每小时
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置云搜索服务目的端参数
      • 通过kubectl操作CCE集群
        本节主要介绍通过kubectl操作CCE集群。 操作场景 本文将以CCE集群为例,介绍如何通过kubectl操作CCE集群。 使用kubectl操作集群 背景信息 若您需要从客户端计算机连接到kubernetes集群,请使用kubernetes命令行客户端kubectl。 前提条件 CCE支持“VPC网络内访问”和“互联网访问”两种方式访问集群。 VPC网络内访问:您需要在ECS控制台购买一台云服务器,并确保和当前集群在同个VPC内。 互联网访问:您需要准备一台能连接公网的云服务器。 注意 通过“互联网访问”方式访问集群,集群的kubeapiserver将会暴露到互联网,存在被攻击的风险,建议对kubeapiserver所在节点的EIP配置DDoS高防服务。 下载kubectl 您需要先下载kubectl以及配置文件,拷贝到您的客户端机器,完成配置后,即可以使用访问kubernetes集群。 请到kubernetes版本发布页面下载与集群版本对应的或者更新的kubectl。 安装和配置kubectl 步骤 1 登录CCE控制台,在左侧导航栏中选择“资源管理 > 集群管理”,单击待连接集群下的“命令行工具 > kubectl”。 步骤 2 在集群详情页中的“kubectl”页签下,请参照界面中的提示信息完成集群连接。 说明 您可以在“kubectl”页签下方便的下载kubectl配置文件(kubeconfig.json),CCE支持帐号和IAM用户分别下载该配置文件,IAM用户下载的配置文件只有30天的有效期,而天翼云帐号下载的配置文件会长期有效。该文件用于对接认证用户集群,请用户妥善保存该认证凭据,防止文件泄露后,集群有被攻击的风险。如果不幸泄露,可以通过证书更新的方式,替换认证凭据。 由于EIP无法固定,所以服务器端证书无法预置EIP,若从互联网访问则无法开启客户端校验服务器端。如需开启客户端校验服务器端,请使用VPC访问方式。 IAM用户下载的配置文件所拥有的Kubernetes权限与CCE控制台上IAM用户所拥有的权限一致。
        来自:
        帮助文档
        云容器引擎
        用户指南
        旧版UI
        集群管理
        kubectl访问集群
        通过kubectl操作CCE集群
      • OBS数据迁移到DLI服务
        创建OBS连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 详见下图:选择连接器类型 2.连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从OBS迁移数据到DLI的任务,如下图“创建OBS到DLI的迁移任务”所示。 作业名称:用户自定义作业名称。 源连接名称:选择创建OBS连接中的“obslink”。 −桶名:待迁移数据所属的桶。 −源目录或文件:待迁移数据的具体路径。 −文件格式:传输文件到数据表时,这里选择“CSV格式”或“JSON格式”。 −高级属性里的可选参数保持默认,详细说明请参见 配置OBS源端参数。 目的连接名称:选择创建DLI连接中的“dlilink”。 −资源队列:选择目的表所属的资源队列。 −数据库名称:写入数据的数据库名称。 −表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式,建议与待迁移数据的字段类型、格式保持一致。 −导入前清空数据:导入数据前,选择是否清空目的表中的数据,这里保持默认“否”。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM支持迁移过程中转换字段内容。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 作业运行完是否删除:这里保持默认值“不删除”。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        OBS数据迁移到DLI服务
      • HBase/CloudTable增量迁移
        本章节主要介绍HBase/CloudTable增量迁移。 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 详见下图:HBase时间区间 起始时间(包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间及以后的数据。 终止时间(不包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间以前的数据。 这2个参数支持配置为 时间宏变量使用解析,例如: 起始时间配置为 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 时,表示只导出昨天以后的数据。 终止时间配置为 ${dateformat(yyyyMMdd HH:mm:ss)} 时,表示只导出当前时间以前的数据。 这2个参数同时配置后,CDM就只导出前一天内的数据,再将该作业配置为每天0点执行一次,就可以增量同步每天新生成的数据。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        增量迁移原理介绍
        HBase/CloudTable增量迁移
      • 手动配置信息
        / EXEC master.dbo.spaddlinkedsrvlogin @rmtsrvnameN'DRSTESTREMOTE',@useselfN'False',@localloginNULL,@rmtuserN'sa',@rmtpassword' ' GO 说明: 以上脚本为范例,创建的脚本可能包含大量系统默认配置项,但是每个DBLink仅需保留以下两个关键脚本即可执行成功,同时需要注意重新输入账号连接密码。 Agent JOB Agent JOB又名SQL Server代理服务,可以方便用户快速的在实例上创建定时任务,帮助用户进行日常运维和数据处理工作,用户在本地的JOB需要手动进行脚本迁移。 1.通过微软提供的官方Microsoft SQL Server Management Studio客户端工具连接本地实例与云上实例,同时在“SQL Server代理 > 作业”下找到当前实例上的所有JOB任务。 图 查看作业 2.选择SQL Server代理下的作业,然后按F7,可以在对象资源管理器中看到所有的作业(JOB),全部选中后创建脚本到新窗口。 图 创建脚本 3.复制新窗口中的TSQL创建脚本到新实例上,然后注意修改如下几个关键项,以保障你的创建成功。 注意修改每个JOB上的Ower账号: 例如: @ownerloginnameN'rdsuser' 注意修改每个JOB上的实例名称: 例如: @serverN'实例IP' @servername N'实例IP' 说明: 新建JOB的Owner账号十分重要,在RDS SQL Server上,仅有该JOB的Owner可以看到实例上自己的JOB,别的Login账号是看不到无法操作的,所以建议所有的JOB Owner尽量是同一个账号方便管理。 关键配置 用户将数据库还原到RDS for SQL Server实例上之后,本地的一些重要配置项也需要进行同步确认,避免影响业务的正常使用。 1.tempdb:临时数据库的文件配置需要进行同步。 推荐配置为8个临时文件,注意路径一定要确保在D:RDSDBDATATemp 通过在目标数据库端执行如下脚本添加临时数据库的文件配置: USE [master] GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb1', FILENAME N'D:RDSDBDATATemptempdb1.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb2', FILENAME N'D:RDSDBDATATemptempdb2.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb3', FILENAME N'D:RDSDBDATATemptempdb3.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb4', FILENAME N'D:RDSDBDATATemptempdb4.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb5', FILENAME N'D:RDSDBDATATemptempdb5.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb6', FILENAME N'D:RDSDBDATATemptempdb6.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb7', FILENAME N'D:RDSDBDATATemptempdb7.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO 图 检查临时文件 2.数据库隔离级别:请确认原实例上数据库的隔离级别是否开启,并同步到RDS SQL Server实例,快照隔离参数有2个,分别是:读提交快照(Is Read Committed Snapshot On) 允许快照隔离(Allow Snapshot Isolation) 若原实例上数据库的隔离级别是开启的,您可以通过在目标数据库端执行如下脚本开启数据库的隔离级别: USE [DBName] GO ALTER DATABASE [DBName] SET READCOMMITTEDSNAPSHOT ON WITH NOWAIT GO ALTER DATABASE [DBName] SET ALLOWSNAPSHOTISOLATION ON GO 3.实例最大并行度:实例最大并行度在RDS for SQL Server实例上默认设置为0,用户也可以根据自己本地原来的设置项进行同步设置,避免不同环境下业务场景出现异常。 右击本地实例选择属性,在服务器属性弹出框中选择高级,然后在右侧找到最大并行度(max degree of parallelism)设置项,确认本地实例设置值,并同步在目标RDS for SQL Server实例管理的参数组中进行修改。 图 查看本地实例最大并行度值 登录本云实例控制台,在实例管理页,单击目标实例名称,进入基本信息页签,切换至“参数修改”,搜索最大并行度(max degree of parallelism)并进行修改。 图8 修改目标RDS for SQL Server实例的最大并行度 4.迁移上云的数据库恢复模式是否为完整(FULL)模式,如果不是需要进行修改。 右击数据库选择属性,在弹出数据库属性框中选择选项,并在右侧确认该数据库恢复模式为完整(FULL),保证该数据库高可用和备份策略可执行。 图 检查数据库恢复模式 5.由于备份信息里记录的是源数据库的统计信息,这些信息过旧且会影响SQL性能,迁移结束后建议启动一次全部用户的数据库,收集一遍统计信息,确保上线新系统性能稳定。
        来自:
        帮助文档
        数据库复制
        最佳实践
        本地Microsoft SQL Server备份迁移到云上RDS for SQL Server实例
        手动配置信息
      • 登录弹性云主机
        本节介绍了登录Windows弹性云主机、登录Linux弹性云主机及后续处理等相关内容。 登录Windows弹性云主机 有2种方法可以登录Windows弹性云主机:管理控制台提供的“VNC远程登录方式”和“MSTSC方式”,如下图所示。 图 Windows弹性云主机登录方式一览 1. (可选)使用密钥文件解析密码。 对于密钥方式鉴权的弹性云主机,需先通过管理控制台提供的获取密码功能,将创建弹性云主机时使用的密钥文件解析为密码。 具体操作,请参见获取Windows弹性云主机的密码。 2. 根据需要选择登录方式,登录弹性云主机。 − 管理控制台远程登录(VNC方式) 具体操作,请参见远程登录(VNC方式Windows)。 − 远程桌面连接(MSTSC方式) 具体操作,请参见远程桌面连接(MSTSC方式)。 登录Linux弹性云主机 弹性云主机设置的登录鉴权方式不同,登录弹性云主机的方法也存在差异,如下图所示。 图 Linux弹性云主机登录方式一览 首次登录密钥方式鉴权的弹性云主机时,需使用PuTTY、XShell等工具,采用“SSH密钥方式”进行登录,登录用户名为“root”。此时,弹性云主机必须绑定弹性IP。 SSH密钥方式登录Linux弹性云主机的方法,请参见SSH密钥方式登录。 如需使用控制台提供的“VNC远程登录方式”进行登录,需先使用SSH密钥方式登录弹性云主机并设置密码,然后使用该密码进行登录。 首次登录密码方式鉴权的弹性云主机时,有2种方法可以登录: − 管理控制台远程登录(VNC方式)。登录用户名为“root” VNC方式,具体操作请参见远程登录(VNC方式Linux)。 − SSH密码方式,登录用户名为“root”,且弹性云主机必须绑定弹性IP。 SSH密码方式,具体操作请参见SSH密码方式登录。
        来自:
        帮助文档
        弹性云主机 ECS
        快速入门
        登录弹性云主机
      • 步骤三:开发代码
        本章主要介绍开发代码 代码托管服务提供基于Git的在线代码管理服务,包括代码克隆/提交、分支管理等功能。 由于门店网络查询功能为高优先级Story,本章节将以此功能为例进行介绍如何进行源代码管理与开发。 本样例项目中采用分支来进行代码的开发。首先由开发人员Chris在代码仓库中创建分支,并进行代码开发;然后开发人员Chris在代码仓库中提交分支合并请求,项目经理Maggie评审通过后合并分支至主干。 使用分支管理代码 分支是用来将特性开发并行独立出来的工具。使用分支意味着把工作从开发主线上分离开来,以免影响开发主线。 在创建代码仓库时,会有一个默认分支“master”,即主线。为了保证凤凰商城的稳定运行,需要有一个稳定的持续可用master。因此,项目经理建议:不直接在master分支上进行代码开发,而是统一采用功能分支+合并请求的方式,并且每一个功能分支的代码,必须经过团队的其他成员评审后,才可以进行合并。 步骤 1 将master分支设置为受保护分支。 1. 进入“凤凰商城”项目,单击导航“代码 > 代码托管”,页面将显示样例项目内置的代码仓库“phoenixsample”。 2. 单击仓库名称进入代码仓库,选择“设置”页签。在导航中单击“策略设置 > 保护分支”。 3. 单击“新建保护分支”,参照下表在弹框中完成配置,单击“确定”保存。 新建保护分支配置 配置项 配置建议 选择需要保护的分支 选择“master”。 能推送 根据需要配置,本文档中保持默认配置。 能合并 根据需要配置,本文档中保持默认配置。 成员 根据需要勾选“能推送”、“能合并”,并在下拉列表中选择成员。本文档中保持默认配置。 步骤 2 创建功能分支。 1. 进入“凤凰商城”项目,在代码托管页面中找到仓库“phoenixsample”。 2. 单击仓库名称进入代码仓库,在“代码”页签中单击“分支”。 3. 单击“新建”,参照下表输入分支信息,单击“确定”保存。 新建分支 配置项 配置建议 基于 选择“master”。 分支名称 输入“FeatureStore”。 关联工作项 选择“作为用户可以查询所有门店网络”。
        来自:
        帮助文档
        软件开发生产线CodeArts
        最佳实践
        HE2E DevOps实践
        实施步骤
        步骤三:开发代码
      • 关系数据库增量迁移
        本章节主要介绍关系数据库增量迁移。 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 −适用场景:源端为关系型数据库,目的端没有要求。 −关键配置:Where子句+定时执行作业。 −前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。 Where子句 参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age < 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量使用解析,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。 配置样例: 假设数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017xxxx”,如下图所示,参数配置如下: 图 表数据 a.Where子句:配置为 DS'${dateformat(yyyyMMdd,1,DAY)}' 。 b.配置定时任务:重复周期为1天,每天的凌晨0点自动执行作业。 这样就可以每天0点导出前一天产生的所有数据。Where子句支持配置多种 时间宏变量使用解析,结合CDM定时任务的重复周期:分钟、小时、天、周、月,可以实现自动导出任意指定日期内的数据。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        增量迁移原理介绍
        关系数据库增量迁移
      • 通过DTS工具迁移DDS/MongoDB数据
        本页介绍了如何通过数据传输服务DTS将DDS/MongoDB数据迁移到DDS/MongoDB云数据库。 前提条件 源端 账号权限要求: 全量迁移,需要具备admin库的readAnyDatabase权限、clusterMonitor权限。 增量迁移,需要具备admin库的readAnyDatabase权限、clusterMonitor权限,local库的read权限。 或者具备超级用户权限。 目标端 账号权限要求: admin库的dbAdminAnyDatabase权限、readWriteAnyDatabase权限、clusterMonitor权限。 或者具备超级用户权限。 其他要求: 已创建文档数据库服务DDS。 操作步骤 副本集到副本集迁移详细信息请参考:数据传输服务DTS​>用户指南​>数据迁移​>入云​>将DDS/MongoDB副本集迁移到DDS/MongoDB副本集。 分片集群到分片集群迁移详细信息请参考:数据传输服务DTS​>用户指南 数据迁移​>入云​>将DDS/MongoDB分片集迁移到将DDS/MongoDB分片集群。 副本集到分片集群迁移详细信息请参考:数据传输服务DTS​>用户指南 数据迁移​>入云​>将DDS/MongoDB副本集迁移到将DDS/MongoDB分片集群。
        来自:
        帮助文档
        文档数据库服务
        用户指南
        数据迁移
        通过DTS工具迁移DDS/MongoDB数据
      • 知识库的基本操作
        一、知识库入口 花卷左侧工具栏——更多——知识库 二、如何创建知识库? 1.创建个人知识库 选择个人知识库,在我创建的知识库右边点击「+」进行新建知识库,填写知识库名称和描述,点击「确定」创建,即可完成创建知识库。 2.创建企业知识库 只有企业知识库管理员才能创建企业知识库。设置企业知识库管理员的步骤见创建管理员权限。选择企业知识库,在我创建的知识库右边点击「+」进行新建知识库,填写知识库名称和描述,点击「确定」创建,即可完成创建知识库。 三、如何修改知识库名称图标? ● 新建知识库时,可以设置知识库名称和图标。 ● 点击知识库右侧「…」,选择资料修改,也可以找到修改知识库名称和头像的设置。 四、如何删除知识库? ● 删除知识库:点击知识库右侧「…」,选择删除知识库,便可完成删除。 注意 某个知识库确认删除后,所有内容将被删除不可恢复,请谨慎操作。 五、如何在知识库创建文件? 进入某一知识库,点击上传图标,支持本地文件/云空间文件/云盘同步三种方式进行文件上传。若文件包含图表/公式等多模态数据,支持开启深度解析,以提升复杂信息的处理精度。 上传解析成功的文件会显示在文件列表中,鼠标悬浮到某一文件,会展示该文件的AI摘要。点击文件右侧「…」,对文件进行删除。
        来自:
        帮助文档
        花卷慧办
        用户指南
        客户端指南
        知识库
        知识库的基本操作
      • Node.js Redis客户端
        客户端服务器为centos(redhat系列) 步骤 1 查看并获取待连接Redis实例的IP地址和端口。 具体步骤请参见查看实例信息。 步骤 2 登录弹性云主机。 步骤 3 安装Node.js。 yum install nodejs 如果以上命令安装不了,备选方式如下: wget nocheckcertificate tar xvf nodev0.12.4.tar.gz cd nodev0.12.4 ./configure make make install 说明 安装完成后,可执行node v查看Node.js的版本号,确认Node.js已安装成功。 安装完成后,可执行node v查看Node.js的版本号,确认Node.js已安装成功。 步骤 4 安装js包管理工具npm。 yum install npm 步骤 5 安装Node.js redis客户端ioredis。 npm install ioredis 步骤 6 编辑连接Redis实例的示例脚本。 编辑连接示例脚本ioredisdemo.js。示例脚本中增加以下内容,包括连接以及数据读取。 var Redis require('ioredis'); var redis new Redis({ port: 6379, // Redis port host: '192.168.0.196', // Redis host family: 4, // 4 (IPv4) or 6 (IPv6) password: '', db: 0 }); redis.set('foo', 'bar'); redis.get('foo', function (err, result) { console.log(result); }); // Or using a promise if the last argument isn't a function redis.get('foo').then(function (result) { console.log(result); }); // Arguments to commands are flattened, so the following are the same: redis.sadd('set', 1, 3, 5, 7); redis.sadd('set', [1, 3, 5, 7]); // All arguments are passed directly to the redis server: redis.set('key', 100, 'EX', 10); 其中,host 为Redis实例的IP地址,port为Redis实例的端口。IP地址和端口获取见步骤1,请按实际情况修改后执行。 为创建Redis实例时自定义的密码,请按实际情况修改后执行。 步骤 7 运行示例脚本,连接Redis实例。 node ioredisdemo.js
        来自:
        帮助文档
        分布式缓存服务Redis版
        快速入门
        连接实例
        多语言连接
        Node.js Redis客户端
      • 配置eci-profile
        本文介绍如何配置eciprofile。 基于 Kubernetes 的 Mutating Webhook机制实现了eciprofile,支持为调度到虚拟节点上的 Pod 自动追加Annotations、Labels、Tolerations等,实现自动修改Pod 的规格、镜像缓存、安全组等配置,降低您对业务 Pod 配置的维护成本。本文介绍如何配置eciprofile。 功能介绍 对于ECI的一些功能特性,例如指定ECI实例规格,启用镜像缓存等,需要在Pod中追加Annotation或者Label来实现。更多信息,请参见ECI Pod Annotation。 对于上述情况,eciprofile实现了自动追加Annotation和Label的功能。在eciprofile中,您可以自定义selector,在selector中同时指定筛选条件和要追加的Annotation和Label,满足selector筛选条件的Pod会自动追加指定的Annotation和Label。 前提条件 1. 确保您已经创建Serverless集群,具体操作请参阅创建Serverless集群。 2. 已在插件市场安装插件eciprofile,且插件正常运行。 3. 确保kubectl工具已经连接目标集群。 selectors配置 创建Pod时,系统会按照selectors去匹配Pod,对于Label能够匹配上的Pod,会自动追加Annotation和Label,以便生效ECI的功能特性。 Selector 支持两种匹配方式: 1. 命名空间标签匹配。 2. Pod标签匹配。 可以分别通过 namespaceLabels 和 objectLabels 字段来指定匹配的 Namespace 和 Pod 标签。通过 effect 字段配置的 Annotation 和 Label 会自动追加到匹配的 Pod 上。 说明 要了解 Selector 的生效情况,可以通过查看 Pod 上的 k8s.ctyun.cn/matchedselector 标签来判断。 新增的 Selector 不会应用于存量 Pod,仅对新创建的 Pod 生效,若需要对现有工作负载生效,请重新部署工作负载。 在一个 Selector 中,建议您至少配置 namespaceLabels 和 objectLabels 中的一个。如果两者同时配置了,则Pod需要同时匹配两者;如果两者均未配置或者为空对象,且配置了 effect,则 effect 对所有 Pod 均生效。 1. 命名空间标签匹配。 假设想让集群中新创建的所有Pod都默认使用1C1G的规格,Selector配置模板如下: shell apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: 1c1gglobal spec: namespaceLabels: {}
        来自:
        帮助文档
        云容器引擎 Serverless版
        用户指南
        ECI Pod
        配置eci-profile
      • 搭建微信公众号后台——收发文本消息
        coding: utf8 2. filename: receive.py 3.import xml.etree.ElementTree as ET 4. 5.def parsexml(webdata): 6. if len(webdata) 0: 7. return None 8. xmlData ET.fromstring(webdata) 9. msgtype xmlData.find('MsgType').text 10. if msgtype 'text': 11. return TextMsg(xmlData) 12. elif msgtype 'image': 13. return ImageMsg(xmlData) 14. elif msgtype 'location': 15. return LocationMsg(xmlData) 16. elif msgtype 'event': 17. return EventMsg(xmlData) 18. 19.class Event(object): 20. def init(self, xmlData): 21. self.ToUserName xmlData.find('ToUserName').text 22. self.FromUserName xmlData.find('FromUserName').text 23. self.CreateTime xmlData.find('CreateTime').text 24. self.MsgType xmlData.find('MsgType').text 25. self.Eventkey xmlData.find('EventKey').text 26. 27.class Msg(object): 28. def init(self, xmlData): 29. self.ToUserName xmlData.find('ToUserName').text 30. self.FromUserName xmlData.find('FromUserName').text 31. self.CreateTime xmlData.find('CreateTime').text 32. self.MsgType xmlData.find('MsgType').text 33. self.MsgId xmlData.find('MsgId').text 34. 35.class TextMsg(Msg): 36. def init(self, xmlData): 37. Msg.init(self, xmlData) 38. self.Content xmlData.find('Content').text 39. 40.class ImageMsg(Msg): 41. def init(self, xmlData): 42. Msg.init(self, xmlData) 43. self.PicUrl xmlData.find('PicUrl').text 44. self.MediaId xmlData.find('MediaId').text 45. 46.class LocationMsg(Msg): 47. def init(self, xmlData): 48. Msg.init(self, xmlData) 49. self.LocationX xmlData.find('LocationX').text 50. self.LocationY xmlData.find('LocationY').text 51. 52.class EventMsg(Msg): 53. def init(self, xmlData): 54. Event.init(self, xmlData) 55. self.Event xmlData.find('Event').text 4、新建templates文件夹,在文件夹下新建replytext.xml文件,复制如下代码: $def with (toUser,fromUser,createTime,content) $createTime 5、最终本地代码文件形成如下: 6、通过WinSCP工具将上述文件与目录上传至ECS指定目录下:
        来自:
        帮助文档
        弹性云主机 ECS
        最佳实践
        搭建微信公众号后台——收发文本消息
      • 如何确认CDN加速是否生效
        本文介绍如何确认CDN加速是否生效。 问题概述 本文介绍域名配置CDN加速并执行CNAME切换后,如何查看CDN加速是否生效。 验证步骤 要确认CDN加速是否生效,可通过如下步骤进行验证 : 1. 检查域名解析:确保将您的域名解析指向天翼云CDN提供的CNAME地址。您可以使用工具如ping或dig来验证解析结果是否正确。 在Windows系统中可以通过ping的方式查看所添加的加速域名。 ping example.ctyun.cn 系统如果显示被转向cname域名,如example.ctyun.cn.ctadns.cn,并解析出访问CDN节点的IP即表示CDN加速已生效。 在Linux系统中可以通过dig的方式查看所添加的加速域名。 dig example.ctyun.cn 同Windows系统,显示域名解析被转向CNAME域名,如example.ctyun.cn.ctadns.cn,并解析出访问CDN节点的IP即表示CDN功能已生效。 2. 使用curl命令测试:在命令行中使用curl命令发送HTTP请求并查看响应头信息。可以使用CDN加速域名来进行测试。例如,执行以下命令: curl I example.ctyun.cn/xxx.jpg 如果返回的响应头包含CtlCacheStatus字段,其值表明内容是否被缓存(如HIT、MISS等),则表示CDN解析已生效。 3. 调用API接口方式,详情请见:如何验证IP地址是否属于天翼云CDN节点IP,通过API接口查看IP对应的节点是否为天翼云CDN节点。 4. 实际访问测试:通过实际访问网站或应用程序进行测试,观察加载速度和内容是否符合预期。可以尝试从不同地理位置和网络环境下进行测试,以确保CDN节点在对应加速区域内都能产生正常加速效果。 注意 执行CNAME切换后,因DNS解析生效和节点文件缓存需要一定时间,所以CDN节点要达到最佳加速效果也需要一段时间。
        来自:
        帮助文档
        CDN加速
        常见问题
        域名接入
        如何确认CDN加速是否生效
      • 配置MySQL源端参数
        本章节主要介绍配置MySQL源端参数。 作业中源连接为配置MySQL数据库连接,源端作业参数如下表所示。 表 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 基本参数 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明 SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如select from table a; select from table b。 不支持with语句。 不支持注释 ,比如"",“/”。 不支持增删改操作,包括但不限于以下操作: load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 基本参数 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMAE 基本参数 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 说明 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 table 高级属性 抽取分区字段 “使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时,字段值不支持ASCII字符代码表之外的字符,不支持中文字符。 id 高级属性 Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 高级属性 分区字段是否允许空值 是否允许分区字段包含空值。 是 高级属性 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 高级属性 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 高级属性 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 高级属性 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围,将作业拆分为多少个子作业执行。 高级属性 按表分区抽取 从MySQL导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dbatabpartitions 和dbatabsubpartitions 的SELECT权限。 否 说明 MySQL到DWS的场景下,MySQL Binlog方式增量迁移数据功能的使用限制如下: 单个集群在当前版本中只支持一个MySQL Binlog方式的增量迁移任务。 1.当前版本不支持一次性删除、更新万条记录。 2.不支持整库迁移。 3.不支持DDL操作。 4.不支持事件(event)迁移。 5.当选择增量迁移时,源MySQL数据库的“binlogformat”需要设置为“ROW”。 6.当选择增量迁移时,增量迁移过程中如果源MySQL实例,出现因实例跨机迁移或跨机重建等导致的binlog文件ID乱序,可能导致增量迁移数据丢失。 7.当目的表存在主键时,如果重启CDM集群或全量迁移过程中产生增量数据,主键可能会出现重复数据,导致迁移失败。 8.如果目标数据库DWS存在重启行为,会导致迁移失败,需要重启CDM集群重新拉起迁移作业。 MySQL推荐配置如下:
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置MySQL源端参数
      • 基本概念
        关键词 说明 集群 集群指容器运行所需要的云资源组合,关联了若干服务器节点、负载均衡、专有网络等云资源。 专有版集群:需要创建1个Master(非高可用),或者3/5个Master(高可用)节点,以及若干Worker节点,可对集群基础设施进行更细粒度的控制,需要自行规划、维护、升级服务器集群。 托管版集群:只需创建Worker节点,Master节点由CCE创建并托管,具备操作简单、低成本无需运维等特点。 节点 一台服务器(可以是虚拟机实例或者物理服务器)已经安装了Docker Engine,可以用于部署和管理容器。容器的Agent程序会被安装到节点上并注册到一个集群上。 专有网络VPC 专有网络VPC是您自己独有的云上私有网络。您可以完全掌控自己的专有网络,例如选择IP地址范围、配置路由表和网关等,您可以在自己定义的专有网络中使用天翼云资源如云服务器、云数据库和负载均衡等。 安全组 安全组是一种虚拟防火墙,具备状态检测和数据包过滤能力,用于在云端划分安全域。安全组是一个逻辑上的分组,由同一地域内具有相同安全保护需求并相互信任的实例组成。 应用目录 应用目录功能集成了Helm,提供了Helm的相关功能,并进行了相关功能扩展,例如提供图形化界面。 编排模板 编排模板是一种保存Kubernetes YAML格式编排文件的方式。 Kubernetes Kubernetes是一个开源平台,具有可移植性和可扩展性,用于管理容器化的工作负载和服务,简化了声明式配置和自动化。 容器(Container) 打包应用及其运行依赖环境的技术,一个节点可运行多个容器。 镜像(Image) 容器镜像是容器应用打包的标准格式,封装了应用程序及其所有软件依赖的二进制数据。 镜像仓库(Image Registry) 容器镜像仓库是一种存储库,用于存储Kubernetes和基于容器应用开发的容器镜像。 管理节点(Master Node) 管理节点是Kubernetes集群的管理者,运行着的服务包括kubeapiserver、kubescheduler、kubecontrollermanager、etcd组件,和容器网络相关的组件。 工作节点(Worker Node) 工作节点是Kubernetes集群中承担工作负载的节点,可以是虚拟机也可以是物理机。工作节点承担实际的Pod调度以及与管理节点的通信等。一个工作节点上的服务包括容器运行时(containerd或Docker)、kubelet、KubeProxy以及其它一些可选的组件。 命名空间(Namespace) 命名空间为Kubernetes集群提供虚拟的隔离作用。Kubernetes集群初始有4 个命名空间:default、kubesystem、kubepublic、kubenodelease,除此以外,管理员可以创建新的命名空间以满足需求。 容器组(Pod) Pod是Kubernetes部署应用或服务的最小的基本单位。一个Pod封装多个应用容器(也可以只有一个容器)、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 副本控制器(ReplicationController,RC) RC确保任何时候Kubernetes集群中有指定数量的Pod副本在运行。通过监控运行中的Pod来保证集群中运行指定数目的Pod副本。指定的数目可以是多个也可以是1个;少于指定数目,RC就会启动运行新的Pod副本;多于指定数目,RC就会终止多余的Pod副本。 副本集(ReplicaSet,RS) ReplicaSet(RS)是RC的升级版本,唯一区别是对选择器的支持,RS能支持更多种类的匹配模式。副本集对象一般不单独使用,而是作为Deployment的理想状态参数使用。 工作负载(Workload) 工作负载是在Kubernetes上运行的应用程序。 标签(Label) Labels的实质是附着在资源对象上的一系列Key/Value键值对,用于指定对用户有意义的对象的属性,标签对内核系统是没有直接意义的。标签可以在创建一个对象的时候直接赋予,也可以在后期随时修改,每一个对象可以拥有多个标签,但key值必须唯一。 服务(Service) Service是Kubernetes的基本操作单元,是真实应用服务的抽象,每一个服务后面都有很多对应的容器来提供支持,通过KubeProxy的ports和服务selector决定服务请求传递给后端的容器,对外表现为一个单一访问接口。 路由(Ingress) Ingress是授权入站连接到达集群服务的规则集合。您可以通过Ingress配置提供外部可访问的URL、负载均衡、SSL、基于名称的虚拟主机等。通过POST Ingress资源到API Server的方式来请求Ingress。Ingress Controller负责实现Ingress,通常使用负载均衡器,它还可以配置边界路由和其他前端,这有助于以高可用的方式处理流量。 配置项(ConfigMap) 配置项可用于存储细粒度信息如单个属性,或粗粒度信息如整个配置文件或JSON对象。您可以使用配置项保存不需要加密的配置信息和配置文件。 保密字典(Secret) 保密字典用于存储在Kubernetes集群中使用一些敏感的配置,例如密码、证书等信息。 卷(Volume) 和Docker的存储卷有些类似,Docker的存储卷作用范围为一个容器,而Kubernetes的存储卷的生命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。 存储卷(Persistent Volume,PV) PV是集群内的存储资源,类似节点是集群资源一样。PV独立于Pod的生命周期,可根据不同的StorageClass类型创建不同类型的PV。 存储卷声明(Persistent VolumeClaim,PVC) PVC是资源的使用者。类似Pod消耗节点资源一样,而PVC消耗PV资源。 存储类(StorageClass) 存储类可以实现动态供应存储卷。通过动态存储卷,Kubernetes将能够按照用户的需要,自动创建其所需的存储。 弹性伸缩(Autoscaling) 弹性伸缩是根据业务需求和策略,经济地自动调整弹性计算资源的管理服务。典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 可观测性(Observability) Kubernetes可观测性体系包含监控和日志两部分,监控可以帮助开发者查看系统的运行状态,而日志可以协助问题的排查和诊断。 Helm Helm是Kubernetes包管理平台。Helm将一个应用的相关资源组织成为Charts,然后通过Charts管理程序包。 节点亲和性(nodeAffinity) 节点亲和性指通过Worker节点的Label标签控制Pod部署在特定的节点上。 污点(Taints) 污点和节点亲和性相反,它使节点能够排斥一类特定的Pod。 容忍(Tolerations) 应用于Pod上,允许(但并不要求)Pod调度到带有与之匹配的污点的节点上。 应用亲和性(podAffinity) 应用亲和性决定应用Pod可以和特定Pod部署在同一拓扑域。例如,对于相互通信的服务,可通过应用亲和性调度,将其部署到同一拓扑域(例如同一个主机)中,以减少它们之间的网络延迟。 应用反亲和性(podAntiAffinity) 应用反亲和性决定应用Pod不与特定Pod部署在同一拓扑域。例如,将一个服务的Pod分散部署到不同的拓扑域(例如不同主机)中,以提高服务本身的稳定性。 服务网格(Istio) Istio是一个提供连接、保护、控制以及观测服务的开放平台,兼容社区Istio开源服务网格,用于简化服务的治理,包括服务调用之间的流量路由与拆分管理、服务间通信的认证安全以及网格可观测性能力。
        来自:
        帮助文档
        云容器引擎 专有版/托管版
        产品介绍
        基本概念
      • 1
      • ...
      • 73
      • 74
      • 75
      • 76
      • 77
      • ...
      • 444
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      物理机 DPS

      镜像服务 IMS

      弹性伸缩服务 AS

      天翼云CTyunOS系统

      训推服务

      AI Store

      应用托管

      星辰TokenHub运营服务平台

      星辰MaaS智能体平台

      推荐文档

      数据库访问

      上报自定义指标并进行监控

      配置目的端

      云课堂 第十三课:如何远程管理天翼云RDS数据库

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号