活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      数据集成工具_相关内容
      • 配置Kafka/DMS Kafka源端参数
        参数 说明 取值样例 Topics 支持单个或多个topic。 est1,est2 偏移量参数 从Kafka拉取数据时的初始偏移量: 最新:最大偏移量,即拉取最新的数据。 最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。 时间范围:拉取时间范围内的数据。 最新 是否持久运行 用户自定义是否永久运行。 是 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 sumergroup 数据格式 解析数据时使用的格式: 二进制格式:适用于文件迁移场景,不解析数据内容原样传输。 CSV格式:以CSV格式解析源数据。 l JSON:以JSON格式解析源数据。 CDC(DRSJSON):以DRSJSON格式解析源数据。 二进制格式 字段分隔符 默认为空格,使用Tab键作为分隔符请输入“t”。 , 最大消息数/poll 可选参数,每次向Kafka请求数据限制最大请求记录数。 100 最大时间间隔/poll 可选参数,向Kafka请求数据的最大时间间隔。 100
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置Kafka/DMS Kafka源端参数
      • 配置HBase/CloudTable目的端参数
        参数名 说明 取值样例 表名 写入数据的HBase表名。如果是创建新HBase表,支持从源端拷贝字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBL2 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 , Rowkey冗余 可选参数,是否将选做Rowkey的数据同时写入HBase的列,默认值“否”。 否 压缩算法 可选参数,创建新HBase表时采用的压缩算法,默认为值“NONE”。 NONE:不压缩。 SNAPPY:压缩为Snappy格式。 GZ:压缩为GZ格式。 NONE WAL开关 选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据,会转换为Byte[]数组(二进制)写入HBase,其他类型的按字符串写入。 如果这几种类型中,有合并做rowkey的,则依然当字符串写入。 该功能作用是:降低存储占用空间,存储更高效;特定场景下rowkey分布更均匀。 否:源端数据库中所有类型的数据,都会按照字符串写入HBase。 否
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置HBase/CloudTable目的端参数
      • UDFScript概述
        本文介绍UDFScript概念、原理、使用说明、资费说明及典型应用场景。 UDFScript介绍 用户自定义脚本(User Defined Script,简称UDFScript)是一个可供您快速实现全站加速定制化配置的工具箱,当全站加速控制台上的标准配置无法满足您的业务需求时,可以使用UDFScript通过简单的编程实现定制化业务需求。 使用UDFScript前的请求处理过程: 1. 网关收到客户端请求时,执行控制台标准化配置对请求进行处理。 2. 如果符合缓存规则,网关将处理后的请求转发给缓存组件,由缓存组件命中后响应,或者请求回源。 3. 如果不符合缓存规则,则由网关处理后,请求回源。 4. 源站返回响应内容,网关响应给客户端。 使用UDFScript后的请求处理过程: 1. 网关收到客户端请求时,执行业务脚本,对用户的请求进行业务处理。 2. 网关处理完业务脚本的业务逻辑后,继续处理控制台标准化的配置。 3. 如果符合缓存规则,网关将处理后的请求转发给缓存组件,由缓存组件命中后响应,或者请求回源。 4. 如果不符合缓存规则,则由网关处理后,请求回源。 5. 源站返回响应内容,网关响应给客户端。 使用说明 UDFScript由全局字典、全局task脚本、业务脚本三部分组成: 全局字典用来定义一块共享内存区域,全局task脚本可以从全局字典中读取数据,也可以把结果保存到全局字典中,业务脚本只能从全局字典读取数据。 全局task脚本用于定义后台周期性任务(非客户端请求触发),比如周期性同步远端配置数据到本地全局字典中。 业务脚本可以快速自定义控制台未支持的功能,例如定制化鉴权、请求头改写等。 您可以仅使用业务脚本实现简单的自定义功能,也可以把全局字典、全局task脚本、业务脚本三个结合起来使用,自定义更强大的功能。 变量信息,请参见UDFScript变量说明。 函数信息,请参见UDFScript函数说明。
        来自:
        帮助文档
        全站加速
        用户指南
        UDFScript用户自定义脚本
        UDFScript概述
      • 入门操作
        本节介绍印刷文字识别产品快速入门的操作步骤。 步骤一:鉴权及调用API 以身份证识别为例,更多详情请查看认证鉴权。 1、选择合适自己的开发工具,在这里用Python为例,点击Python3调用示例,选择复制全部代码; 2、粘贴刚复制的代码块,接下来替换URL、AccessKey和SecurityKey、AppKey、入参类型; 3、当状态码为200,则表示调用成功,下方显示成功数量、失败数量、审核结果等信息。 步骤二:查看调用次数 打开控制台,总览页面可以查看到到已开通能力、能力调用排行榜以及平均响应时间等内容,更多操作台详情请查看用户控制台。 已开通能力:已经加入到应用并已开通成功的能力。 能力调用排行榜:时间周期内,已调用的原子能力按照调用次数进行排序。 能力异常分布情况:时间周期内,原子能力异常的分布情况,以饼状图展示。 平均响应时间:选取应用分组原子能力和时间周期后,查看其平均响应时间。 能力调用省份分布:时间周期内,各省份对能力的调用次数分布情况。鼠标悬停在某一省份时,可查看该省份详细数据信息。
        来自:
        帮助文档
        印刷文字识别
        快速入门
        入门操作
      • 创建自定义认证
        本章主要介绍创建自定义认证。 操作场景 自定义认证包含两种认证:前端自定义认证和后端自定义认证。 前端自定义认证:如果您希望使用自己的认证系统,而不是APP认证/IAM认证对API的访问进行认证鉴权时,您可以使用自定义认证,通过您自定义的函数进行认证鉴权。 后端自定义认证:当不同的后端服务使用不同的认证系统时,导致您需要为不同的认证系统定制化开发API,而APIG通过自定义认证功能,将多种认证系统集成,简化API开发的复杂度。您只需要在APIG中创建自定义的函数认证,APIG通过此函数对接后端认证系统,获取后端服务的访问授权。 说明 自定义认证依赖函数工作流服务。如果当前Region没有上线函数工作流服务,则不支持使用自定义认证。 使用自定义认证调用API的流程如下图所示: 图 使用自定义认证调用API 前提条件 已在函数工作流服务中完成函数创建。 创建自定义认证 步骤 1 进入API网关控制台页面。 步骤 2 根据实际业务在左侧导航栏上方选择实例。 步骤 3 在左侧导航栏选择“API管理 > API策略”。 步骤 4 在“自定义认证”页面,单击“创建自定义认证”。 配置自定义认证参数。 表 自定义认证参数说明 信息项 描述 认证名称 您自定义的认证名称,用于区分不同的自定义认证。 类型 前端:对API的访问进行认证鉴权。 后端:对后端服务的访问授权。 函数地址 选择在FunctionGraph中创建的函数。 版本或别名 选择函数的版本或别名。 缓存时间(秒) 设置认证结果缓存的时间。 值为0时代表不缓存,最大支持3600秒。 身份来源 设置用于认证的请求参数。 当“类型”为“前端”,且“缓存时间”不为0时,必须设置此参数。使用缓存时,此参数将作为搜索条件来查询认证结果。 是否发送body 指是否将API请求的body体内容传递给认证函数。body体内容传给函数的方式,与header、query内容传递一致。 用户数据 您自定义的请求参数,APIG调用函数时,与“身份来源”一同作为请求参数。 步骤 5 单击“确定”,完成自定义认证的创建。
        来自:
        帮助文档
        API网关
        开放API网关
        自定义认证
        创建自定义认证
      • 配置HBlock访问用户名和密码
        如何配置HBlock的访问用户名和密码。 注意 若Kubernetes集群中部署了多套HBlock CSI,需在各自对应的安装路径下,配置HBlock访问用户名和密码。 HBlock CSI插件调用HBlock HTTP RESTful API时,需要提供用户名和密码以进行签名认证,用户名为HBlock用户名,密码为HBlock的密码。 可以按照下列步骤配置HBlock访问用户名和密码。 1. 修改配置文件。 修改deploy/csipluginconf/csisecret.yaml配置文件中的参数。 plaintext apiVersion: v1 kind: Secret metadata: name: csipluginstorsecret namespace: @DRIVERNAMESPACE@ type: Opaque data: userKey: userkey //对接HBlock的标识、用户名及密码的字符串的base64编码 userKey 源码 plaintext [ { "clusterID": "cluster1", "username": "storuser", "password": "YOURPASSWORD1" }, { "clusterID": "cluster2", "username": "storuser", "password": "YOURPASSWORD2" } ] 参数 参数 描述 是否必填 metadata.name Secret资源的资源名称。 取值csipluginstorsecret,不可更改。 是 metadata.namespace 绑定的Kubernetes命名空间。 取值: 如果已经安装 HBlock CSI,命名空间已确定,直接将该字段值修改为对应命名空间值。完成csiconfigMap.yaml文件的修改、保存并应用后,相关配置即可自动生效。 如果还未安装HBlock CSI,此字段取值保持为@DRIVERNAMESPACE@,执行deploy安装脚本时,即可自动替换为对应的命名空间。 是 userKey 对接HBlock的标识、用户名及密码的字符串的base64编码。 是 clusterID csiconfigMap.yaml中配置的HBlock的标识。 是 username HBlock的管理员用户名。 是 password HBlock的管理员密码。 是 示例: 1. userKey的源码如下: plaintext [ { "clusterID": "stor1", "username": "storuser", "password": "hblock12@" }, { "clusterID": "stor2", "username": "storuser", "password": "hblock12@" } ] 2. 使用Base64工具对userKey源码进行编码。编码后的userKey如下: plaintext WwogICAgICB7CiAgICAgICAgImNsdXN0ZXJJRCI6ICJzdG9yMSIsICAKICAgICAgICAidXNlcm5hbWUiOiAic3RvcnVzZXIiLAogICAgICAgICJwYXNzd29yZCI6ICJoYmxvY2sxMkAiCiAgICAgIH0sCiAgICAgIHsKICAgICAgICAiY2x1c3RlcklEIjogInN0b3IyIiwgIAogICAgICAgICJ1c2VybmFtZSI6ICJzdG9ydXNlciIsCiAgICAgICAgInBhc3N3b3JkIjogImhibG9jazEyQCIKICAgICAgfQogICAgXQo 3. 修改配置文件deploy/csipluginconf/csisecret.yaml配置文件中的参数。 plaintext apiVersion: v1 kind: Secret metadata: name: csipluginstorsecret namespace: default type: Opaque data: userKey: WwogICAgICB7CiAgICAgICAgImNsdXN0ZXJJRCI6ICJzdG9yMSIsICAKICAgICAgICAidXNlcm5hbWUiOiAic3RvcnVzZXIiLAogICAgICAgICJwYXNzd29yZCI6ICJoYmxvY2sxMkAiCiAgICAgIH0sCiAgICAgIHsKICAgICAgICAiY2x1c3RlcklEIjogInN0b3IyIiwgIAogICAgICAgICJ1c2VybmFtZSI6ICJzdG9ydXNlciIsCiAgICAgICAgInBhc3N3b3JkIjogImhibG9jazEyQCIKICAgICAgfQogICAgXQo 2. 应用配置文件。 plaintext [root@server csipluginconf]
        来自:
        帮助文档
        存储资源盘活系统
        常用工具
        Container Storage Interface插件
        脚本方式使用指南
        配置插件
        配置HBlock访问用户名和密码
      • 相关术语解释
        动态内容 指用户多次访问某一内容或者多个用户访问某一内容,源站响应返回的数据均不相同。例如:.jsp、.asp、.php、.perl、.cgi文件和API接口等,常见于需要数据库查询且会动态变化的场景,例如余票查询,支付信息,动态会话等场景。动态内容一般不可缓存,需要使用全站加速得到加速效果。 缓存Key 缓存Key是一个文件在节点上缓存时唯一的身份ID,每个在节点上缓存的文件都会对应一个缓存Key。通常默认情况下,文件的缓存Key为客户端请求的原始URL(带参数)。通过自定义缓存Key,可以将原始URL形式不同但实际指向同一个文件的请求,缓存为同一份,从而提升缓存命中率,降低回源量。 去问号缓存 对于可缓存的文件,节点通常会将用户请求的原始URL作为缓存key。如果原始URL中携带问号后参数,且不同参数实际指向同一份文件时,可以配置开启去问号缓存,此时节点会将问号后参数去掉的内容作为缓存key,以提升缓存命中率,降低回源量。 用户自定义脚本 用户自定义脚本(User Defined Script,简称UDFScript)是一个可供客户快速实现全站加速定制化配置的工具箱,当客户控制台上的标准配置无法满足客户的业务需求时,可以使用UDFScript通过简单地编程实现定制化业务需求。 内容刷新 节点缓存源站文件后,如果需要在设置的过期时间之前进行内容刷新,则需要在客户控制台上提交刷新任务。内容刷新支持URL刷新、目录刷新、正则刷新,提交刷新任务后,节点的缓存内容将会被删除或置为过期,此时用户向节点请求资源时,节点会回源获取最新资源返回给用户,并将其缓存。刷新功能会降低缓存命中率。
        来自:
        帮助文档
        全站加速
        产品介绍
        相关术语解释
      • UDFScript概述
        本文介绍UDFScript脚本的定义、使用方式、典型应用场景。 UDFScript定义 用户自定义脚本(User Defined Script,简称UDFScript)是一个可供客户快速实现CDN加速定制化配置的工具箱,当CDN加速控制台上的标准配置无法满足客户的业务需求时,可以使用UDFScript通过简单地编程实现定制化业务需求。如下为UDFScript架构图。 请求处理流程对比说明 常规请求处理过程: 1. 网关收到客户端请求时,执行控制台标准化配置对请求进行处理。 2. 网关将处理后的请求转发给缓存组件,由缓存组件命中后响应,或者请求回源。 3. 缓存组件返回响应内容,网关响应给客户端。 使用UDFScript后的请求处理过程: 1. 网关收到客户端请求时,执行业务脚本,对用户的请求进行业务处理。 2. 网关处理完业务脚本的业务逻辑后,继续处理控制台标准化的配置。 3. 网关将处理后的请求转发给缓存组件,由缓存组件命中后响应,或者请求回源。 4. 缓存组件返回响应内容,网关响应给客户端。 UDFScript组成说明 UDFScript由全局字典、全局task脚本、业务脚本三部分组成: 全局字典用来定义一块共享内存区域,全局task脚本或业务脚本可以从全局字典中读取数据,也可以把结果保存到全局字典中。 全局task脚本用于定义后台周期性任务(非客户端请求触发),比如周期性同步远端配置数据到本地全局字典中。 业务脚本可以快速自定义控制台未支持的功能,例如定制化鉴权、请求头改写等。 您可以仅使用业务脚本实现简单的自定义功能,也可以把全局字典、全局task脚本、业务脚本三个结合起来使用,自定义更强大的功能。 变量信息,详情请见:UDFScript变量说明。 函数信息,详情请见:UDFScript函数说明。
        来自:
        帮助文档
        CDN加速
        用户指南
        UDFScript用户自定义脚本
        UDFScript概述
      • 配置HBase/CloudTable源端参数
        本章节主要介绍配置HBase/CloudTable源端参数。 作业中源连接为配置HBase连接或配置CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如下表所示。 说明 CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含该表的所有字段,用户需要自己手工添加字段。 由于HBase的无Schema技术特点,CDM无法获知数据类型,如果数据内容是使用二进制格式存储的,CDM会无法解析。 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段是以字符串格式存储,而不能是二进制格式,例如数值100需存储格式是字符串“100”,不能是二进制“01100100”。 表 HBase/CloudTable作为源端时的作业参数 参数名 说明 取值样例 表名 导出数据的HBase表名。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBL2 列族 可选参数,导出数据所属的列族。 CF1&CF2 切分Rowkey 可选参数,选择是否拆分Rowkey,默认为“否”。 是 Rowkey分隔符 可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。 l 起始时间 可选参数,起始时间(包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间及以后的数据。 该参数支持配置为时间宏变量,使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 20190101 20:00:00 终止时间 可选参数,终止时间(不包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间以前的数据。 该参数支持配置为时间宏变量。 20190201 20:00:00
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置HBase/CloudTable源端参数
      • 监听器
        负载均衡器监听的端口和后端主机的端口关系是什么?是否可以不一致? 负载均衡器监听的端口是客户端到负载均衡器之间的请求的目标端口号,是服务对外暴露的端口号。而后端主机的端口号是实际业务的端口号,可以和监听器的端口号不一样。 弹性负载均衡正在运行中,此时增加监听器,添加新的负载方式是否会导致业务中断? 负载均衡器下支持创建多个监听器,不同监听器的运行相互独立。在已有监听器的负载均衡器下创建新监听器,不影响已经创建的监听器的现有连接,不会引发业务中断。 默认情况下一个负载均衡器可以创建3个监听器,同一个负载均衡器的多个监听器共享负载均衡器的性能。在总体性能不足的情况下,可能会因监听器之间性能争抢对业务质量产生影响。 监听器是否支持创建转发策略? TCP/UDP协议的监听器不支持。 HTTP/HTTPS协议的监听器,在没有设置重定向的情况下,支持配置基于域名和路径的转发策略。 重定向的监听器不可创建转发策略,到此监听器的访问都将被重定向至已配置的HTTPS监听器。 监听器的转发策略的状态显示为“异常”的原因是什么? 监听器的转发策略状态显示为“异常”可能有以下几个原因: 1. 如果监听器的转发策略配置的后端主机出现异常或者不可用,负载均衡器无法将请求转发给后端主机,导致转发策略状态显示为“异常”。 2. 负载均衡器会定期进行健康检查来判断后端主机的可用性。如果健康检查失败次数超过了设定的阈值,负载均衡器会将转发策略状态标记为“异常”。 3. 如果监听器的转发策略配置存在错误,比如创建了相同的转发策略(出现转发策略冲突),则会出现转发策略异常,此时即使把前面创建的转发策略删除,后面的转发策略依然会显示异常。 4. 如果后端安装了一些主机安全工具,比如windows的edr,linux的翼盾,或者是添加云墙,也可能会导致显示异常。
        来自:
        帮助文档
        弹性负载均衡 ELB
        常见问题
        监听器
      • 通过kubectl操作CCE集群
        本节主要介绍通过kubectl操作CCE集群。 操作场景 本文将以CCE集群为例,介绍如何通过kubectl操作CCE集群。 使用kubectl操作集群 背景信息 若您需要从客户端计算机连接到kubernetes集群,请使用kubernetes命令行客户端kubectl。 前提条件 CCE支持“VPC网络内访问”和“互联网访问”两种方式访问集群。 VPC网络内访问:您需要在ECS控制台购买一台云服务器,并确保和当前集群在同个VPC内。 互联网访问:您需要准备一台能连接公网的云服务器。 注意 通过“互联网访问”方式访问集群,集群的kubeapiserver将会暴露到互联网,存在被攻击的风险,建议对kubeapiserver所在节点的EIP配置DDoS高防服务。 下载kubectl 您需要先下载kubectl以及配置文件,拷贝到您的客户端机器,完成配置后,即可以使用访问kubernetes集群。 请到kubernetes版本发布页面下载与集群版本对应的或者更新的kubectl。 安装和配置kubectl 步骤 1 登录CCE控制台,在左侧导航栏中选择“资源管理 > 集群管理”,单击待连接集群下的“命令行工具 > kubectl”。 步骤 2 在集群详情页中的“kubectl”页签下,请参照界面中的提示信息完成集群连接。 说明 您可以在“kubectl”页签下方便的下载kubectl配置文件(kubeconfig.json),CCE支持帐号和IAM用户分别下载该配置文件,IAM用户下载的配置文件只有30天的有效期,而天翼云帐号下载的配置文件会长期有效。该文件用于对接认证用户集群,请用户妥善保存该认证凭据,防止文件泄露后,集群有被攻击的风险。如果不幸泄露,可以通过证书更新的方式,替换认证凭据。 由于EIP无法固定,所以服务器端证书无法预置EIP,若从互联网访问则无法开启客户端校验服务器端。如需开启客户端校验服务器端,请使用VPC访问方式。 IAM用户下载的配置文件所拥有的Kubernetes权限与CCE控制台上IAM用户所拥有的权限一致。
        来自:
        帮助文档
        云容器引擎
        用户指南
        旧版UI
        集群管理
        kubectl访问集群
        通过kubectl操作CCE集群
      • 字段转换
        本章节主要介绍字段转换。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图示。 图 新建字段转换器 说明 当使用二进制格式进行文件到文件的迁移时,没有字段映射这一步。 CDM可以在迁移过程中对字段进行转换,目前支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“1238910”,则配置如下: “起始保留长度”为“3”。 “结尾保留长度”为“4”。 “替换字符”为“”。 详见下图:字段脱敏 去前后空格 自动去字符串前后的空值,不需要配置参数。 字符串反转 自动反转字符串,例如将“ABC”转换为“CBA”,不需要配置参数。 字符串替换 替换字符串,需要用户配置被替换的对象,以及替换后的值。 去换行 将字段中的换行符(n、r、rn)删除。 表达式转换 使用JSP表达式语言(Expression Language)对当前字段或整行数据进行转换。JSP表达式语言可以用来创建算术和逻辑表达式。在表达式内可以使用整型数,浮点数,字符串,常量true、false和null。 表达式支持以下两个环境变量: value:当前字段值。 row:当前行,数组类型。 表达式支持以下工具类: StringUtils:字符串处理类,参考Java SDK代码的包结构“org.apache.commons.lang.StringUtils”。 DateUtils:日期工具类。 CommonUtils:公共工具类。 NumberUtils:字符串转数值类。 HttpsUtils:读取网络文件类。 应用举例: 1. 如果当前字段为字符串类型,将字符串全部转换为小写,例如将“aBC”转换为“abc”。 表达式:StringUtils.lowerCase(value) 2. 将当前字段的字符串全部转为大写。 表达式:StringUtils.upperCase(value) 3. 如果当前字段值为“yyyyMMdd”格式的日期字符串,需要截取年,例如字段值为“20171201”,转换后为“2017”。 表达式:StringUtils.substringBefore(value,"") 4. 如果当前字段值为数值类型,转换后值为当前值的两倍。 表达式:value2 5. 如果当前字段值为“true”,转换后为“Y”,其它值则转换后为“N”。 表达式:value"true"?"Y":"N" 6. 如果当前字段值为字符串类型,当为空时,转换为“Default”,否则不转换。 表达式:empty value? "Default":value 7. 如果想将日期字段格式从“2018/01/05 15:15:05”转换为“20180105 15:15:05”。 表达式:DateUtils.format(DateUtils.parseDate(value,"yyyy/MM/dd HH:mm:ss"),"yyyyMMdd HH:mm:ss") 8. 获取一个36位的UUID(Universally Unique Identifier,通用唯一识别码)。 表达式:CommonUtils.randomUUID() 9. 如果当前字段值为字符串类型,将首字母转换为大写,例如将“cat”转换为“Cat”。 表达式:StringUtils.capitalize(value) 10. 如果当前字段值为字符串类型,将首字母转换为小写,例如将“Cat”转换为“cat”。 表达式:StringUtils.uncapitalize(value) 11. 如果当前字段值为字符串类型,使用空格填充为指定长度,并且将字符串居中,当字符串长度不小于指定长度时不转换,例如将“ab”转换为长度为4的“ab”。 表达式:StringUtils.center(value,4) 12. 删除字符串末尾的一个换行符(包括“n”、“r”或者“rn”),例如将“abcrnrn”转换为“abcrn”。 表达式:StringUtils.chomp(value) 13. 如果字符串中包含指定的字符串,则返回布尔值true,否则返回false。例如“abc”中包含“a”,则返回true。 表达式:StringUtils.contains(value,"a") 14. 如果字符串中包含指定字符串的任一字符,则返回布尔值true,否则返回false。例如“zzabyycdxx”中包含“z”或“a”任意一个,则返回true。 表达式:StringUtils.containsAny("value","za") 15. 如果字符串中不包含指定的所有字符,则返回布尔值true,包含任意一个字符则返回false。例如“abz”中包含“xyz”里的任意一个字符,则返回false。 表达式:StringUtils.containsNone(value,"xyz") 16. 如果当前字符串只包含指定字符串中的字符,则返回布尔值true,包含任意一个其它字符则返回false。例如“abab”只包含“abc”中的字符,则返回true。 表达式:StringUtils.containsOnly(value,"abc") 17. 如果字符串为空或null,则转换为指定的字符串,否则不转换。例如将空字符转换为null。 表达式:StringUtils.defaultIfEmpty(value,null) 18. 如果字符串以指定的后缀结尾(包括大小写),则返回布尔值true,否则返回false。例如“abcdef”后缀不为null,则返回false。 表达式:StringUtils.endsWith(value,null) 19. 如果字符串和指定的字符串完全一样(包括大小写),则返回布尔值true,否则返回false。例如比较字符串“abc”和“ABC”,则返回false。 表达式:StringUtils.equals(value,"ABC") 20. 从字符串中获取指定字符串的第一个索引,没有则返回整数1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式:StringUtils.indexOf(value,"ab") 21. 从字符串中获取指定字符串的最后一个索引,没有则返回整数1。例如从“aFkyk”中获取“k”的最后一个索引4。 表达式:StringUtils.lastIndexOf(value,"k") 22. 从字符串中指定的位置往后查找,获取指定字符串的第一个索引,没有则转换为“1”。例如“aabaabaa”中索引3的后面,第一个“b”的索引是5。 表达式:StringUtils.indexOf(value,"b",3) 23. 从字符串获取指定字符串中任一字符的第一个索引,没有则返回整数1。例如从“zzabyycdxx”中获取“z”或“a”的第一个索引0。 表达式:StringUtils.indexOfAny(value,"za") 24. 如果字符串仅包含Unicode字符,返回布尔值true,否则返回false。例如“ab2c”中包含非Unicode字符,返回false。 表达式:StringUtils.isAlpha(value) 25. 如果字符串仅包含Unicode字符或数字,返回布尔值true,否则返回false。例如“ab2c”中仅包含Unicode字符和数字,返回true。 表达式:StringUtils.isAlphanumeric(value) 26. 如果字符串仅包含Unicode字符、数字或空格,返回布尔值true,否则返回false。例如“ab2c”中仅包含Unicode字符和数字,返回true。 表达式:StringUtils.isAlphanumericSpace(value) 27. 如果字符串仅包含Unicode字符或空格,返回布尔值true,否则返回false。例如“ab2c”中包含Unicode字符和数字,返回false。 表达式:StringUtils.isAlphaSpace(value) 28. 如果字符串仅包含ASCII可打印字符,返回布尔值true,否则返回false。例如“!abc~”返回true。 表达式:StringUtils.isAsciiPrintable(value) 29. 如果字符串为空或null,返回布尔值true,否则返回false。 表达式:StringUtils.isEmpty(value) 30. 如果字符串中仅包含Unicode数字,返回布尔值true,否则返回false。 表达式:StringUtils.isNumeric(value) 31. 获取字符串最左端的指定长度的字符,例如获取“abc”最左端的2位字符“ab”。 表达式:StringUtils.left(value,2) 32. 获取字符串最右端的指定长度的字符,例如获取“abc”最右端的2位字符“bc”。 表达式:StringUtils.right(value,2) 33. 将指定字符串拼接至当前字符串的左侧,需同时指定拼接后的字符串长度,如果当前字符串长度不小于指定长度,则不转换。例如将“yz”拼接到“bat”左侧,拼接后长度为8,则转换后为“yzyzybat”。 表达式:StringUtils.leftPad(value,8,"yz") 34. 将指定字符串拼接至当前字符串的右侧,需同时指定拼接后的字符串长度,如果当前字符串长度不小于指定长度,则不转换。例如将“yz”拼接到“bat”右侧,拼接后长度为8,则转换后为“batyzyzy”。 表达式:StringUtils.rightPad(value,8,"yz") 35. 如果当前字段为字符串类型,获取当前字符串的长度,如果该字符串为null,则返回0。 表达式:StringUtils.length(value) 36. 如果当前字段为字符串类型,删除其中所有的指定字符串,例如从“queued”中删除“ue”,转换后为“qd”。 表达式:StringUtils.remove(value,"ue") 37. 如果当前字段为字符串类型,移除当前字段末尾指定的子字符串。指定的子字符串若不在当前字段的末尾,则不转换,例如移除当前字段“www.ctyun.cn”后的“.cn”。 表达式:StringUtils.removeEnd(value,".cn") 38. 如果当前字段为字符串类型,移除当前字段开头指定的子字符串。指定的子字符串若不在当前字段的开头,则不转换,例如移除当前字段“www.ctyun.cn”前的“www.”。 表达式:StringUtils.removeStart(value,"www.") 39. 如果当前字段为字符串类型,替换当前字段中所有的指定字符串,例如将“aba”中的“a”用“z”替换,转换后为“zbz”。 表达式:StringUtils.replace(value,"a","z") 40. 如果当前字段为字符串类型,一次替换字符串中的多个字符,例如将字符串“hello”中的“h”用“j”替换,“o”用“y”替换,转换后为“jelly”。 表达式:StringUtils.replaceChars(value,"ho","jy") 41. 如果字符串以指定的前缀开头(区分大小写),则返回布尔值true,否则返回false,例如当前字符串“abcdef”以“abc”开头,则返回true。 表达式:StringUtils.startsWith(value,"abc") 42. 如果当前字段为字符串类型,去除字段中所有指定的字符,例如去除“abcyx”中所有的“x”、“y”和“z”,转换后为“abc”。 表达式:StringUtils.strip(value,"xyz") 43. 如果当前字段为字符串类型,去除字段末尾所有指定的字符,例如去除当前字段末尾的所有空格。 表达式:StringUtils.stripEnd(value,null) 44. 如果当前字段为字符串类型,去除字段开头所有指定的字符,例如去除当前字段开头的所有空格。 表达式:StringUtils.stripStart(value,null) 45. 如果当前字段为字符串类型,获取字符串指定位置后(不包括指定位置的字符)的子字符串,指定位置如果为负数,则从末尾往前计算位置。例如获取“abcde”第2个字符后的字符串,则转换后为“cde”。 表达式:StringUtils.substring(value,2) 46. 如果当前字段为字符串类型,获取字符串指定区间的子字符串,区间位置如果为负数,则从末尾往前计算位置。例如获取“abcde”第2个字符后、第5个字符前的字符串,则转换后为“cd”。 表达式:StringUtils.substring(value,2,5) 47. 如果当前字段为字符串类型,获取当前字段里第一个指定字符后的子字符串。例如获取“abcba”中第一个“b”之后的子字符串,转换后为“cba”。 表达式:StringUtils.substringAfter(value,"b") 48. 如果当前字段为字符串类型,获取当前字段里最后一个指定字符后的子字符串。例如获取“abcba”中最后一个“b”之后的子字符串,转换后为“a”。 表达式:StringUtils.substringAfterLast(value,"b") 49. 如果当前字段为字符串类型,获取当前字段里第一个指定字符前的子字符串。例如获取“abcba”中第一个“b”之前的子字符串,转换后为“a”。 表达式:StringUtils.substringBefore(value,"b") 50. 如果当前字段为字符串类型,获取当前字段里最后一个指定字符前的子字符串。例如获取“abcba”中最后一个“b”之前的子字符串,转换后为“abc”。 表达式:StringUtils.substringBeforeLast(value,"b") 51. 如果当前字段为字符串类型,获取嵌套在指定字符串之间的子字符串,没有匹配的则返回null。例如获取“tagabctag”中“tag”之间的子字符串,转换后为“abc”。 表达式:StringUtils.substringBetween(value,"tag") 52. 如果当前字段为字符串类型,删除当前字符串两端的控制字符(char≤32),例如删除字符串前后的空格。 表达式:StringUtils.trim(value) 53. 将当前字符串转换为字节,如果转换失败,则返回0。 表达式:NumberUtils.toByte(value) 54. 将当前字符串转换为字节,如果转换失败,则返回指定值,例如指定值配置为1。 表达式:NumberUtils.toByte(value,1) 55. 将当前字符串转换为Double数值,如果转换失败,则返回0.0d。 表达式:NumberUtils.toDouble(value) 56. 将当前字符串转换为Double数值,如果转换失败,则返回指定值,例如指定值配置为1.1d。 表达式:NumberUtils.toDouble(value,1.1d) 57. 将当前字符串转换为Float数值,如果转换失败,则返回0.0f。 表达式:NumberUtils.toFloat(value) 58. 将当前字符串转换为Float数值,如果转换失败,则返回指定值,例如配置指定值为1.1f。 表达式:NumberUtils.toFloat(value,1.1f) 59. 将当前字符串转换为Int数值,如果转换失败,则返回0。 表达式:NumberUtils.toInt(value) 60. 将当前字符串转换为Int数值,如果转换失败,则返回指定值,例如配置指定值为1。 表达式:NumberUtils.toInt(value,1) 61. 将字符串转换为Long数值,如果转换失败,则返回0。 表达式:NumberUtils.toLong(value) 62. 将当前字符串转换为Long数值,如果转换失败,则返回指定值,例如配置指定值为1L。 表达式:NumberUtils.toLong(value,1L) 63. 将字符串转换为Short数值,如果转换失败,则返回0。 表达式:NumberUtils.toShort(value) 64. 将当前字符串转换为Short数值,如果转换失败,则返回指定值,例如配置指定值为1。 表达式:NumberUtils.toShort(value,1) 65. 将当前IP字符串转换为Long数值,例如将“10.78.124.0”转换为LONG数值是“172915712”。 表达式:CommonUtils.ipToLong(value) 66. 从网络读取一个IP与物理地址映射文件,并存放到Map集合,这里的URL是IP与地址映射文件存放地址,例如“ 表达式:HttpsUtils.downloadMap("url") 67. 将IP与地址映射对象缓存起来并指定一个key值用于检索,例如“ipList”。 表达式:CommonUtils.setCache("ipList",HttpsUtils.downloadMap("url")) 68. 取出缓存的IP与地址映射对象。 表达式:CommonUtils.getCache("ipList") 69. 判断是否有IP与地址映射缓存。 表达式:CommonUtils.cacheExists("ipList") 70. 根据指定的偏移类型(month/day/hour/minute/second)及偏移量(正数表示增加,负数表示减少),将指定格式的时间转换为一个新时间,例如将“20190521 12:00:00”增加8个小时。 表达式:DateUtils.getCurrentTimeByZone("yyyyMMdd HH:mm:ss",value, "hour", 8)
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        字段转换
      • 通过LTS记录WAF全量日志
        WAF攻击日志attacklog字段说明 字段 类型 字段说明 描述 attacklog.category string 日志分类 值为“attack”。 attacklog.time string 日志时间 attacklog.timeiso8601 string 日志的ISO 8601格式时间 attacklog.policyid string 防护策略ID attacklog.level string 防护策略层级 表示Web基础防护策略级别。 1:宽松 2:中等 3:严格 attacklog.attack string 发生攻击的类型 发生攻击的类型,仅在攻击日志中出现。 default:默认 sqli:SQL注入攻击 xss:跨站脚本攻击 webshell:WebShell攻击 robot:恶意爬虫 cmdi:命令注入攻击 rfi:远程文件包含 lfi: 本地文件包含 illegal:非法请求 vuln:漏洞攻击 cc:命中CC防护规则 customcustom:命中精准防护规则 customwhiteblackip:命中IP黑白名单规则 customgeoip:命中地理位置控制规则 antitamper: 命中网页防篡改规则 anticrawler:命中JS挑战反爬虫规则 leakage:命中敏感信息泄露规则 antiscanhighfreqscan:防扫描高频扫描攻击 followedaction:攻击惩罚 attacklog.action string 防护动作 WAF防护攻击动作。 block:拦截 log:仅记录 captcha:人机验证 attacklog.subtype string 爬虫的子类型 当attack为robot时,该字段不为空。 scripttool:脚本工具 searchengine:搜索引擎 scaner:扫描工具 uncategorized:其他爬虫 attacklog.rule string 触发的规则ID或者自定义的策略类型描述 attacklog.rulename string 标识自定义的策略类型描述。 命中基础防护规则时该字段为空。 attacklog.location string 触发恶意负载的位置 attacklog.reqbody sting 标识请求体 attacklog.respheaders string 响应头 attacklog.hitdata string 触发恶意负载的字符串 attacklog.respbody string 响应体 attacklog.backend.protocol string 标识当前后端协议 attacklog.backend.alive string 标识当前后端状态 attacklog.backend.port string 标识当前后端端口 attacklog.backend.host string 标识当前后端Host值 attacklog.backend.type string 标识当前后端Host 类型 IP 或域名 attacklog.backend.weight number 标识当前后端权重 attacklog.status string 请求的响应状态码 attacklog.upstreamstatus string 标识请求的源站响应状态码 attacklog.reqid string 随机ID标识 由引擎IP尾缀、请求时间戳、NGINX分配的请求ID组成。 attacklog.requestid string 标识请求唯一ID NGINX分配的请求ID。 attacklog.id string 攻击ID 攻击的ID标识。 attacklog.method string 请求方法 attacklog.sip string 客户端请求IP attacklog.sport string 客户端请求端口 attacklog.host string 请求的服务器域名 attacklog.httphost string 请求的服务器域名 attacklog.hport string 请求的服务器端口 attacklog.uri string 请求URL 不包括域名。 attacklog.header json string,decode后为json table 请求header信息 attacklog.mutipart json string,decode后为json table 请求multipart header 用于文件上传。 attacklog.cookie json string,decode后为json table 请求Cookie信息 attacklog.params json string,decode后为json table 请求URI后的参数信息 attacklog.bodybytessent string 发送给客户端的响应体字节数 WAF发送给客户端的响应体字节数。 attacklog.upstreamresponsetime string 后端服务器从上游服务接收响应内容所经过的时间,单位为秒。 多次请求响应的时间,使用逗号分隔。 attacklog.engineid string 引擎的唯一标识 attacklog.regionid string 标识引擎所在region的ID attacklog.engineip string 标识引擎IP attacklog.processtime string 引擎的检测用时 attacklog.remoteip string 标识请求的四层客户端IP attacklog.xforwardedfor string 标识请求头中“XForwardedFor”的内容 attacklog.cdnsrcip string 标识请求头中“CdnSrcIp”的内容 attacklog.xrealip string 标识请求头中“XRealIP”的内容 attacklog.groupid string 日志组ID 对接LTS服务的日志组ID。 attacklog.attackstreamid string 日志流ID 与“groupid”相关,是日志组下用户的accessstream的ID。 attacklog.hostid string 防护域名ID(upstreamid) attacklog.tenantid string 防护域名的租户ID attacklog.projectid string 防护域名的项目ID attacklog.enterpriseprojectid string 标识请求域名所属企业项目ID attacklog.webtag string 标识网站名称 attacklog.reqbody string 识请求体(超过1K 记录时会被截断)
        来自:
        帮助文档
        Web应用防火墙(独享版)
        管理防护事件
        通过LTS记录WAF全量日志
      • 事务模式迁移
        本章节主要介绍事务模式迁移。 CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中;导入失败则将目的表回滚到作业开始之前的状态。 详见下图:事务模式迁移 说明 如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        事务模式迁移
      • 账户改密
        本章节为您介绍云堡垒机(原生版)改密策略。 改密策略是一种自动化工具,旨在增强主机资源账户的安全性。它允许用户通过预设的策略,对一个或多个主机资源账户的密码进行手动、定时或周期性的修改。 以下是改密策略的主要功能: 支持通过策略手动、定时、周期修改资源账户密码。 支持生成不同密码、相同密码,以及生成指定相同密码。 说明 随机生成的密码遵循以下设定:随机生成的密码长度为830个字符,同时包含三项(大小字母、数字、()!@ $%^&+[]{}:;<>,.?/中的特殊符号),且不会以“/”开头,不会出现连续三个以上相同字符。 新建改密策略 1.使用“管理角色”账户登录云堡垒机(原生版)控制台。 2.在左侧导航栏选择“资产管理 > 账户策略”,进入“改密策略”页面。 3.单击页面右上角的“新建”按钮,填写改密策略相关参数。 参数 参数说明 取值样例 名称 自定义改密策略名称。 定期改密 描述 自定义改密策略描述。 XX主机定期改密策略 改密账号 添加改密账号: 目前仅支持添加SSH、Telnet协议的主机账号。 选择后改密账号格式为:协议[资产账号名@]资产名称。 SSH[admin@]Test01 执行策略 按需选择您的执行策略: 立即执行:保存后立即执行。 定时执行:在选择时间后,仅在选择的事件执行一次。 周期执行:选择执行起始时间和执行周期。 立即执行 改密方式 按需选择您的改密方式: 随机生成不同密码 随机生成相同密码 手动生成指定密码 手动生成指定密码 指定密码 仅在“改密方式”选择“手动生成指定密码”时可填写。 改密完成通知 通过开关按钮选择是否进行通知。 收件人邮箱 填写接收改密内容的邮箱,仅支持填写一个邮箱。 改密结果会以加密附件的方式发送。 admin@chinatelecom.com 改密附件密码 填写改密附件的密码。 4.填写完成后,单击“提交”即可完成新建改密策略。
        来自:
      • 在科研助手使用Stable Diffusion进行图像生成
        本文介绍了如何在科研助手上使用Stable Diffusion进行图像生成。 概述: Stable Diffusion,是一种AI绘画生成工具,它能够根据文本描述创造出高质量的图像。 准备环境: 1.在【开发机】中创建开发机: 1. 填入【名称】“stablediffusion”选择【队列】及【可用区】。 2. 【资源配置】 【GPU加速型】下拉选择规格“CPU:12核内存:20GBGPU:NVIDIARTX30601” (规格根据实际情况修改 GPU类型可选择A10 A100 3060 3080 H800)。 3. 在【选择框架版本中】选择”SDWebUI框架。 2.点击【确认】创建开发机。 3.启动IDE: 1. 在【开发机】中可查看开发机的状态,点击【刷新】,等待“stablediffusion”状态为运行中后点击右侧操作栏的【打开】按钮。 2. 点击【打开】按钮后跳转到Jupyte WebIDE。 3. 在Jupyter WebIDE的启动页中,找到【AI Community】下点击【AI Task】选项卡跳转到SDUI页面。 使用Stable Diffusion: 1.切换【txt2img】分页: 1. 在【Prompt】框内输入文本提示符如:“In the mountains and river of spring, peach blossoms bloom along the river” ,建议提示文本使用英文准确度更高。 2. 点击【Generate】按钮,将在右下角生成图片,点击【保存】后可以下载生成的图片。 2.切换【img2img】分页: 1. 在左下角上传刚才生成的图片 2. 在Prompt框内输入文本提示符如:“only spring moutain and river” 3. 点击Generate,将在右下角生成风格类似的图片,也可以根据需要下载 3.查看后台日志: 1. 在Jupyter启动页【其他】下点击【终端】选项卡跳转到终端页面。 2. 终端输入命令 tail f /var/log/SD.log。
        来自:
        帮助文档
        科研助手
        最佳实践
        在科研助手使用Stable Diffusion进行图像生成
      • SSH密码方式登录
        本节介绍了SSH密码方式登录的操作场景、前提条件、本地使用Windows操作系统登录流程、本地使用Linux操作系统。 操作场景 本节操作介绍在Windows和Linux环境中使用SSH密码方式远程登录Linux云主机的操作步骤。 前提条件 弹性云主机状态为“运行中”。 弹性云主机已经绑定弹性IP,绑定方式请参见绑定弹性公网IP。 如果Linux弹性云主机采用密钥方式鉴权,已获取root用户的密码,具体操作请参见获取Windows弹性云主机的密码。 所在安全组入方向已开放22端口,配置方式请参见配置安全组规则。 使用的登录工具(如PuTTY)与待登录的弹性云主机之间网络连通。例如,默认的22端口没有被防火墙屏蔽。 本地使用Windows操作系统 如果本地主机为Windows操作系统,可以按照下面方式登录云主机。 下面步骤以PuTTY为例。 1. 在以下路径中下载PuTTY和PuTTYgen。 2. 运行PuTTY。 3. 单击“Session”。 a. Host Name (or IP address):输入云主机的弹性IP。 b. Port:输入 22。 c. Connection Type:选择 SSH。 d. Saved Sessions:任务名称,在下一次使用putty时就可以单击保存的任务名称,即可打开远程连接。 图 单击“Session” 4. 单击“Window”,在“Translation”下的“Received data assumed to be in which character set:”选择“UTF8”。 5. 单击“Open”。 如果首次登录服务器,PuTTY会显示安全警告对话框,询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 6. 建立到云主机的SSH连接后,根据提示输入用户名和密码登录云主机。 说明 如果是公共镜像(包括CoreOS),首次登录时,登录用户名、密码如下: 用户名:root 密码:购买云主机时,您设置的密码
        来自:
        帮助文档
        弹性云主机 ECS
        用户指南
        实例
        登录Linux弹性云主机
        SSH密码方式登录
      • 基于Service实现集群内访问负载均衡
        本文为您介绍如何基于Service实现集群内访问负载均衡。 背景信息 Kubernetes Service是一组具有相同标签的 Pod 集合的抽象,可以简单地理解为集群内的负载均衡器,集群内外的各个服务可以通过 Service 进行互相通信。不同类型的 Service 适合不同的场景,本文将重点讨论每种类型的 Service 的适用场景以及 kubeproxy 如何实现 Service 的负载均衡。 前提条件 确保您已经创建Serverless集群,具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。 假设您在一个K8S的集群里面发布了两个应用,前端应用frontend和后端应用backend,前端应用要访问后端应用。 确保您的Serverless集群已安装CoreDNS插件。 实现原理 Service和iptables模式的kubeproxy在kubernetes集群中的工作原理如下: 操作步骤 步骤一:创建后端应用和前端应用 这里使用nginx代表后端应用,部署2个副本;busybox代表前端应用,可以从busybox中访问nginx的80端口。 1. 登录容器服务控制台,在左侧菜单栏选择“集群”。 2. 在集群列表页面,选择目标集群名称,然后在左侧菜单栏选择“工作负载”下的“无状态”,点击“创建deployment”。 也可以使用yaml创建工作负载,创建nginx工作负载参考如下: apiVersion: "apps/v1" kind: "Deployment" metadata: name: "nginxdeploy" namespace: "default" spec: replicas: 2 selector: matchLabels: name: "nginxdeploy" template: metadata: labels: name: "nginxdeploy" source: "CCSE" spec: containers: image: "registryvpccrshuadong1.ctyun.cn/opensource/nginx:1.25alpineamd64" imagePullPolicy: "IfNotPresent" name: "nginx" 创建busybox工作负载参考如下: apiVersion: "apps/v1" kind: "Deployment" metadata: name: "lintest3deploy" namespace: "default" spec: replicas: 1 selector: matchLabels: name: "busybox" template: metadata: labels: name: "busybox" spec: containers: image: "registryhuadong1.crsinternal.ctyun.cn/opensource/busybox:1.36" imagePullPolicy: "IfNotPresent" name: "busybox" command: "tail" "f" "/dev/null"
        来自:
        帮助文档
        云容器引擎 Serverless版
        最佳实践
        基于Service实现集群内访问负载均衡
      • 挂载SMB协议类型文件存储到边缘虚拟机(Windows)
        本节介绍SMB协议的文件存储如何挂载到Windows系统的边缘虚拟机上。 操作场景 当创建文件存储后,您需要使用边缘虚拟机来挂载该文件存储,以实现多个边缘虚拟机共享使用文件存储的目的。 本章节以Windows Server 2019操作系统为例进行SMB协议的文件存储的挂载。 同一文件存储不能同时支持NFS协议和SMB协议。 前提条件 在需要操作的地域创建虚拟私有云VPC。 已创建该VPC下的边缘虚拟机,以下将以操作系统为 Windows Server 2019 的边缘虚拟机为例。 已创建该VPC下的文件存储,协议类型为SMB,并获取到文件存储的挂载点名称。 如果需要跨VPC访问文件存储,需要配置对等连接以确保VPC网络互通。 操作步骤 1. 登录ECX控制台。 2. 点击【边缘虚拟机>实例】,进入边缘虚拟机界面,找到即将执行挂载操作的边缘虚拟机所在行。 3. 点击“登录”,使用VNC方式登录已创建好的Windows Server 2019的边缘虚拟机。 4. 对于Windows Server 2016以上的系统,需要配置允许客户端匿名访问,在命令行工具中执行以下命令。 REG ADD HKEYLOCALMACHINESYSTEMCurrentControlSetservicesLanmanWorkstationParameters /f /v AllowInsecureGuestAuth /t REGDWORD /d 1 5. 鼠标移到桌面左下角,右键点击“Windows徽标”按钮,点击打开“文件资源管理器”。 6. 在文件资源管理器的左侧栏找到“此电脑”,右键单击“此电脑”,选择“映射网络驱动器”。 7. 在弹出的对话框中输入文件存储的挂载点名称,即文件存储服务ip路径。 8. 单击“完成”。 9. 挂载成功后,已挂载的文件存储将显示在“此电脑”的网络位置中,您可以像使用普通文件存储一样进行创建、修改或删除文件。
        来自:
        帮助文档
        智能边缘云
        用户指南
        边缘存储
        文件存储
        挂载SMB协议类型文件存储到边缘虚拟机(Windows)
      • 带宽与网速
        本文向您介绍企业版VPN中带宽与网速类常见问题。 如何测试VPN速率情况? 假设测试环境VPN连接已经创建,在VPN连接两端VPC的本端子网下分别创建ECS,并使两个VPC之间的ECS相互能够ping通的情况下,测试VPN的速率情况。 当用户购买的VPN网关的带宽为200Mbit/s时,测试情况如下。 1. 互为对端的ECS都使用Windows系统,测试速率可达180Mbit/s,使用iperf3和filezilla(是一款支持ftp的文件传输工具)测试均满足带宽要求。 说明 基于TCP的FTP协议有拥塞控制机制,180Mbit/s为平均速率,且IPsec协议会增加新的IP头,因此10%左右的速率误差在网络领域是正常现象。 使用iperf3客户端测试结果如下图所示。 使用iperf3服务器端测试结果如下图所示。 2. 互为对端的ECS都使用Centos7系统,测试速率可达180M,使用iperf3测试满足带宽要求。 3. 服务器端ECS使用Centos7系统,客户端使用Windows系统,测试速率只有20M左右,使用iperf3和filezilla测试均不能满足带宽要求。 原因在于Windows和Linux对TCP的实现不一致,导致速率慢。所以对端ECS使用不同的系统时,无法满足带宽要求。 使用iperf3测试结果如下图所示。 用户购买的VPN网关为网关的整体吞吐能力,即该VPN网关下所有VPN连接的带宽之和。在大带宽场景下,由于主机的转发性能限制,需要使用多台主机构建多条流量才能充分利用网关的带宽。这种场景下对ECS的配置要求也很高,建议ECS的网卡支持2G以上的带宽。 测试总结:综上测试结果,云网关能够满足带宽速率要求,但是建议两端主机使用相同的操作系统,并且网卡要达到配置要求。
        来自:
        帮助文档
        VPN连接
        常见问题
        企业版VPN
        带宽与网速
      • 使用Nginx实现公网访问Redis 4.0/5.0的单机主备Proxy集群实例
        本章节主要介绍通过跳板机访问VPC内Redis 4.0/5.0单机、主备、Proxy集群实例的操作,Redis 4.0/5.0 Cluster集群实例暂不支持使用该方案进行公网访问。 方案正文 当前,天翼云DCS的Redis 4.0以及Redis 5.0版本不支持绑定弹性IP,无法通过公网访问。 下图中安装了Nginx代理工具的ECS就是一台跳板机,它与DCS Redis实例在相同VPC,可通过子网IP访问Redis实例;为ECS绑定弹性IP后,公网可以访问ECS;Nginx支持监听多个端口,并将请求内容转发到不同的后端Redis实例。 图 通过Nginx访问VPC内DCS Redis 购买一台ECS 1.确认Redis实例所在的虚拟私有云。 如下图所示,已购买一个虚拟私有云在“vpcdemo”内的Redis 4.0/Redis 5.0主备实例。 图 Redis缓存实例信息 2.购买一台同在“vpcdemo”的ECS,并为其绑定一个弹性公网IP,按需选择带宽,够用就好。 图 ECS信息 安装Nginx 1.购买ECS后,需要在ECS上安装Nginx,本文以ECS操作系统为Centos7.x为例进行安装,不同操作系统命令稍有不同。 2.执行以下命令,添加Nginx到yum源。 sudo rpm Uvh 3.添加完之后,执行以下命令,查看是否已经添加成功。 yum search nginx 4.添加成功之后,执行以下命令,安装Nginx。 sudo yum install y nginx 5.执行以下命令安装stream模块。 yum install nginxmodstream 6.启动Nginx并设置为开机自动运行。 sudo systemctl start nginx.service sudo systemctl enable nginx.service 7.在本地浏览器中输入服务器地址(ECS公网IP地址),查看安装是否成功。 如果出现下面页面,则表示安装成功。
        来自:
        帮助文档
        分布式缓存服务Redis版
        最佳实践
        使用Nginx实现公网访问Redis 4.0/5.0的单机主备Proxy集群实例
      • DDS数据迁移到DWS
        创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建数据迁移任务。 2.配置作业基本信息: 作业名称:输入便于记忆、区分的作业名称。 源端作业配置 源连接名称:选择创建DDS连接中的“mongolink”。 −数据库名称:选择待迁移数据的数据库。 −集合名称:DDS中MongoDB的集合,类似于关系型数据库中的表名。 目的端作业配置 −目的连接名称:选择创建DWS连接中的连接“dwslink”。 −模式或表空间:选择待写入数据的DWS数据库。 −表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 −导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。 3.单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。 如果字段映射关系不正确,用户单击字段所在行选中后,按住鼠标左键可拖拽字段来调整映射关系。 导入到DWS时需要手动选择DWS的分布列,建议按如下顺序选取: a.有主键可以使用主键作为分布列。 b.多个数据段联合做主键的场景,建议设置所有主键作为分布列。 c.在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 如果需要转换源端字段内容,可在该步骤配置,这里选择不进行字段转换。 4.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 作业运行完是否删除:这里保持默认值“不删除”。 5.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 6.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        DDS数据迁移到DWS
      • 登录弹性云主机
        本节介绍了登录Windows弹性云主机、登录Linux弹性云主机及后续处理等相关内容。 登录Windows弹性云主机 有2种方法可以登录Windows弹性云主机:管理控制台提供的“VNC远程登录方式”和“MSTSC方式”,如下图所示。 图 Windows弹性云主机登录方式一览 1. (可选)使用密钥文件解析密码。 对于密钥方式鉴权的弹性云主机,需先通过管理控制台提供的获取密码功能,将创建弹性云主机时使用的密钥文件解析为密码。 具体操作,请参见获取Windows弹性云主机的密码。 2. 根据需要选择登录方式,登录弹性云主机。 − 管理控制台远程登录(VNC方式) 具体操作,请参见远程登录(VNC方式Windows)。 − 远程桌面连接(MSTSC方式) 具体操作,请参见远程桌面连接(MSTSC方式)。 登录Linux弹性云主机 弹性云主机设置的登录鉴权方式不同,登录弹性云主机的方法也存在差异,如下图所示。 图 Linux弹性云主机登录方式一览 首次登录密钥方式鉴权的弹性云主机时,需使用PuTTY、XShell等工具,采用“SSH密钥方式”进行登录,登录用户名为“root”。此时,弹性云主机必须绑定弹性IP。 SSH密钥方式登录Linux弹性云主机的方法,请参见SSH密钥方式登录。 如需使用控制台提供的“VNC远程登录方式”进行登录,需先使用SSH密钥方式登录弹性云主机并设置密码,然后使用该密码进行登录。 首次登录密码方式鉴权的弹性云主机时,有2种方法可以登录: − 管理控制台远程登录(VNC方式)。登录用户名为“root” VNC方式,具体操作请参见远程登录(VNC方式Linux)。 − SSH密码方式,登录用户名为“root”,且弹性云主机必须绑定弹性IP。 SSH密码方式,具体操作请参见SSH密码方式登录。
        来自:
        帮助文档
        弹性云主机 ECS
        快速入门
        登录弹性云主机
      • 账户改密
        本章节为您介绍云堡垒机(原生版)改密策略。 改密策略是一种自动化工具,旨在增强主机资源账户的安全性。它允许用户通过预设的策略,对一个或多个主机资源账户的密码进行手动、定时或周期性的修改。 以下是改密策略的主要功能: 支持通过策略手动、定时、周期修改资源账户密码。 支持生成不同密码、相同密码,以及生成指定相同密码。 说明 随机生成的密码遵循以下设定: 随机生成的密码长度为830个字符。 同时包含三项(大小字母、数字、()~!@ $%^&+{}[]:;'<>,.?/中的特殊符号)。 不以“/”开头,不出现连续三个以上相同字符。 新建改密策略 1. 使用“管理角色”账户登录云堡垒机系统。 2. 在左侧导航栏选择“资产管理 > 账户改密”,进入“改密策略”页面。 3. 单击“新增”按钮,在弹出的窗口中填写改密策略相关参数。 参数 参数说明 取值样例 名称 自定义改密策略名称。 定期改密 描述 自定义改密策略描述。 XX主机定期改密策略 改密账号 添加改密账号。 目前仅支持添加SSH、Telnet协议的主机账号。 选择后改密账号格式为:协议[资产账号名@]资产名称。 SSH[admin@]Test01 执行策略 按需选择您的执行策略: 立即执行:保存后立即执行。 定时执行:在选择时间后,仅在选择的时间执行一次。 按周期执行:选择执行起始时间和执行周期。 立即执行 改密方式 按需选择您的改密方式: 随机生成不同密码 随机生成相同密码 手动生成指定密码 手动生成指定密码 指定密码 仅在“改密方式”选择“手动生成指定密码”时需要填写。 改密完成通知 通过开关按钮选择是否进行通知。 收件人邮箱 开启“改密完成通知”,还需要填写接收改密内容的邮箱,仅支持填写一个邮箱。 改密结果会以加密附件的方式发送。 admin@chinatelecom.com 改密附件密码 开启“改密完成通知”,还需要填写改密附件的密码。 4. 填写完成后,单击“提交”即可完成新建改密策略。
        来自:
        帮助文档
        云堡垒机(原生版)
        用户指南
        管理员手册
        资产管理
        账户改密
      • 步骤三:开发代码
        本章主要介绍开发代码 代码托管服务提供基于Git的在线代码管理服务,包括代码克隆/提交、分支管理等功能。 由于门店网络查询功能为高优先级Story,本章节将以此功能为例进行介绍如何进行源代码管理与开发。 本样例项目中采用分支来进行代码的开发。首先由开发人员Chris在代码仓库中创建分支,并进行代码开发;然后开发人员Chris在代码仓库中提交分支合并请求,项目经理Maggie评审通过后合并分支至主干。 使用分支管理代码 分支是用来将特性开发并行独立出来的工具。使用分支意味着把工作从开发主线上分离开来,以免影响开发主线。 在创建代码仓库时,会有一个默认分支“master”,即主线。为了保证凤凰商城的稳定运行,需要有一个稳定的持续可用master。因此,项目经理建议:不直接在master分支上进行代码开发,而是统一采用功能分支+合并请求的方式,并且每一个功能分支的代码,必须经过团队的其他成员评审后,才可以进行合并。 步骤 1 将master分支设置为受保护分支。 1. 进入“凤凰商城”项目,单击导航“代码 > 代码托管”,页面将显示样例项目内置的代码仓库“phoenixsample”。 2. 单击仓库名称进入代码仓库,选择“设置”页签。在导航中单击“策略设置 > 保护分支”。 3. 单击“新建保护分支”,参照下表在弹框中完成配置,单击“确定”保存。 新建保护分支配置 配置项 配置建议 选择需要保护的分支 选择“master”。 能推送 根据需要配置,本文档中保持默认配置。 能合并 根据需要配置,本文档中保持默认配置。 成员 根据需要勾选“能推送”、“能合并”,并在下拉列表中选择成员。本文档中保持默认配置。 步骤 2 创建功能分支。 1. 进入“凤凰商城”项目,在代码托管页面中找到仓库“phoenixsample”。 2. 单击仓库名称进入代码仓库,在“代码”页签中单击“分支”。 3. 单击“新建”,参照下表输入分支信息,单击“确定”保存。 新建分支 配置项 配置建议 基于 选择“master”。 分支名称 输入“FeatureStore”。 关联工作项 选择“作为用户可以查询所有门店网络”。
        来自:
        帮助文档
        软件开发生产线CodeArts
        最佳实践
        HE2E DevOps实践
        实施步骤
        步骤三:开发代码
      • OBS数据迁移到DLI服务
        创建OBS连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 详见下图:选择连接器类型 2.连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从OBS迁移数据到DLI的任务,如下图“创建OBS到DLI的迁移任务”所示。 作业名称:用户自定义作业名称。 源连接名称:选择创建OBS连接中的“obslink”。 −桶名:待迁移数据所属的桶。 −源目录或文件:待迁移数据的具体路径。 −文件格式:传输文件到数据表时,这里选择“CSV格式”或“JSON格式”。 −高级属性里的可选参数保持默认,详细说明请参见 配置OBS源端参数。 目的连接名称:选择创建DLI连接中的“dlilink”。 −资源队列:选择目的表所属的资源队列。 −数据库名称:写入数据的数据库名称。 −表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式,建议与待迁移数据的字段类型、格式保持一致。 −导入前清空数据:导入数据前,选择是否清空目的表中的数据,这里保持默认“否”。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM支持迁移过程中转换字段内容。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 作业运行完是否删除:这里保持默认值“不删除”。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        OBS数据迁移到DLI服务
      • 关系数据库增量迁移
        本章节主要介绍关系数据库增量迁移。 CDM支持对关系型数据库进行增量迁移,全量迁移完成之后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 −适用场景:源端为关系型数据库,目的端没有要求。 −关键配置:Where子句+定时执行作业。 −前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。 Where子句 参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age < 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量使用解析,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。 配置样例: 假设数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017xxxx”,如下图所示,参数配置如下: 图 表数据 a.Where子句:配置为 DS'${dateformat(yyyyMMdd,1,DAY)}' 。 b.配置定时任务:重复周期为1天,每天的凌晨0点自动执行作业。 这样就可以每天0点导出前一天产生的所有数据。Where子句支持配置多种 时间宏变量使用解析,结合CDM定时任务的重复周期:分钟、小时、天、周、月,可以实现自动导出任意指定日期内的数据。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        增量迁移原理介绍
        关系数据库增量迁移
      • 套餐和版本说明
        版本功能列表 下表描述了WAF主要功能模块在不同套餐中的支持情况。 √:表示在当前版本中支持。 ×:表示在当前版本中不支持。 分类 功能模块 描述 体验版 基础版 标准版 专业版 旗舰版 业务接入 泛域名防护 支持接入泛域名。 × × √ √ √ 业务接入 HTTPS防护 支持HTTPS防护。 √ √ √ √ √ 业务接入 IPv6 防护 支持对IPv6访问流量安全检测与防护。 √ √ √ √ √ 业务接入 非标准端口防护 支持防护80、443以外的非标准端口上的业务。 × × × √,10个特殊端口转发 √,50个特殊端口转发 业务接入 HTTP2防护 支持防护使用HTTP/2协议的网站。 √ √ √ √ √ 业务接入 WebSocket防护 支持防护使用WebSocket协议的网站。 √ √ √ √ √ 业务接入 智能负载均衡 通过智能调度,实现网络自动容灾的高可靠性,提供智能路由选路+缓存能力,满足用户"加速"需求。 付费支持 付费支持 付费支持 付费支持 付费支持 基础安全防护 自定义防护界面 支持用户自定义响应给客户端的拦截界面。 √ √ √ √ √ 基础安全防护 访问控制 支持基于基础字段和高级字段进行组合,设置白名单和黑名单。 支持IP、URI、METHOD、PATH字段 支持IP、URI、METHOD、PATH、IP段、区域字段 支持IP、URI、METHOD、PATH、IP段、目的地IP、目的地端口、区域、URL参数自定义、常见HTTP头部 支持IP、URI、METHOD、PATH、IP段、目的地IP、目的地端口、区域、URL参数自定义、常见HTTP头部 支持IP、URI、METHOD、PATH、IP段、目的地IP、目的地端口、区域、URL参数自定义、常见HTTP头部 基础安全防护 访问控制 支持基于基础字段和高级字段进行组合,设置白名单和黑名单。 √,10条/域名 √,20条/域名 √,50条/域名 √,100条/域名 √,200条/域名 基础安全防护 合规性检测 支持对HTTP请求信息中的方法以及参数长度等信息进行检测。 √ √ √ √ √ 基础安全防护 CC防护 支持防护常见的CC攻击,支持阈值和永久模式。 × × √ √ √ 基础安全防护 规则防护引擎 支持防护常见的Web攻击。 √ √ √ √ √ 基础安全防护 0Day 漏洞虚拟补丁 自定更新0day漏洞攻击防护规则。 √ √ √ √ √ 基础安全防护 扫描防护 支持常见扫描工具封禁。 × √ √ √ √ 基础安全防护 特殊字符拦截 若请求的URI携带特殊字符,支持对其请求进行防护 × √ √ √ √ 业务安全防护 网页防篡改 支持锁定网站页面,防止源站页面内容被恶意篡改带来的影响。 × √ √ √ √ 业务安全防护 防敏感信息泄露 支持防止网站敏感信息泄露(银行卡、身份证、手机号、邮箱)。 × × × √ √ 业务安全防护 Cookie防护 支持Cookie加密和Cookie签名。 × × × √ √ 业务安全防护 广告防护 实现广告防护和监测功能。 × × × × √ 业务安全防护 账户安全 支持防护暴力破解、批量注册。 × √ √ √ √ 业务安全防护 防web挖矿 防止占用用户终端设备的系统资源和网络资源进行挖矿。 × × × × √ 业务安全防护 大数据深度学习引擎 基于网站访问流量深度学习,自动生成防护策略。 × × × × √ 业务安全防护 验证码 为网页、小程序开发者提供全面的人机验证,适用于登录注册、电商大促、数据保护等场景。 × × √ √ √ 业务安全防护 Bot管理 缓解大量针对网站的爬取和异常注册登录行为。 付费支持 付费支持 付费支持 付费支持 付费支持 业务安全防护 API安全 支持对已接入WAF的API资产进行全面安全防护。 付费支持 付费支持 付费支持 付费支持 付费支持 产品服务 日志服务 提供攻击日志、业务日志。 √ √ √ √ √ 产品服务 安全报表 提供Web攻击、CC攻击报表。 √ √ √ √ √ 产品服务 监控告警 支持自定义监控告警。 × √ √ √ √ 产品服务 安全VIP服务 提供专业安全专家主动运营服务,持续深入定制整体防护方案。 付费支持 付费支持 付费支持 付费支持 付费支持 产品服务 态势感知大屏 提供数据大屏服务,让安全攻防状态一目了然。 付费支持 付费支持 付费支持 付费支持 付费支持
        来自:
        帮助文档
        Web应用防火墙(边缘云版)
        产品介绍
        产品简介
        套餐和版本说明
      • 管理Agent
        本章节主要介绍数据治理中心的管理Agent功能。 对于HDFS和关系型数据库类型的数据源,不方便暴露节点的场景,可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据,但不支持写入数据。Agent的使用流程详见下图 前提条件 已具备CDM集群。 新建Agent 1.进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理 > Agent管理 > 新建Agent”,配置Agent相关信息。 详见下图:配置Agent IP地址:配置为源端网络中部署Agent的IP地址。 端口:Agent自定义的端口。建议范围:1024~65535。 启用压缩:是否对数据使用gzip算法进行压缩传输。 −对于文本数据(基于字符编码的数据,例如MySQL的INT等数据类型,详见相关数据库的说明文档),建议开启此选项,gzip压缩可以达到较好的压缩效果。 −对于二进制数据(基于值编码的数据,例如MySQL的BINARY等数据类型,详见相关数据库的说明文档),由于其本身已经压缩过,不推荐再开启gzip压缩,压缩后可能会导致压缩效果较差,同时会增大客户端解压缩的压力,带来不必要的性能损耗。 启用SSL:是否启用SSL双向认证,保证数据的安全性。如果对安全性要求较高,则可以开启SSL。 限流:设置agent的最大下行速率,默认不限流。 2.单击“确定”,完成Agent的创建。在Agent管理页面可查看已成功创建的Agent。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理连接
        管理Agent
      • 通过DTS工具迁移DDS/MongoDB数据
        本页介绍了如何通过数据传输服务DTS将DDS/MongoDB数据迁移到DDS/MongoDB云数据库。 前提条件 源端 账号权限要求: 全量迁移,需要具备admin库的readAnyDatabase权限、clusterMonitor权限。 增量迁移,需要具备admin库的readAnyDatabase权限、clusterMonitor权限,local库的read权限。 或者具备超级用户权限。 目标端 账号权限要求: admin库的dbAdminAnyDatabase权限、readWriteAnyDatabase权限、clusterMonitor权限。 或者具备超级用户权限。 其他要求: 已创建文档数据库服务DDS。 操作步骤 副本集到副本集迁移详细信息请参考:数据传输服务DTS​>用户指南​>数据迁移​>入云​>将DDS/MongoDB副本集迁移到DDS/MongoDB副本集。 分片集群到分片集群迁移详细信息请参考:数据传输服务DTS​>用户指南 数据迁移​>入云​>将DDS/MongoDB分片集迁移到将DDS/MongoDB分片集群。 副本集到分片集群迁移详细信息请参考:数据传输服务DTS​>用户指南 数据迁移​>入云​>将DDS/MongoDB副本集迁移到将DDS/MongoDB分片集群。
        来自:
        帮助文档
        文档数据库服务
        用户指南
        数据迁移
        通过DTS工具迁移DDS/MongoDB数据
      • 升级或降级CUDA工具包
        本文为您介绍天翼云GPU云主机中CUDA工具包的升级或降级操作方法。 当现有CUDA版本不适配业务需求、安装错误版本导致GPU算力无法调用时,可通过“卸载当前版本→安装目标版本”的方式完成升降级。核心原则是确保目标CUDA版本与已安装的Tesla驱动、云主机规格、操作系统相互适配,避免出现兼容性问题。 步骤一:卸载CUDA工具包 请参见卸载CUDA工具包按步骤执行卸载操作。 步骤二:安装CUDA工具包 请参见安装CUDA工具包按步骤执行安装操作。 注意 安装前请参考Tesla驱动及相关组件版本兼容指南,确认目标CUDA版本,避免安装后出现兼容性问题。
        来自:
        帮助文档
        GPU云主机
        用户指南
        驱动及工具包的安装
        手动升级或降级Tesla驱动、工具包及加速库
        升级或降级CUDA工具包
      • 配置MySQL源端参数
        本章节主要介绍配置MySQL源端参数。 作业中源连接为配置MySQL数据库连接,源端作业参数如下表所示。 表 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 基本参数 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明 SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如select from table a; select from table b。 不支持with语句。 不支持注释 ,比如"",“/”。 不支持增删改操作,包括但不限于以下操作: load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 基本参数 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMAE 基本参数 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 说明 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 table 高级属性 抽取分区字段 “使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时,字段值不支持ASCII字符代码表之外的字符,不支持中文字符。 id 高级属性 Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 高级属性 分区字段是否允许空值 是否允许分区字段包含空值。 是 高级属性 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 高级属性 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 高级属性 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 高级属性 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围,将作业拆分为多少个子作业执行。 高级属性 按表分区抽取 从MySQL导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dbatabpartitions 和dbatabsubpartitions 的SELECT权限。 否 说明 MySQL到DWS的场景下,MySQL Binlog方式增量迁移数据功能的使用限制如下: 单个集群在当前版本中只支持一个MySQL Binlog方式的增量迁移任务。 1.当前版本不支持一次性删除、更新万条记录。 2.不支持整库迁移。 3.不支持DDL操作。 4.不支持事件(event)迁移。 5.当选择增量迁移时,源MySQL数据库的“binlogformat”需要设置为“ROW”。 6.当选择增量迁移时,增量迁移过程中如果源MySQL实例,出现因实例跨机迁移或跨机重建等导致的binlog文件ID乱序,可能导致增量迁移数据丢失。 7.当目的表存在主键时,如果重启CDM集群或全量迁移过程中产生增量数据,主键可能会出现重复数据,导致迁移失败。 8.如果目标数据库DWS存在重启行为,会导致迁移失败,需要重启CDM集群重新拉起迁移作业。 MySQL推荐配置如下:
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置MySQL源端参数
      • 1
      • ...
      • 68
      • 69
      • 70
      • 71
      • 72
      • ...
      • 447
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      物理机 DPS

      多活容灾服务 MDR

      GPU云主机

      镜像服务 IMS

      轻量型云主机

      弹性高性能计算 E-HPC

      天翼云CTyunOS系统

      模型推理服务

      科研助手

      推荐文档

      如何选择云主机?

      卸载磁盘

      云课堂 第七课:使用对等连接在天翼云两个用户的云网络

      快速登录

      域名解析

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号