一、知识库入口 花卷左侧工具栏——更多——知识库 二、如何创建知识库？ 1.创建个人知识库 选择个人知识库，在我创建的知识库右边点击「+」进行新建知识库，填写知识库名称和描述，点击「确定」创建，即可完成创建知识库。 2.创建企业知识库 只有企业知识库管理员才能创建企业知识库。设置企业知识库管理员的步骤见创建管理员权限。选择企业知识库，在我创建的知识库右边点击「+」进行新建知识库，填写知识库名称和描述，点击「确定」创建，即可完成创建知识库。 三、如何修改知识库名称图标？ ● 新建知识库时，可以设置知识库名称和图标。 ● 点击知识库右侧「…」，选择资料修改，也可以找到修改知识库名称和头像的设置。 四、如何删除知识库？ ● 删除知识库：点击知识库右侧「…」，选择删除知识库，便可完成删除。 注意 某个知识库确认删除后，所有内容将被删除不可恢复，请谨慎操作。 五、如何在知识库创建文件？ 进入某一知识库，点击上传图标，支持本地文件/云空间文件/云盘同步三种方式进行文件上传。若文件包含图表/公式等多模态数据，支持开启深度解析，以提升复杂信息的处理精度。 上传解析成功的文件会显示在文件列表中，鼠标悬浮到某一文件，会展示该文件的AI摘要。点击文件右侧「…」，对文件进行删除。

客户端服务器为centos(redhat系列) 步骤 1 查看并获取待连接Redis实例的IP地址和端口。 具体步骤请参见查看实例信息。 步骤 2 登录弹性云主机。 步骤 3 安装Node.js。 yum install nodejs 如果以上命令安装不了，备选方式如下： wget nocheckcertificate tar xvf nodev0.12.4.tar.gz cd nodev0.12.4 ./configure make make install 说明 安装完成后，可执行node v查看Node.js的版本号，确认Node.js已安装成功。 安装完成后，可执行node v查看Node.js的版本号，确认Node.js已安装成功。 步骤 4 安装js包管理工具npm。 yum install npm 步骤 5 安装Node.js redis客户端ioredis。 npm install ioredis 步骤 6 编辑连接Redis实例的示例脚本。 编辑连接示例脚本ioredisdemo.js。示例脚本中增加以下内容，包括连接以及数据读取。 var Redis require('ioredis'); var redis new Redis({ port: 6379, // Redis port host: '192.168.0.196', // Redis host family: 4, // 4 (IPv4) or 6 (IPv6) password: '', db: 0 }); redis.set('foo', 'bar'); redis.get('foo', function (err, result) { console.log(result); }); // Or using a promise if the last argument isn't a function redis.get('foo').then(function (result) { console.log(result); }); // Arguments to commands are flattened, so the following are the same: redis.sadd('set', 1, 3, 5, 7); redis.sadd('set', [1, 3, 5, 7]); // All arguments are passed directly to the redis server: redis.set('key', 100, 'EX', 10); 其中，host 为Redis实例的IP地址，port为Redis实例的端口。IP地址和端口获取见步骤1，请按实际情况修改后执行。 为创建Redis实例时自定义的密码，请按实际情况修改后执行。 步骤 7 运行示例脚本，连接Redis实例。 node ioredisdemo.js

本文介绍如何配置eciprofile。 基于 Kubernetes 的 Mutating Webhook机制实现了eciprofile，支持为调度到虚拟节点上的 Pod 自动追加Annotations、Labels、Tolerations等，实现自动修改Pod 的规格、镜像缓存、安全组等配置，降低您对业务 Pod 配置的维护成本。本文介绍如何配置eciprofile。 功能介绍 对于ECI的一些功能特性，例如指定ECI实例规格，启用镜像缓存等，需要在Pod中追加Annotation或者Label来实现。更多信息，请参见ECI Pod Annotation。 对于上述情况，eciprofile实现了自动追加Annotation和Label的功能。在eciprofile中，您可以自定义selector，在selector中同时指定筛选条件和要追加的Annotation和Label，满足selector筛选条件的Pod会自动追加指定的Annotation和Label。 前提条件 1. 确保您已经创建Serverless集群，具体操作请参阅创建Serverless集群。 2. 已在插件市场安装插件eciprofile，且插件正常运行。 3. 确保kubectl工具已经连接目标集群。 selectors配置 创建Pod时，系统会按照selectors去匹配Pod，对于Label能够匹配上的Pod，会自动追加Annotation和Label，以便生效ECI的功能特性。 Selector 支持两种匹配方式： 1. 命名空间标签匹配。 2. Pod标签匹配。 可以分别通过 namespaceLabels 和 objectLabels 字段来指定匹配的 Namespace 和 Pod 标签。通过 effect 字段配置的 Annotation 和 Label 会自动追加到匹配的 Pod 上。 说明 要了解 Selector 的生效情况，可以通过查看 Pod 上的 k8s.ctyun.cn/matchedselector 标签来判断。 新增的 Selector 不会应用于存量 Pod，仅对新创建的 Pod 生效，若需要对现有工作负载生效，请重新部署工作负载。 在一个 Selector 中，建议您至少配置 namespaceLabels 和 objectLabels 中的一个。如果两者同时配置了，则Pod需要同时匹配两者；如果两者均未配置或者为空对象，且配置了 effect，则 effect 对所有 Pod 均生效。 1. 命名空间标签匹配。 假设想让集群中新创建的所有Pod都默认使用1C1G的规格，Selector配置模板如下： shell apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: 1c1gglobal spec: namespaceLabels: {}

coding: utf8 2. filename: receive.py 3.import xml.etree.ElementTree as ET 4. 5.def parsexml(webdata): 6. if len(webdata) 0: 7. return None 8. xmlData ET.fromstring(webdata) 9. msgtype xmlData.find('MsgType').text 10. if msgtype 'text': 11. return TextMsg(xmlData) 12. elif msgtype 'image': 13. return ImageMsg(xmlData) 14. elif msgtype 'location': 15. return LocationMsg(xmlData) 16. elif msgtype 'event': 17. return EventMsg(xmlData) 18. 19.class Event(object): 20. def init(self, xmlData): 21. self.ToUserName xmlData.find('ToUserName').text 22. self.FromUserName xmlData.find('FromUserName').text 23. self.CreateTime xmlData.find('CreateTime').text 24. self.MsgType xmlData.find('MsgType').text 25. self.Eventkey xmlData.find('EventKey').text 26. 27.class Msg(object): 28. def init(self, xmlData): 29. self.ToUserName xmlData.find('ToUserName').text 30. self.FromUserName xmlData.find('FromUserName').text 31. self.CreateTime xmlData.find('CreateTime').text 32. self.MsgType xmlData.find('MsgType').text 33. self.MsgId xmlData.find('MsgId').text 34. 35.class TextMsg(Msg): 36. def init(self, xmlData): 37. Msg.init(self, xmlData) 38. self.Content xmlData.find('Content').text 39. 40.class ImageMsg(Msg): 41. def init(self, xmlData): 42. Msg.init(self, xmlData) 43. self.PicUrl xmlData.find('PicUrl').text 44. self.MediaId xmlData.find('MediaId').text 45. 46.class LocationMsg(Msg): 47. def init(self, xmlData): 48. Msg.init(self, xmlData) 49. self.LocationX xmlData.find('LocationX').text 50. self.LocationY xmlData.find('LocationY').text 51. 52.class EventMsg(Msg): 53. def init(self, xmlData): 54. Event.init(self, xmlData) 55. self.Event xmlData.find('Event').text 4、新建templates文件夹，在文件夹下新建replytext.xml文件，复制如下代码： $def with (toUser,fromUser,createTime,content) $createTime 5、最终本地代码文件形成如下： 6、通过WinSCP工具将上述文件与目录上传至ECS指定目录下：

本文介绍如何确认CDN加速是否生效。 问题概述 本文介绍域名配置CDN加速并执行CNAME切换后，如何查看CDN加速是否生效。 验证步骤 要确认CDN加速是否生效，可通过如下步骤进行验证 ： 1. 检查域名解析：确保将您的域名解析指向天翼云CDN提供的CNAME地址。您可以使用工具如ping或dig来验证解析结果是否正确。 在Windows系统中可以通过ping的方式查看所添加的加速域名。 ping example.ctyun.cn 系统如果显示被转向cname域名，如example.ctyun.cn.ctadns.cn，并解析出访问CDN节点的IP即表示CDN加速已生效。 在Linux系统中可以通过dig的方式查看所添加的加速域名。 dig example.ctyun.cn 同Windows系统，显示域名解析被转向CNAME域名，如example.ctyun.cn.ctadns.cn，并解析出访问CDN节点的IP即表示CDN功能已生效。 2. 使用curl命令测试：在命令行中使用curl命令发送HTTP请求并查看响应头信息。可以使用CDN加速域名来进行测试。例如，执行以下命令： curl I example.ctyun.cn/xxx.jpg 如果返回的响应头包含CtlCacheStatus字段，其值表明内容是否被缓存（如HIT、MISS等），则表示CDN解析已生效。 3. 调用API接口方式，详情请见：如何验证IP地址是否属于天翼云CDN节点IP，通过API接口查看IP对应的节点是否为天翼云CDN节点。 4. 实际访问测试：通过实际访问网站或应用程序进行测试，观察加载速度和内容是否符合预期。可以尝试从不同地理位置和网络环境下进行测试，以确保CDN节点在对应加速区域内都能产生正常加速效果。 注意 执行CNAME切换后，因DNS解析生效和节点文件缓存需要一定时间，所以CDN节点要达到最佳加速效果也需要一段时间。

本页介绍了如何通过数据传输服务DTS将DDS/MongoDB数据迁移到DDS/MongoDB云数据库。 前提条件 源端 账号权限要求： 全量迁移，需要具备admin库的readAnyDatabase权限、clusterMonitor权限。 增量迁移，需要具备admin库的readAnyDatabase权限、clusterMonitor权限，local库的read权限。 或者具备超级用户权限。 目标端 账号权限要求： admin库的dbAdminAnyDatabase权限、readWriteAnyDatabase权限、clusterMonitor权限。 或者具备超级用户权限。 其他要求： 已创建文档数据库服务DDS。 操作步骤 副本集到副本集迁移详细信息请参考：数据传输服务DTS​>用户指南​>数据迁移​>入云​>将DDS/MongoDB副本集迁移到DDS/MongoDB副本集。 分片集群到分片集群迁移详细信息请参考：数据传输服务DTS​>用户指南 数据迁移​>入云​>将DDS/MongoDB分片集迁移到将DDS/MongoDB分片集群。 副本集到分片集群迁移详细信息请参考：数据传输服务DTS​>用户指南 数据迁移​>入云​>将DDS/MongoDB副本集迁移到将DDS/MongoDB分片集群。

后续配置 添加防护对象后，网站访问流量将经过WAF保护，您还需要完善以下防护配置，才能实现针对性的网站防护。 配置 说明 相关文档 Web基础防护 覆盖OWASP常见安全威胁，支持SQL注入、XSS、文件包含、远程命令执行、目录穿越、文件上传、CSRF、SSRF、命令注入、模板注入、XML实体注入等攻击检测和拦截。 Web基础防护 CC防护 CC防护支持默认防护策略及灵活的自定义防护策略。自定义策略支持依托精准访问控制规则进行特征识别，并根据访问源IP/ SESSION控制访问频率，恶意流量通过阻断、人机验证等处置手段有效缓解CC攻击。 CC防护 BOT防护 提供公开类型、协议特征、自定义会话特征等多种判定维度的防护策略，支持根据BOT会话行为特征设置BOT对抗策略，对BOT行为进行处理，有效防护搜索引擎、扫描器、脚本工具等爬虫攻击。 BOT防护 精准访问控制 支持基于IP、URL、Referer、UserAgent等请求特征进行多维度组合，定义访问匹配条件过滤访问请求，实现针对性的攻击阻断。 精准访问控制 IP黑白名单 支持添加始终拦截与始终放行的黑白名单IP/IP地址段，增强防御准确性。 IP黑白名单 地域访问控制 支持针对地理位置的黑名单封禁，可指定需要封禁的国家、地区，阻断该区域的来源IP的访问。 地域访问控制 防敏感信息泄露 支持对网站返回的内容进行过滤（拦截、脱敏展示），过滤内容包括敏感信息、关键字和响应码。 防敏感信息泄露 网页防篡改 通过缓存页面和锁定访问请求，可避免页面被恶意篡改而带来的负面影响，对重点静态页面进行保护。 网页防篡改 Cookie防篡改 通过对Cookie中的字段增加完整性校验保护，WAF会新增一个Cookie字段用于篡改校验。 Cookie防篡改 隐私屏蔽 通过设置隐私屏蔽规则，可屏蔽用户隐私信息，避免用户隐私信息出现在系统记录的日志中。 隐私屏蔽

本文介绍应用托管套餐。 简介 应用套餐是天翼云应用托管推出的应用、算力和模型一体化订阅服务，以额度统一计量，支持文本模型、视觉模型和多模态模型，兼容主流 AI 编程与智能体工具，助力业务调用高效、安全、稳定运行。 支持的模型 应用中可使用的模型范围如下： 注意：模型将根据实际场景适配调整，具体可使用模型以控制台实际展示为准。 模态 系列 模型 模型能力 文本模型 GLM系列 GLM5.1 文本生成 文本模型 GLM系列 GLM5.0 文本生成 文本模型 DeepSeek系列 Deepseekv4pro 深度思考、文本生成 文本模型 DeepSeek系列 Deepseekv4flash 深度思考、文本生成 文本模型 DeepSeek系列 Deepseekv3.2 文本生成 文本模型 MiniMax系列 MiniMaxM3 深度思考、文本生成 文本模型 MiniMax系列 MiniMaxM2.7 深度思考、文本生成 文本模型 MiniMax系列 MiniMaxM2.5 文本生成 多模态模型 Kimi系列 KimiK2.6 深度思考、视觉理解、文本生成 多模态模型 Kimi系列 KimiK2.5 深度思考、视觉理解、文本生成 多模态模型 Qwen系列 Qwen3.6plus 深度思考、视觉理解、文本生成 多模态模型 Qwen系列 Qwen3.5plus 深度思考、视觉理解、文本生成 多模态模型 Qwen系列 Qwen3.5397ba17b 深度思考、视觉理解、文本生成 多模态模型 Seed2.0 系列 Seed2.0Lite 深度思考、视觉理解、文本生成 多模态模型 MiniMax系列 miniMaxM3 深度思考、视觉理解、文本生成 视觉模型 豆包系列 DoubaoSeedance2.0 说明：doubaoseedance2.0 模型仅限平台内置应用内使用，不对外开放独立接口调用。 视频生成 视觉模型 豆包系列 DoubaoSeedance2.0fast 说明：doubaoseedance2.0 模型仅限平台内置应用内使用，不对外开放独立接口调用。 视频生成 视觉模型 豆包系列 Doubaoseedance2.0mini 说明：doubaoseedance2.0 模型仅限平台内置应用内使用，不对外开放独立接口调用。 视频生成 视觉模型 豆包系列 DoubaoSeedance1.5pro 视频生成 视觉模型 豆包系列 DoubaoSeedream4.5 图片生成 视觉模型 豆包系列 DoubaoSeedream4.0 图片生成 视觉模型 豆包系列 DoubaoSeedream5.0lite 图片生成 视觉模型 Seedream 系列 Seedream4.0 图片生成 视觉模型 Seedream 系列 Seedream4.5 图片生成 套餐计费说明详情见：应用套餐计费说明 。

前置工作 已通过天翼云生态专区订购 OpenClaw 应用 。 说明 若 OpenClaw 版本过低，将导致无法在公有云生态专区页面中进行技能配置。 操作步骤 OpenClaw 的 技能（Skills ）是让智能体具备执行能力的核心模块，通过标准化封装工具，OpenClaw 可以完成网页浏览、信息检索、邮件管理等任务。 1.从ClawHub 获取技能 登录天翼云官网，进入生态专区控制台。在应用管理我的应用中，选中对应的OpenClaw实例，点击进入应用详情页面。 点击“应用配置”页签，进入OpenClaw应用配置页面。在“技能（Skills）”模块中，天翼云支持从ClawHub选择并安装所需的技能到当前OpenClaw应用中。 2.安装技能 配置技能所需的参数说明如下表所示。填写完成后，点击“安装技能”按钮将自动下载并安装。 参数 填写说明 示例 技能来源 可选ClawHub、ClawHub中国镜像站 CLI Token 仅技能来源为ClawHub时需填写，输入从ClawHub获取的CLI Token。 说明 您可从ClawHub中获取CLI Token，Token获取参考以下步骤。 1）点击右上角用户图像的settings 2）下拉页面，点击Create token并复制token值 配置方式 可选：场景化配置、自定义配置 场景化配置可根据不同场景进行多个技能的一键安装；自定义配置可输入技能名称进行安装 Skill套餐 仅场景化配置可选择，可选：内容创作、搜索研究、知识记忆 技能名称 仅自定义配置可输入，需要安装的技能名称。 说明 1）您可从ClawHub中获取技能名称，名称获取参考下图。 2）您可从ClawHub中国镜像站中获取技能名称，名称获取参考下图。 findskills 注意 技能（Skills）由第三方ClawHub社区收录，部分技能(Skills)可能存在安全风险，天翼云无法确认其安全性，安装前请前往ClawHub社区仔细检查。

本文为您介绍云主机带宽占用高的解决方法。 操作场景 如果云主机操作卡顿或无法连接，可能是由于云主机带宽占用过高导致的，下面内容介绍了排查云主机带宽占用高的方法及相应的解决方案。 Windows操作系统云主机 1. 首先登录云主机，以Windows server操作系统云主机为例。 2. 在云主机中打开“运行”窗口，输入“perfmon res”，打开资源监视器。 3. 在“资源监视器”中，单击“CPU”或“网络”，查看CPU占用率或带宽使用情况。 4. 在监视器中查看带宽占用率较高的进程名，一般会有以下情况。 1. 如果消耗带宽较多的进程为业务进程，表示云主机规格不满足业务运行需求，建议变更云主机的配置。 2. 如果消耗带宽较多的进程为异常进程，可能是病毒或木马导致，建议自行终止进程或者使用安全软件进行查杀。必要时候建议重装系统确保系统正常运行。 Linux操作系统云主机 1. 通过管理控制台登录云主机，以CentOS 7.6 操作系统云主机为例。 2. 执行以下命令安装Linux流量监控工具iftop。 plaintext yum install iftop y 3. 执行如下命令，查看导致流量较高的端口与消耗流量的IP，以eth0端口为例。 plaintext iftop i eth0 P 4. 执行如下命令查看端口对应的进程，以38366端口为例。 plaintext netstat tunlp grep 38366 TX表示发送流量，RX表示接收流量，TOTAL表示总流量。 cum：表示第一列各种情况的总流量。 peak：表示第一列各种情况的流量峰值。 rates：表示第一列各种情况2秒、10秒、40秒内的平均流量。 5. 查看带宽占用率较高的进程名。 1. 如果消耗带宽较多的进程为业务进程，表示云主机规格不满足业务运行需求，建议变更云主机的配置。 2. 如果消耗带宽较多的进程为异常进程，可能是病毒或木马导致，建议自行终止进程或者使用安全软件进行查杀。必要时候建议重装系统确保系统正常运行。

本文为您介绍基于DNS的服务发现。 本文主要介绍Kubernetes集群中DNS域名解析原理和在Serverless集群中安装DNS服务器CoreDNS。 背景信息 DNS为Kubernetes集群内的工作负载提供域名解析服务。CoreDNS是Kubernetes集群中负责DNS解析的组件，能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集，在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样，CoreDNS项目由 CNCF托管，关于CoreDNS的更多信息，可浏览CoreDNS的官网。Serverless集群使用CoreDNS负责集群的服务发现，您可以根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 前提条件 确保您已经创建Serverless集群，具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。 操作步骤 步骤一：安装CoreDNS插件 1. 登录容器服务控制台，在左侧菜单栏选择“集群”。 2. 在集群列表页面，选择目标集群名称，然后在左侧菜单栏选择“插件”下的“插件市场”，安装CoreDNS插件。 3. 提交“安装插件”，稍后会在集群中创建2个coredns pod，集群会根据Pod内的配置，将域名请求发往集群DNS服务器获取结果。 4. 查看coredns是否正常运行。 步骤二：创建Nginx工作负载，以及service 1. 创建无状态工作负载，参考如下： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "nginxdeploy" namespace: "default" spec: replicas: 2 selector: matchLabels: name: "nginxdeploy" template: metadata: labels: name: "nginxdeploy" source:"CCSE" spec: containers: image: "registryvpccrshuadong1.ctyun.cn/opensource/nginx:1.25alpineamd64" imagePullPolicy: "IfNotPresent" name: "nginx" 2. 查看nginx pod是否正常运行，从eci控制台进入pod容器内部。 kubectl get po ndefault grep nginx 查看Pod内的DNS域名解析配置文件为/etc/resolv.conf，文件内容如下： nameserver 10.96.0.10 search kubesystem.svc.cluster.local svc.cluster.local cluster.local options ndots:5 3. 创建service，参考如下： apiVersion: v1 kind: Service metadata: name: nginxdeploy namespace: default spec: ports: name: tcp80 port: 30002 protocol: TCP targetPort: 80 selector: name: nginxdeploy type: ClusterIP

Predis 介绍使用同一VPC内弹性云主机ECS上的Predis连接Redis的方法。更多的客户端的使用方法请参考Redis客户端。 前提条件 已成功申请Redis实例，且状态为“运行中”。 已创建弹性云主机，创建弹性云主机的方法，请参见《弹性云主机用户指南》。 如果弹性云主机为Linux系统，该弹性云主机必须已经安装php编译环境。 操作步骤 步骤 1 查看并获取待连接Redis实例的IP地址和端口。 具体步骤请参见查看实例信息。 步骤 2 登录弹性云主机。 步骤 3 安装php开发包与命令行工具。执行如下命令，使用yum方式直接安装。 yum install phpdevel phpcommon phpcli 步骤 4 安装完后可查看版本号，确认成功安装。 php version 步骤 5 将Predis包下载到/usr/share/php目录下。 1. 通过以下命令下载Predis源文件。 wget 说明 仅以该版本作为示例，您还可以去redis官网或者php官网下载其他版本的predis客户端。 2. 解压Predis源文件包。 tar zxvf predis1.1.10.tar.gz 3. 将解压好的predis目录重命名为“predis”，并移动到/usr/share/php/下。 mv predis1.1.10 predis 步骤 6 编辑一个文件连接redis。 使用redis.php文件连接Redis单机/主备/Proxy集群示例： 'tcp' , 'host' > '{redisinstanceaddress}' , 'port' > {port} , 'password' > '{password}' ]); $client>set('foo', 'bar'); $value $client>get('foo'); echo $value; ?> 使用rediscluster.php连接Redis Cluster集群代码示例： 'redis'); $client new PredisClient($servers, $options); $client>set('foo', 'bar'); $value $client>get('foo'); echo $value; ?> 其中， {redisinstanceaddress} 为Redis实例真实的IP地址， {port} 为Redis实例真实的端口。IP地址和端口获取见步骤1，请按实际情况修改后执行。 {password} 为创建Redis实例时自定义的密码，请按实际情况修改后执行。如果免密访问，请将password行去掉。 步骤 7 执行php redis.php连接Redis实例。

本章节主要介绍配置Hive源端参数。 作业中源连接为配置Hive连接时，源端作业参数如下表所示。 表 Hive作为源端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 TBLE 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式，如果没有使用WHERE条件做数据过滤及在字段映射页面添加新字段的需求，选择HDFS方式即可。 HDFS文件方式读取数据时，性能较好，但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时，支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 HDFS 分区过滤条件 读取方式为HDFS时，单击“显示高级属性”后显示此参数。 该参数表示抽取指定值的partition，可以配置多个值（空格分隔），也可以配置为字段取值范围，接受时间宏函数。 单/多值过滤： "{dateformat(yyyyMMdd, 1, DAY)} {dateformat(yyyyMMdd)}" 范围过滤： " {value} > {dateformat(yyyyMMdd, 7, DAY)} && {value} 18 and age < 60 说明 Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。

本章节主要介绍配置云搜索服务目的端参数。 作业中目的连接为配置Elasticsearch/云搜索服务（CSS）连接，即将数据导入到云搜索服务时，目的端作业参数如下表所示。 表 Elasticsearch作为目的端时的作业参数 参数名 说明 取值样例 索引 待写入数据的Elasticsearch的索引，类似关系数据库中的数据库名称。CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 index 类型 待写入数据的Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。 type 管道ID 需要先在kibana中创建管道ID，这里才可以选择，该参数用于数据传到Elasticsearch后，通过Elasticsearch的数据转换pipeline进行数据格式变换。 pipelineid 定时创索引 对于持续写入数据到Elasticsearch的流式作业，CDM支持在Elasticsearch中定时创建新索引并写入数据，方便用户后期删除过期的数据。支持按以下周期创建新索引： 每小时：每小时整点创建新索引，新索引的命名格式为“索引名+年+月+日+小时”，例如“index2018121709”。 每天：每天零点零分创建新索引，新索引的命名格式为“索引名+年+月+日”，例如“index20181217”。 每周：每周周一的零点零分创建新索引，新索引的命名格式为“索引名+年+周”，例如“index201842”。 每月：每月一号零点零分创建新索引，新索引的命名格式为“索引名+年+月”，例如“index201812”。 不创建：选择此项表示不创建定时索引。 从文件类抽取数据时，必须配置单个抽取（“抽取并发数”参数配置为1），否则该参数无效。 每小时

/ EXEC master.dbo.spaddlinkedsrvlogin @rmtsrvnameN'DRSTESTREMOTE',@useselfN'False',@localloginNULL,@rmtuserN'sa',@rmtpassword' ' GO 说明： 以上脚本为范例，创建的脚本可能包含大量系统默认配置项，但是每个DBLink仅需保留以下两个关键脚本即可执行成功，同时需要注意重新输入账号连接密码。 Agent JOB Agent JOB又名SQL Server代理服务，可以方便用户快速的在实例上创建定时任务，帮助用户进行日常运维和数据处理工作，用户在本地的JOB需要手动进行脚本迁移。 1.通过微软提供的官方Microsoft SQL Server Management Studio客户端工具连接本地实例与云上实例，同时在“SQL Server代理 > 作业”下找到当前实例上的所有JOB任务。 图 查看作业 2.选择SQL Server代理下的作业，然后按F7，可以在对象资源管理器中看到所有的作业（JOB），全部选中后创建脚本到新窗口。 图 创建脚本 3.复制新窗口中的TSQL创建脚本到新实例上，然后注意修改如下几个关键项，以保障你的创建成功。 注意修改每个JOB上的Ower账号： 例如： @ownerloginnameN'rdsuser' 注意修改每个JOB上的实例名称： 例如： @serverN'实例IP' @servername N'实例IP' 说明： 新建JOB的Owner账号十分重要，在RDS SQL Server上，仅有该JOB的Owner可以看到实例上自己的JOB，别的Login账号是看不到无法操作的，所以建议所有的JOB Owner尽量是同一个账号方便管理。 关键配置 用户将数据库还原到RDS for SQL Server实例上之后，本地的一些重要配置项也需要进行同步确认，避免影响业务的正常使用。 1.tempdb：临时数据库的文件配置需要进行同步。 推荐配置为8个临时文件，注意路径一定要确保在D:RDSDBDATATemp 通过在目标数据库端执行如下脚本添加临时数据库的文件配置： USE [master] GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb1', FILENAME N'D:RDSDBDATATemptempdb1.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb2', FILENAME N'D:RDSDBDATATemptempdb2.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb3', FILENAME N'D:RDSDBDATATemptempdb3.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb4', FILENAME N'D:RDSDBDATATemptempdb4.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb5', FILENAME N'D:RDSDBDATATemptempdb5.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb6', FILENAME N'D:RDSDBDATATemptempdb6.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO ALTER DATABASE [tempdb] ADD FILE ( NAME N'tempdb7', FILENAME N'D:RDSDBDATATemptempdb7.ndf' , SIZE 65536KB , FILEGROWTH 65536KB ) GO 图 检查临时文件 2.数据库隔离级别：请确认原实例上数据库的隔离级别是否开启，并同步到RDS SQL Server实例，快照隔离参数有2个，分别是：读提交快照（Is Read Committed Snapshot On） 允许快照隔离（Allow Snapshot Isolation） 若原实例上数据库的隔离级别是开启的，您可以通过在目标数据库端执行如下脚本开启数据库的隔离级别： USE [DBName] GO ALTER DATABASE [DBName] SET READCOMMITTEDSNAPSHOT ON WITH NOWAIT GO ALTER DATABASE [DBName] SET ALLOWSNAPSHOTISOLATION ON GO 3.实例最大并行度：实例最大并行度在RDS for SQL Server实例上默认设置为0，用户也可以根据自己本地原来的设置项进行同步设置，避免不同环境下业务场景出现异常。 右击本地实例选择属性，在服务器属性弹出框中选择高级，然后在右侧找到最大并行度（max degree of parallelism）设置项，确认本地实例设置值，并同步在目标RDS for SQL Server实例管理的参数组中进行修改。 图 查看本地实例最大并行度值 登录本云实例控制台，在实例管理页，单击目标实例名称，进入基本信息页签，切换至“参数修改”，搜索最大并行度（max degree of parallelism）并进行修改。 图8 修改目标RDS for SQL Server实例的最大并行度 4.迁移上云的数据库恢复模式是否为完整（FULL）模式，如果不是需要进行修改。 右击数据库选择属性，在弹出数据库属性框中选择选项，并在右侧确认该数据库恢复模式为完整（FULL），保证该数据库高可用和备份策略可执行。 图 检查数据库恢复模式 5.由于备份信息里记录的是源数据库的统计信息，这些信息过旧且会影响SQL性能，迁移结束后建议启动一次全部用户的数据库，收集一遍统计信息，确保上线新系统性能稳定。

本章节主要介绍HBase/CloudTable增量迁移。 使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者表格存储服务（CloudTable）的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 详见下图：HBase时间区间 起始时间（包含该值），格式为“yyyyMMdd HH:mm:ss”，表示只抽取该时间及以后的数据。 终止时间（不包含该值），格式为“yyyyMMdd HH:mm:ss”，表示只抽取该时间以前的数据。 这2个参数支持配置为 时间宏变量使用解析，例如： 起始时间配置为 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 时，表示只导出昨天以后的数据。 终止时间配置为 ${dateformat(yyyyMMdd HH:mm:ss)} 时，表示只导出当前时间以前的数据。 这2个参数同时配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。

创建DWS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“数据仓库服务（DWS）”后单击“下一步”配置DWS连接参数，必填参数如下表“DWS连接参数”所示，可选参数保持默认即可。 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择连接Agent中已创建的Agent。 导入模式 COPY模式：将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS，只能使用COPY模式。 COPY 3.单击“保存”完成创建连接。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从Oracle导出数据到DWS的任务。 详见下图：创建Oracle到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建Oracle连接中的“oraclelink”。 −模式或表空间：待迁移数据的数据库名称。 −表名：待迁移数据的表名。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称：选择上述 创建DWS连接中的连接“dwslink”。 −模式或表空间：选择待写入数据的DWS数据库。 −自动创表：只有当源端和目的端都为关系数据库时，才有该参数。 −表名：待写入数据的表名，可以手动输入一个不存在表名，CDM会在DWS中自动创建该表。 −存储模式：可以根据具体应用场景，建表的时候选择行存储还是列存储表。一般情况下，如果表的字段比较多（大宽表），查询中涉及到的列不多的情况下，适合列存储。如果表的字段个数比较少，查询大部分字段，那么选择行存储比较好。 −扩大字符字段长度：当目的端和源端数据编码格式不一样时，自动建表的字符字段长度可能不够用，配置此选项后CDM自动建表时会将字符字段扩大3倍。 −导入前清空数据：任务启动前，是否清除目的表中数据，用户可根据实际需要选择。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“表到表的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 单击，可批量映射字段。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。 说明 如遇目的端写太久导致迁移超时，请减少Oracle连接器中“一次请求行数”参数值的设置。

参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明 SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如select from table a; select from table b。 不支持with语句。 不支持注释 ，比如""，“/”。 不支持增删改操作，包括但不限于以下操作： load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置通配符（ ），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： 表示导出所有以“SCHEMA”开头的数据库。 表示导出所有以“SCHEMA”结尾的数据库。 表示数据库名称中只要有“SCHEMA”字符串，就全部导出。 SCHEMAE 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 说明 表名支持配置通配符（ ），实现导出以某一前缀开头或者以某一后缀结尾的所有表（要求表中的字段个数和类型都一样）。例如： 表示导出所有以“table”开头的表。 表示导出所有以“table”结尾的表。 表示表名中只要有“table”字符串，就全部导出。 table 抽取分区字段 “使用SQL语句”选择“否”时，显示该参数，表示抽取数据时使用该字段进行数据切分，CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段，例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面，用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型，建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时，字段值不支持ASCII字符代码表之外的字符，不支持中文字符。 id Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 分区字段是否允许空值 是否允许分区字段包含空值。 是 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围，将作业拆分为多少个子作业执行。 按表分区抽取 从MySQL导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 仅支持源端数据源为云数据库PostgreSQL/云数据库MySQL时配置该参数。 数据库用户需要具有系统视图 dbatabpartitions 和 dbatabsubpartitions 的 SELECT 权限。 否

文件格式问题解决方法 1.数据库的数据导出到CSV文件，由于数据中含有分隔符逗号，造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法： a.指定字段分隔符 使用数据库中不存在的字符，或者是极少见的不可打印字符来作为字段分隔符。例如：可以在目的端指定“字段分隔符”为“%01”，这样导出的字段分隔符就是“u0001”，详情可见表上表 特殊字符对应的 URL 编码。 b.使用包围符 在目的端作业参数中开启“使用包围符”，这样数据库中如果字段包含了字段分隔符，在导出到CSV文件的时候，CDM会使用包围符将该字段括起来，使之作为一个字段的值写入CSV文件。 2.数据库的数据包含换行符 场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符n）导出到CSV格式的文件中，然后再使用CDM将导出的CSV文件导入到MRS HBase，发现导出的CSV文件中出现了数据被截断的情况。 解决方法：指定换行符。 在使用CDM将MySQL的表数据导出到CSV文件时，指定目的端的换行符为“%01”（确保这个值不会出现在字段值中），这样导出的CSV文件中换行符就是“%01”。然后再使用CDM将CSV文件导入到MRS HBase时，指定源端的换行符为“%01”，这样就避免了数据被截断的问题。

参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 /user/output 文件格式 写入后的文件格式，可选择以下文件格式： CSV格式：按CSV格式写入，适用于数据表到文件的迁移。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，CDM会原样写入文件，不改变原始文件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复，可选择如下处理方式： 替换重复文件 跳过重复文件 停止任务 停止任务 压缩格式 写入文件后，选择对文件的压缩格式。支持以下压缩格式： NONE：不压缩。 DEFLATE：压缩为DEFLATE格式。 GZIP：压缩为GZIP格式。 BZIP2：压缩为BZIP2格式。 LZ4：压缩为LZ4格式。 SNAPPY：压缩为SNAPPY格式。 SNAPPY 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。“文件格式”为“二进制格式”时该参数值无效。 n 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 使用包围符 “文件格式”为“CSV格式”，才有该参数，用于将数据库的表迁移到文件系统的场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello,world，使用包围符后，导出到CSV文件的时候数据为"hello,world"。 否 首行为标题行 在迁移表到CSV文件时，CDM默认是不迁移表的标题行，如果该参数选择“是”，CDM在才会将表的标题行数据写入文件。 否 写入到临时文件 将二进制文件先写入到临时文件（临时文件以“.tmp”作为后缀），迁移成功后，再进行rename或move操作，在目的端恢复文件。 否 作业成功标识文件 当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定。不指定时默认关闭该功能。 finish.txt 自定义目录层次 支持用户自定义文件的目录层次。例如：【表名】/【年】/【月】/【日】/【数据文件名】. csv 目录层次 指定文件的目录层次，支持时间宏（时间格式为yyyy/MM/dd）。不填默认为不带层次目录。例如：${dateformat(yyyy/MM/dd, 1, DAY)} 加密方式 “文件格式”选择“二进制格式”时，该参数才显示。 选择是否对写入的数据进行加密： 无：不加密，直接写入数据。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”，解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”，解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F

创建DWS连接 1.在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面。 2.连接器类型选择“数据仓库服务（DWS）”后单击“下一步”配置DWS连接参数，必填参数如下表“DWS连接参数”所示，可选参数保持默认即可。 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择连接Agent中已创建的Agent。 导入模式 COPY模式：将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS，只能使用COPY模式。 COPY 3.单击“保存”完成创建连接。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从MySQL导出数据到DWS的任务。 详见下图：创建MySQL到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择上述 创建MySQL连接 中的“mysqllink”。 −使用SQL语句：否。 −模式或表空间：待抽取数据的模式或表空间名称。 −表名：要抽取的表名。 −其他可选参数一般情况下保持默认即可，详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称：选择创建DWS连接中的连接“dwslink”。 −模式或表空间：选择待写入数据的DWS数据库。 −自动创表：只有当源端和目的端都为关系数据库时，才有该参数。 −表名：待写入数据的表名，可以手动输入一个不存在表名，CDM会在DWS中自动创建该表。 −是否压缩：DWS提供的压缩数据能力，如果选择“是”，将进行高级别压缩，CDM提供了适用I/O读写量大，CPU富足（计算相对小）的压缩场景 −存储模式：可以根据具体应用场景，建表的时候选择行存储还是列存储表。一般情况下，如果表的字段比较多（大宽表），查询中涉及到的列不多的情况下，适合列存储。如果表的字段个数比较少，查询大部分字段，那么选择行存储比较好。 −扩大字符字段长度：当目的端和源端数据编码格式不一样时，自动建表的字符字段长度可能不够用，配置此选项后CDM自动建表时会将字符字段扩大3倍。 −导入前清空数据：任务启动前，是否清除目的表中数据，用户可根据实际需要选择。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“表到表的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 单击，可批量映射字段。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。可适当调大参数，提升迁移效率。 是否写入脏数据：表到表的迁移容易出现脏数据，建议配置脏数据归档。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本章节主要介绍配置DDS目的端参数。 作业中目的连接为配置DDS连接，即导入数据到文档数据库服务（DDS）时，目的端作业参数如下表所示。 表 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mongodb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的帐号是否有元数据查询的权限。 COLLECTION

后续配置 添加防护对象后，网站访问流量将经过WAF保护，您还需要完善以下防护配置，才能实现针对性的网站防护。 配置 说明 相关文档 Web基础防护 覆盖OWASP常见安全威胁，支持SQL注入、XSS、文件包含、远程命令执行、目录穿越、文件上传、CSRF、SSRF、命令注入、模板注入、XML实体注入等攻击检测和拦截。 Web基础防护 CC防护 CC防护支持默认防护策略及灵活的自定义防护策略。自定义策略支持依托精准访问控制规则进行特征识别，并根据访问源IP/ SESSION控制访问频率，恶意流量通过阻断、人机验证等处置手段有效缓解CC攻击。 CC防护 BOT防护 提供公开类型、协议特征、自定义会话特征等多种判定维度的防护策略，支持根据BOT会话行为特征设置BOT对抗策略，对BOT行为进行处理，有效防护搜索引擎、扫描器、脚本工具等爬虫攻击。 BOT防护 精准访问控制 支持基于IP、URL、Referer、UserAgent等请求特征进行多维度组合，定义访问匹配条件过滤访问请求，实现针对性的攻击阻断。 精准访问控制 IP黑白名单 支持添加始终拦截与始终放行的黑白名单IP/IP地址段，增强防御准确性。 IP黑白名单 地域访问控制 支持针对地理位置的黑名单封禁，可指定需要封禁的国家、地区，阻断该区域的来源IP的访问。 地域访问控制 防敏感信息泄露 支持对网站返回的内容进行过滤（拦截、脱敏展示），过滤内容包括敏感信息、关键字和响应码。 防敏感信息泄露 网页防篡改 通过缓存页面和锁定访问请求，可避免页面被恶意篡改而带来的负面影响，对重点静态页面进行保护。 网页防篡改 Cookie防篡改 通过对Cookie中的字段增加完整性校验保护，WAF会新增一个Cookie字段用于篡改校验。 Cookie防篡改 隐私屏蔽 通过设置隐私屏蔽规则，可屏蔽用户隐私信息，避免用户隐私信息出现在系统记录的日志中。 隐私屏蔽

本节介绍了编译工程生产消费的主要内容点,包括引入依赖、绑定BindingKey、生产消息和消费消息。 前提条件 创建分布式消息服务RabbitMQ实例。 操作步骤 RabbitMQ是一个开源的消息队列中间件，支持生产者和消费者之间的异步通信。在上述资源准备完成后，接下来需要编译工程生产消费，主要分以下几个步骤： 1、编写生产者代码：编写一个生产者程序。该程序将连接到RabbitMQ服务器，并将消息发送到队列中。 2、编写消费者代码：编写一个消费者程序。该程序将连接到RabbitMQ服务器，并从队列中接收消息。 3、运行生产者和消费者：运行生产者程序，它将发送消息到队列中。然后运行消费者程序，它将从队列中接收并处理消息。 4、验证结果：检查生产者和消费者程序的输出，确保消息被正确发送和接收。 引入依赖 在使用RabbitMQ时，你需要在你的项目中引入相应的依赖。具体的依赖项可能会因你的项目和需求而有所不同。在使用RabbitMQ之前，请确保查阅官方文档以获取最新的依赖项和使用说明。 以Java编程语言为例，可以使用RabbitMQ的Java客户端库。你可以在Maven或Gradle构建工具中添加以下依赖项： com.rabbitmq amqpclient 5.7.0 也可以通过下载JAR包来引入依赖。 绑定BindingKey 在RabbitMQ中，绑定键（Binding Key）是用于绑定交换机（Exchange）和队列（Queue）的关键字。当一个消息被发送到交换机时，交换机会根据绑定键将消息路由到相应的队列中。 绑定键是在创建绑定（Binding）时指定的，它定义了消息应该如何被路由到队列。绑定键通常与消息的属性或内容进行匹配，以确定消息应该发送到哪个队列。 绑定键可以具有不同的形式，取决于使用的交换机类型。以下是一些常见的绑定键形式： 直接匹配（Direct Match）：绑定键与消息的路由键（Routing Key）完全匹配时，消息会被路由到相应的队列。 通配符匹配（Wildcard Match）：绑定键可以使用通配符进行模式匹配。常见的通配符有和

本文介绍如何基于Serverless集群快速部署Stable Diffusion应用。 基于 Serverless集群，你可以通过控制台或 kubectl 两种方式快速部署 Stable Diffusion 应用。本指南将带你完成部署，助你轻松通过外部端点访问 Stable Diffusion，开启 AIGC 文生图之旅。 前提条件 确保您已经成功创建了Serverless集群，并且能通过公网访问集群。 确保Serverless集群所在VPC已经开启公网NAT网关，Stable Diffusion 应用能访问公网。 背景信息 Stable Diffusion 是一种强大的、开源的潜在文生图扩散模型 (Latent TexttoImage Diffusion Model)。它由 Stability AI 公司及其合作者于 2022 年发布，并迅速成为人工智能生成内容 (AIGC) 领域中最具代表性的模型之一。其核心功能是根据用户提供的文本描述（Prompt），通过一个复杂的算法过程，生成与之相符的高质量、细节丰富的图像。 注意 天翼云不对第三方模型“Stable Diffusion”的合法性、安全性、准确性进行任何保证，天翼云不对由此引发的任何损害承担责任。 您应自觉遵守第三方模型“Stable Diffusion”的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。 操作步骤 步骤一：创建 Stable Diffusion应用 您可以通过控制台部署Stable Diffusion应用，也可以通过kubectl工具连接sce集群来创建Stable Diffusion应用。 1. 登录管理控制台，在左侧菜单栏选择“集群”。 2. 在集群列表页面，选择目标集群名称，然后在左侧菜单栏，选择“工作负载 ”下的“无状态”，选择“创建Deployment”。 3. 在创建Deployment页面，填写Deployment名称、副本数量等。 4. 在实例内容器项填写容器名称、镜像、镜像版本、cpu/内存限制等。 其中Stable Diffusion镜像要提前上传到容器镜像服务实例，点击选择镜像选择Stable Diffusion镜像即可。 5. 开启“容器健康检查”，勾选“就绪检查”。 6. 在服务配置项，创建服务，选择负载均衡类型，公网访问，配置容器端口、服务端口，点击“确定”。 7. 点击创建工作负载，等待Pod状态变为Running，Stable Diffusion应用部署完成。

本文向您介绍企业版VPN中路由设置的常见问题。 如何理解VPN连接中的对端网关和对端子网？ 对端网关和对端子网是两个相对的概念，在建立VPN连接时，从云的角度出发，VPC网络就是本地子网，创建的VPN网关就是本地网关，与之对接的用户侧网络就是对端子网，用户侧的网关就是对端网关。 对端网关IP就是用户侧网关的公网IP，对端子网指需要和VPC子网互联的子网。 Console界面在哪添加VPN远端路由？ 云端在VPN连接创建时会自动下发到达远端子网的路由，无需手动配置。 ECS主机多网卡是否需要添加去往线下网络的路由？ 如果客户使用主网卡与线下网络建立了VPN，不需要添加路由。 如果客户使用非主网卡与线下网络建立了VPN，需要添加去往线下网段的路由指向非主网卡的网关。 什么是NQA 什么是NQA 网络质量分析（Network Quality Analysis，NQA）是一种实时的网络性能探测和统计技术，可以对响应时间、网络抖动、丢包率等网络指标进行统计。NQA能够实时监视网络服务质量，在网络发生故障时进行有效的故障诊断和定位。 为什么需要NQA 随着运营商增值业务的开展，用户和运营商对QoS（Quality of Service）的相关要求越来越高，特别是在传统的IP网络承载语音和视频业务后，运营商与客户之间签订SLA（Service Level Agreement）成为普遍现象。 为了让用户看到承诺的带宽是否达到需求，运营商需要提供相关的时延、抖动、丢包率等相关的统计参数，以及时了解网络的性能状况。传统的网络性能分析方法（如Ping、Tracert等）已经不能满足用户对业务多样性和监测实时性的要求。NQA可以实现对网络运行状况的准确测试，输出统计信息。NQA可以监测网络上运行的多种协议的性能，使网络运营商能够实时采集到各种网络运行指标，例如：HTTP的总时延、TCP连接时延、DNS解析时延、文件传输速率、FTP连接时延、DNS解析错误率等。通过对这些指标进行控制，网络运营商可以为用户提供不同等级的网络服务。同时，NQA也是网络故障诊断和定位的有效工具。

本文主要介绍可信数据空间的产品规格。 产品 销售品名称 规格 功能描述 计费单位 可信数据空间 数据空间服务平台 基础版 可信数据空间全部能力，包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括：可信数据空间服务（1套）、接入连接器（连接器数：5）、隐私计算（隐私计算节点：5）、数据沙箱（数据沙箱数：2）、数据交易平台（1套）、开发平台（开发租户数：5）适用于数据空间运营单位。 元/月 可信数据空间 数据空间服务平台 升级版 可信数据空间全部能力，包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。升级版包括：可信数据空间服务（1套）、接入连接器（连接器数：5）、隐私计算（隐私计算节点：5）、数据沙箱（数据沙箱数：10）、数据交易平台（1套）、开发平台（开发租户数：20）适用于数据空间运营单位。 元/月 可信数据空间 数据空间服务平台 企业版 可信数据空间全部能力，包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括：可信数据空间服务（1套）、接入连接器（连接器数：5）、隐私计算（隐私计算节点：5）、数据沙箱（数据沙箱数：50）、数据交易平台（1套）、开发平台（开发租户数：100）适用于数据空间运营单位。 元/月 可信数据空间 连接器 连接器 提供可信数据空间的接入服务，包括数据上架、订单管理、数据使用等能力。适用于数据提供企业、数据需求企业使用。 元/月

本文为您介绍天翼云GPU云主机中CUDA工具包的升级或降级操作方法。 当现有CUDA版本不适配业务需求、安装错误版本导致GPU算力无法调用时，可通过“卸载当前版本→安装目标版本”的方式完成升降级。核心原则是确保目标CUDA版本与已安装的Tesla驱动、云主机规格、操作系统相互适配，避免出现兼容性问题。 步骤一：卸载CUDA工具包 请参见卸载CUDA工具包按步骤执行卸载操作。 步骤二：安装CUDA工具包 请参见安装CUDA工具包按步骤执行安装操作。 注意 安装前请参考Tesla驱动及相关组件版本兼容指南，确认目标CUDA版本，避免安装后出现兼容性问题。

创建OBS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 详见下图：选择连接器类型 2.连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从MySQL导出数据到OBS的任务。 详见下图： 创建MySQL到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建MySQL连接中的“mysqllink”。 −使用SQL语句：否。 −模式或表空间：待抽取数据的模式或表空间名称。 −表名：要抽取的表名。 −其他可选参数一般情况下保持默认即可，详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称：选择创建OBS连接中的“obslink”。 −桶名：待迁移数据的桶。 −写入目录：写入数据到OBS服务器的目录。 −文件格式：迁移数据表到文件时，文件格式选择“CSV格式”。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置OBS目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“表到文件的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持并发抽取MySQL数据，如果源表配置了索引，可调大抽取并发数提升迁移速率。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据，建议配置写入脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

产品 销售品名称 规格 功能描述 计费单位 标准资费 可信数据空间 数据空间服务平台 基础版 可信数据空间全部能力，包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括：可信数据空间服务（1套）、接入连接器（连接器数：5）、隐私计算（隐私计算节点：5）、数据沙箱（数据沙箱数：2）、数据交易平台（1套）、开发平台（开发租户数：5）适用于数据空间运营单位。 元/月 94000 可信数据空间 数据空间服务平台 升级版 可信数据空间全部能力，包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。升级版包括：可信数据空间服务（1套）、接入连接器（连接器数：5）、隐私计算（隐私计算节点：5）、数据沙箱（数据沙箱数：10）、数据交易平台（1套）、开发平台（开发租户数：20）适用于数据空间运营单位。 元/月 104000 可信数据空间 数据空间服务平台 企业版 可信数据空间全部能力，包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括：可信数据空间服务（1套）、接入连接器（连接器数：5）、隐私计算（隐私计算节点：5）、数据沙箱（数据沙箱数：50）、数据交易平台（1套）、开发平台（开发租户数：100）适用于数据空间运营单位。 元/月 129000 可信数据空间 连接器 连接器 提供可信数据空间的接入服务，包括数据上架、订单管理、数据使用等能力。适用于数据提供企业、数据需求企业使用。 元/月 13000

开源CloudEvents 未提供C++SDK，但您可以通过发送一个http请求的形式来完成发送事件。 前提条件 1. 您的运行环境已安装libcurl、boost依赖库。支持c++11及以上，若不支持修改对应代码。 2. 下载eventBridgecppsdk.zip，查看示例代码。 签名生成工具 cpp include "EventSignHelper.h" include include include "crypt/hmac.h" include "crypt/sha1.h" include include using namespace std; string get(map m, const string &key) { string value; if (m.find(key) ! m.end()) { value m[key]; } return value; } string implode(const vector &vec, const string &glue) { string res; int n 0; for (const auto &str : vec) { if (n 0) { res str; } else { res + glue + str; } n++; } return res; } string uppercase(string str) { transform(str.begin(), str.end(), str.begin(), [](unsigned char c) { return toupper(c); }); return str; } bool startwith(string src, string prefix) { auto res mismatch(prefix.begin(), prefix.end(), src.begin()); return res.first prefix.end(); } void ltrim(string &s) { s.erase(s.begin(), findif(s.begin(), s.end(), [](unsigned char ch) { return !isspace(ch); })); } // trim from end (in place) void rtrim(string &s) { s.erase(findif(s.rbegin(), s.rend(), [](unsigned char ch) { return !isspace(ch); }) .base(), s.end()); } // trim from both ends (in place) void trim(string &s) { ltrim(s); rtrim(s); } string getCanonicalizedHeaders(const map &headers, const string &prefix "xceb") { stringstream result; for (const auto &item : headers) { if (startwith(item.first, prefix)) { string v item.second; trim(v); result query) { if (query.empty()) { return pathname; } vector tmp; tmp.reserve(query.size()); for (const auto &item : query) { tmp.pushback(string(item.first) + "" + item.second); } return pathname + "?" + implode(tmp, "&"); } string hmacsha1(const string &src, const string &key) { boost::uint8t hashval[sha1::HASHSIZE]; hmac ::calc(src, key, hashval); return base64::encodefromarray(hashval, sha1::HASHSIZE); } // 生成签名 string EventSignHelper::genSign(const string& httpMethod, const map & headers, const string& pathname, const map & query, const string& ak, const string& sk) { string contentmd5 get(headers, "contentmd5"); string contenttype get(headers, "contenttype"); string date get(headers, "date"); stringstream stringToSign; stringToSign << uppercase("POST") << "n" << contentmd5 << "n" << contenttype << "n" << date << "n"; stringToSign << getCanonicalizedHeaders(headers); stringToSign << getCanonicalizedResource(pathname, query); string sign hmacsha1(stringToSign.str(), sk); string token "ceb:" + ak + ":" + sign; return token; }

参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mysqllink 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 使用本地API 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的localinfile系统变量，开启MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。 如果CDM自动启用失败，请联系数据库管理员启用localinfile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQL数据库，由于RDS上的MySQL默认没有开启LOAD DATA功能，所以同时需要修改MySQL实例的参数组，将“localinfile”设置为“ON”，开启该功能。 说明 如果RDS上的“localinfile”参数组不可编辑，则说明是默认参数组，需要先创建一个新的参数组，再修改该参数值，并应用到RDS的MySQL实例上，具体操作请参见 是 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择管理Agent中已创建的Agent。 localinfile字符集 mysql通过localinfile导入数据时，可配置编码格式。 utf8 驱动版本 不同类型的关系数据库，需要适配不同的驱动。 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 说明 CDM作业默认打开了useCursorFetch开关，即JDBC连接器与关系型数据库的通信使用二进制协议。 开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 sslmoderequire 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ' 单次写入行数 指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。 100