活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
星辰TokenHub
  • 模型广场
  • 体验中心
  • 服务接入
星辰MaaS平台
  • 星辰MaaS智能体平台
  • 星辰大模型
大模型
  • glm-5.3-flash
  • GLM-5.2
  • deepseek-v4-pro-0813
  • deepseek-v4-flash-0731-new
  • qwen3.8-flash
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
应用托管
  • 天翼云DramaFlow2.0
  • 应用实例
科研助手
  • 开发机
  • 并行计算
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
智能体引擎
  • 智能体引擎
可信数据空间
  • 可信数据空间
公共算力服务
  • 裸金属
  • 定制裸金属
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入AI Store公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 智教云电脑
  • WPS 365 天翼云版
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)
  • 琥珀数据压缩归档服务
智慧教育
  • 智擎思政平台(个人版)
  • 智擎研学平台(个人专业版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      数据集成工具_相关内容
      • 配置MySQL源端参数
        本章节主要介绍配置MySQL源端参数。 作业中源连接为配置MySQL数据库连接,源端作业参数如下表所示。 表 MySQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 基本参数 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明 SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如select from table a; select from table b。 不支持with语句。 不支持注释 ,比如"",“/”。 不支持增删改操作,包括但不限于以下操作: load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 基本参数 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMAE 基本参数 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 说明 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 table 高级属性 抽取分区字段 “使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时,字段值不支持ASCII字符代码表之外的字符,不支持中文字符。 id 高级属性 Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 高级属性 分区字段是否允许空值 是否允许分区字段包含空值。 是 高级属性 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 高级属性 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 高级属性 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 高级属性 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围,将作业拆分为多少个子作业执行。 高级属性 按表分区抽取 从MySQL导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dbatabpartitions 和dbatabsubpartitions 的SELECT权限。 否 说明 MySQL到DWS的场景下,MySQL Binlog方式增量迁移数据功能的使用限制如下: 单个集群在当前版本中只支持一个MySQL Binlog方式的增量迁移任务。 1.当前版本不支持一次性删除、更新万条记录。 2.不支持整库迁移。 3.不支持DDL操作。 4.不支持事件(event)迁移。 5.当选择增量迁移时,源MySQL数据库的“binlogformat”需要设置为“ROW”。 6.当选择增量迁移时,增量迁移过程中如果源MySQL实例,出现因实例跨机迁移或跨机重建等导致的binlog文件ID乱序,可能导致增量迁移数据丢失。 7.当目的表存在主键时,如果重启CDM集群或全量迁移过程中产生增量数据,主键可能会出现重复数据,导致迁移失败。 8.如果目标数据库DWS存在重启行为,会导致迁移失败,需要重启CDM集群重新拉起迁移作业。 MySQL推荐配置如下:
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置MySQL源端参数
      • 文件格式介绍
        文件格式问题解决方法 1.数据库的数据导出到CSV文件,由于数据中含有分隔符逗号,造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法: a.指定字段分隔符 使用数据库中不存在的字符,或者是极少见的不可打印字符来作为字段分隔符。例如:可以在目的端指定“字段分隔符”为“%01”,这样导出的字段分隔符就是“u0001”,详情可见表上表 特殊字符对应的 URL 编码。 b.使用包围符 在目的端作业参数中开启“使用包围符”,这样数据库中如果字段包含了字段分隔符,在导出到CSV文件的时候,CDM会使用包围符将该字段括起来,使之作为一个字段的值写入CSV文件。 2.数据库的数据包含换行符 场景:使用CDM先将MySQL中的某张表(表的某个字段值中包含了换行符n)导出到CSV格式的文件中,然后再使用CDM将导出的CSV文件导入到MRS HBase,发现导出的CSV文件中出现了数据被截断的情况。 解决方法:指定换行符。 在使用CDM将MySQL的表数据导出到CSV文件时,指定目的端的换行符为“%01”(确保这个值不会出现在字段值中),这样导出的CSV文件中换行符就是“%01”。然后再使用CDM将CSV文件导入到MRS HBase时,指定源端的换行符为“%01”,这样就避免了数据被截断的问题。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        文件格式介绍
      • 配置常见关系数据库源端参数
        本章节主要介绍配置常见关系数据库源端参数。 常见关系数据库作为源端包括数据仓库服务(DWS)、云数据库 MySQL、云数据库 PostgreSQL、云数据库 SQLServer、FusionInsight LibrA、PostgreSQL、Microsoft SQL Server、SAP HANA。 从以上数据库导出数据时,源端作业参数如下表所示。 表 常见关系数据库作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明 SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如select from table a; select from table b。 不支持with语句。 不支持注释 ,比如"",“/”。 不支持增删改操作,包括但不限于以下操作: load data delete from alter table create table drop table into outfile select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置通配符(),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: 表示导出所有以“SCHEMA”开头的数据库。 表示导出所有以“SCHEMA”结尾的数据库。 表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 SCHEMAE 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 说明 表名支持配置通配符(),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如: 表示导出所有以“table”开头的表。 表示导出所有以“table”结尾的表。 表示表名中只要有“table”字符串,就全部导出。 table 抽取分区字段 “使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时,字段值不支持ASCII字符代码表之外的字符,不支持中文字符。 id Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 分区字段是否允许空值 是否允许分区字段包含空值。 是 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围,将作业拆分为多少个子作业执行。 按表分区抽取 从MySQL导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 仅支持源端数据源为云数据库PostgreSQL/云数据库MySQL时配置该参数。 数据库用户需要具有系统视图dbatabpartitions 和dbatabsubpartitions 的SELECT权限。 否
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置常见关系数据库源端参数
      • 配置Hive源端参数
        本章节主要介绍配置Hive源端参数。 作业中源连接为配置Hive连接时,源端作业参数如下表所示。 表 Hive作为源端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBLE 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式,如果没有使用WHERE条件做数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。 HDFS 分区过滤条件 读取方式为HDFS时,单击“显示高级属性”后显示此参数。 该参数表示抽取指定值的partition,可以配置多个值(空格分隔),也可以配置为字段取值范围,接受时间宏函数。 单/多值过滤: "{dateformat(yyyyMMdd, 1, DAY)} {dateformat(yyyyMMdd)}" 范围过滤: " {value} > {dateformat(yyyyMMdd, 7, DAY)} && {value} 18 and age < 60 说明 Hive作为数据源,CDM自动使用Hive数据分片文件进行数据分区。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置Hive源端参数
      • 添加防护对象
        后续配置 添加防护对象后,网站访问流量将经过WAF保护,您还需要完善以下防护配置,才能实现针对性的网站防护。 配置 说明 相关文档 Web基础防护 覆盖OWASP常见安全威胁,支持SQL注入、XSS、文件包含、远程命令执行、目录穿越、文件上传、CSRF、SSRF、命令注入、模板注入、XML实体注入等攻击检测和拦截。 Web基础防护 CC防护 CC防护支持默认防护策略及灵活的自定义防护策略。自定义策略支持依托精准访问控制规则进行特征识别,并根据访问源IP/ SESSION控制访问频率,恶意流量通过阻断、人机验证等处置手段有效缓解CC攻击。 CC防护 BOT防护 提供公开类型、协议特征、自定义会话特征等多种判定维度的防护策略,支持根据BOT会话行为特征设置BOT对抗策略,对BOT行为进行处理,有效防护搜索引擎、扫描器、脚本工具等爬虫攻击。 BOT防护 精准访问控制 支持基于IP、URL、Referer、UserAgent等请求特征进行多维度组合,定义访问匹配条件过滤访问请求,实现针对性的攻击阻断。 精准访问控制 IP黑白名单 支持添加始终拦截与始终放行的黑白名单IP/IP地址段,增强防御准确性。 IP黑白名单 地域访问控制 支持针对地理位置的黑名单封禁,可指定需要封禁的国家、地区,阻断该区域的来源IP的访问。 地域访问控制 防敏感信息泄露 支持对网站返回的内容进行过滤(拦截、脱敏展示),过滤内容包括敏感信息、关键字和响应码。 防敏感信息泄露 网页防篡改 通过缓存页面和锁定访问请求,可避免页面被恶意篡改而带来的负面影响,对重点静态页面进行保护。 网页防篡改 Cookie防篡改 通过对Cookie中的字段增加完整性校验保护,WAF会新增一个Cookie字段用于篡改校验。 Cookie防篡改 隐私屏蔽 通过设置隐私屏蔽规则,可屏蔽用户隐私信息,避免用户隐私信息出现在系统记录的日志中。 隐私屏蔽
        来自:
        帮助文档
        Web应用防火墙(原生版)
        用户指南
        接入WAF
        网站接入WAF防护(独享型接入)
        添加防护对象
      • 云主机带宽占用高怎么办
        本文为您介绍云主机带宽占用高的解决方法。 操作场景 如果云主机操作卡顿或无法连接,可能是由于云主机带宽占用过高导致的,下面内容介绍了排查云主机带宽占用高的方法及相应的解决方案。 Windows操作系统云主机 1. 首先登录云主机,以Windows server操作系统云主机为例。 2. 在云主机中打开“运行”窗口,输入“perfmon res”,打开资源监视器。 3. 在“资源监视器”中,单击“CPU”或“网络”,查看CPU占用率或带宽使用情况。 4. 在监视器中查看带宽占用率较高的进程名,一般会有以下情况。 1. 如果消耗带宽较多的进程为业务进程,表示云主机规格不满足业务运行需求,建议变更云主机的配置。 2. 如果消耗带宽较多的进程为异常进程,可能是病毒或木马导致,建议自行终止进程或者使用安全软件进行查杀。必要时候建议重装系统确保系统正常运行。 Linux操作系统云主机 1. 通过管理控制台登录云主机,以CentOS 7.6 操作系统云主机为例。 2. 执行以下命令安装Linux流量监控工具iftop。 plaintext yum install iftop y 3. 执行如下命令,查看导致流量较高的端口与消耗流量的IP,以eth0端口为例。 plaintext iftop i eth0 P 4. 执行如下命令查看端口对应的进程,以38366端口为例。 plaintext netstat tunlp grep 38366 TX表示发送流量,RX表示接收流量,TOTAL表示总流量。 cum:表示第一列各种情况的总流量。 peak:表示第一列各种情况的流量峰值。 rates:表示第一列各种情况2秒、10秒、40秒内的平均流量。 5. 查看带宽占用率较高的进程名。 1. 如果消耗带宽较多的进程为业务进程,表示云主机规格不满足业务运行需求,建议变更云主机的配置。 2. 如果消耗带宽较多的进程为异常进程,可能是病毒或木马导致,建议自行终止进程或者使用安全软件进行查杀。必要时候建议重装系统确保系统正常运行。
        来自:
        帮助文档
        弹性云主机 ECS
        故障修复
        高频故障案例
        云主机带宽占用高怎么办
      • 基于DNS的服务发现
        本文为您介绍基于DNS的服务发现。 本文主要介绍Kubernetes集群中DNS域名解析原理和在Serverless集群中安装DNS服务器CoreDNS。 背景信息 DNS为Kubernetes集群内的工作负载提供域名解析服务。CoreDNS是Kubernetes集群中负责DNS解析的组件,能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集,在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样,CoreDNS项目由 CNCF托管,关于CoreDNS的更多信息,可浏览CoreDNS的官网。Serverless集群使用CoreDNS负责集群的服务发现,您可以根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 前提条件 确保您已经创建Serverless集群,具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。 操作步骤 步骤一:安装CoreDNS插件 1. 登录容器服务控制台,在左侧菜单栏选择“集群”。 2. 在集群列表页面,选择目标集群名称,然后在左侧菜单栏选择“插件”下的“插件市场”,安装CoreDNS插件。 3. 提交“安装插件”,稍后会在集群中创建2个coredns pod,集群会根据Pod内的配置,将域名请求发往集群DNS服务器获取结果。 4. 查看coredns是否正常运行。 步骤二:创建Nginx工作负载,以及service 1. 创建无状态工作负载,参考如下: apiVersion: "apps/v1" kind: "Deployment" metadata: name: "nginxdeploy" namespace: "default" spec: replicas: 2 selector: matchLabels: name: "nginxdeploy" template: metadata: labels: name: "nginxdeploy" source:"CCSE" spec: containers: image: "registryvpccrshuadong1.ctyun.cn/opensource/nginx:1.25alpineamd64" imagePullPolicy: "IfNotPresent" name: "nginx" 2. 查看nginx pod是否正常运行,从eci控制台进入pod容器内部。 kubectl get po ndefault grep nginx 查看Pod内的DNS域名解析配置文件为/etc/resolv.conf,文件内容如下: nameserver 10.96.0.10 search kubesystem.svc.cluster.local svc.cluster.local cluster.local options ndots:5 3. 创建service,参考如下: apiVersion: v1 kind: Service metadata: name: nginxdeploy namespace: default spec: ports: name: tcp80 port: 30002 protocol: TCP targetPort: 80 selector: name: nginxdeploy type: ClusterIP
        来自:
        帮助文档
        云容器引擎 Serverless版
        最佳实践
        基于DNS的服务发现
      • PHP客户端
        Predis 介绍使用同一VPC内弹性云主机ECS上的Predis连接Redis的方法。更多的客户端的使用方法请参考Redis客户端。 前提条件 已成功申请Redis实例,且状态为“运行中”。 已创建弹性云主机,创建弹性云主机的方法,请参见《弹性云主机用户指南》。 如果弹性云主机为Linux系统,该弹性云主机必须已经安装php编译环境。 操作步骤 步骤 1 查看并获取待连接Redis实例的IP地址和端口。 具体步骤请参见查看实例信息。 步骤 2 登录弹性云主机。 步骤 3 安装php开发包与命令行工具。执行如下命令,使用yum方式直接安装。 yum install phpdevel phpcommon phpcli 步骤 4 安装完后可查看版本号,确认成功安装。 php version 步骤 5 将Predis包下载到/usr/share/php目录下。 1. 通过以下命令下载Predis源文件。 wget 说明 仅以该版本作为示例,您还可以去redis官网或者php官网下载其他版本的predis客户端。 2. 解压Predis源文件包。 tar zxvf predis1.1.10.tar.gz 3. 将解压好的predis目录重命名为“predis”,并移动到/usr/share/php/下。 mv predis1.1.10 predis 步骤 6 编辑一个文件连接redis。 使用redis.php文件连接Redis单机/主备/Proxy集群示例: 'tcp' , 'host' > '{redisinstanceaddress}' , 'port' > {port} , 'password' > '{password}' ]); $client>set('foo', 'bar'); $value $client>get('foo'); echo $value; ?> 使用rediscluster.php连接Redis Cluster集群代码示例: 'redis'); $client new PredisClient($servers, $options); $client>set('foo', 'bar'); $value $client>get('foo'); echo $value; ?> 其中, {redisinstanceaddress} 为Redis实例真实的IP地址, {port} 为Redis实例真实的端口。IP地址和端口获取见步骤1,请按实际情况修改后执行。 {password} 为创建Redis实例时自定义的密码,请按实际情况修改后执行。如果免密访问,请将password行去掉。 步骤 7 执行php redis.php连接Redis实例。
        来自:
        帮助文档
        分布式缓存服务Redis版
        快速入门
        连接实例
        多语言连接
        PHP客户端
      • 添加防护对象
        后续配置 添加防护对象后,网站访问流量将经过WAF保护,您还需要完善以下防护配置,才能实现针对性的网站防护。 配置 说明 相关文档 Web基础防护 覆盖OWASP常见安全威胁,支持SQL注入、XSS、文件包含、远程命令执行、目录穿越、文件上传、CSRF、SSRF、命令注入、模板注入、XML实体注入等攻击检测和拦截。 Web基础防护 CC防护 CC防护支持默认防护策略及灵活的自定义防护策略。自定义策略支持依托精准访问控制规则进行特征识别,并根据访问源IP/ SESSION控制访问频率,恶意流量通过阻断、人机验证等处置手段有效缓解CC攻击。 CC防护 BOT防护 提供公开类型、协议特征、自定义会话特征等多种判定维度的防护策略,支持根据BOT会话行为特征设置BOT对抗策略,对BOT行为进行处理,有效防护搜索引擎、扫描器、脚本工具等爬虫攻击。 BOT防护 精准访问控制 支持基于IP、URL、Referer、UserAgent等请求特征进行多维度组合,定义访问匹配条件过滤访问请求,实现针对性的攻击阻断。 精准访问控制 IP黑白名单 支持添加始终拦截与始终放行的黑白名单IP/IP地址段,增强防御准确性。 IP黑白名单 地域访问控制 支持针对地理位置的黑名单封禁,可指定需要封禁的国家、地区,阻断该区域的来源IP的访问。 地域访问控制 防敏感信息泄露 支持对网站返回的内容进行过滤(拦截、脱敏展示),过滤内容包括敏感信息、关键字和响应码。 防敏感信息泄露 网页防篡改 通过缓存页面和锁定访问请求,可避免页面被恶意篡改而带来的负面影响,对重点静态页面进行保护。 网页防篡改 Cookie防篡改 通过对Cookie中的字段增加完整性校验保护,WAF会新增一个Cookie字段用于篡改校验。 Cookie防篡改 隐私屏蔽 通过设置隐私屏蔽规则,可屏蔽用户隐私信息,避免用户隐私信息出现在系统记录的日志中。 隐私屏蔽
        来自:
        帮助文档
        Web应用防火墙(原生版)
        用户指南
        接入WAF
        网站接入WAF防护(域名接入)
        添加防护对象
      • 生产消费
        本节介绍了编译工程生产消费的主要内容点,包括引入依赖、绑定BindingKey、生产消息和消费消息。 前提条件 创建分布式消息服务RabbitMQ实例。 操作步骤 RabbitMQ是一个开源的消息队列中间件,支持生产者和消费者之间的异步通信。在上述资源准备完成后,接下来需要编译工程生产消费,主要分以下几个步骤: 1、编写生产者代码:编写一个生产者程序。该程序将连接到RabbitMQ服务器,并将消息发送到队列中。 2、编写消费者代码:编写一个消费者程序。该程序将连接到RabbitMQ服务器,并从队列中接收消息。 3、运行生产者和消费者:运行生产者程序,它将发送消息到队列中。然后运行消费者程序,它将从队列中接收并处理消息。 4、验证结果:检查生产者和消费者程序的输出,确保消息被正确发送和接收。 引入依赖 在使用RabbitMQ时,你需要在你的项目中引入相应的依赖。具体的依赖项可能会因你的项目和需求而有所不同。在使用RabbitMQ之前,请确保查阅官方文档以获取最新的依赖项和使用说明。 以Java编程语言为例,可以使用RabbitMQ的Java客户端库。你可以在Maven或Gradle构建工具中添加以下依赖项: com.rabbitmq amqpclient 5.7.0 也可以通过下载JAR包来引入依赖。 绑定BindingKey 在RabbitMQ中,绑定键(Binding Key)是用于绑定交换机(Exchange)和队列(Queue)的关键字。当一个消息被发送到交换机时,交换机会根据绑定键将消息路由到相应的队列中。 绑定键是在创建绑定(Binding)时指定的,它定义了消息应该如何被路由到队列。绑定键通常与消息的属性或内容进行匹配,以确定消息应该发送到哪个队列。 绑定键可以具有不同的形式,取决于使用的交换机类型。以下是一些常见的绑定键形式: 直接匹配(Direct Match):绑定键与消息的路由键(Routing Key)完全匹配时,消息会被路由到相应的队列。 通配符匹配(Wildcard Match):绑定键可以使用通配符进行模式匹配。常见的通配符有和
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        快速入门
        生产消费
      • 基于Serverless集群快速部署Stable Diffusion应用
        本文介绍如何基于Serverless集群快速部署Stable Diffusion应用。 基于 Serverless集群,你可以通过控制台或 kubectl 两种方式快速部署 Stable Diffusion 应用。本指南将带你完成部署,助你轻松通过外部端点访问 Stable Diffusion,开启 AIGC 文生图之旅。 前提条件 确保您已经成功创建了Serverless集群,并且能通过公网访问集群。 确保Serverless集群所在VPC已经开启公网NAT网关,Stable Diffusion 应用能访问公网。 背景信息 Stable Diffusion 是一种强大的、开源的潜在文生图扩散模型 (Latent TexttoImage Diffusion Model)。它由 Stability AI 公司及其合作者于 2022 年发布,并迅速成为人工智能生成内容 (AIGC) 领域中最具代表性的模型之一。其核心功能是根据用户提供的文本描述(Prompt),通过一个复杂的算法过程,生成与之相符的高质量、细节丰富的图像。 注意 天翼云不对第三方模型“Stable Diffusion”的合法性、安全性、准确性进行任何保证,天翼云不对由此引发的任何损害承担责任。 您应自觉遵守第三方模型“Stable Diffusion”的用户协议、使用规范和相关法律法规,并就使用第三方模型的合法性、合规性自行承担相关责任。 操作步骤 步骤一:创建 Stable Diffusion应用 您可以通过控制台部署Stable Diffusion应用,也可以通过kubectl工具连接sce集群来创建Stable Diffusion应用。 1. 登录管理控制台,在左侧菜单栏选择“集群”。 2. 在集群列表页面,选择目标集群名称,然后在左侧菜单栏,选择“工作负载 ”下的“无状态”,选择“创建Deployment”。 3. 在创建Deployment页面,填写Deployment名称、副本数量等。 4. 在实例内容器项填写容器名称、镜像、镜像版本、cpu/内存限制等。 其中Stable Diffusion镜像要提前上传到容器镜像服务实例,点击选择镜像选择Stable Diffusion镜像即可。 5. 开启“容器健康检查”,勾选“就绪检查”。 6. 在服务配置项,创建服务,选择负载均衡类型,公网访问,配置容器端口、服务端口,点击“确定”。 7. 点击创建工作负载,等待Pod状态变为Running,Stable Diffusion应用部署完成。
        来自:
        帮助文档
        云容器引擎 Serverless版
        快速入门
        基于Serverless集群快速部署Stable Diffusion应用
      • 路由设置
        本文向您介绍企业版VPN中路由设置的常见问题。 如何理解VPN连接中的对端网关和对端子网? 对端网关和对端子网是两个相对的概念,在建立VPN连接时,从云的角度出发,VPC网络就是本地子网,创建的VPN网关就是本地网关,与之对接的用户侧网络就是对端子网,用户侧的网关就是对端网关。 对端网关IP就是用户侧网关的公网IP,对端子网指需要和VPC子网互联的子网。 Console界面在哪添加VPN远端路由? 云端在VPN连接创建时会自动下发到达远端子网的路由,无需手动配置。 ECS主机多网卡是否需要添加去往线下网络的路由? 如果客户使用主网卡与线下网络建立了VPN,不需要添加路由。 如果客户使用非主网卡与线下网络建立了VPN,需要添加去往线下网段的路由指向非主网卡的网关。 什么是NQA 什么是NQA 网络质量分析(Network Quality Analysis,NQA)是一种实时的网络性能探测和统计技术,可以对响应时间、网络抖动、丢包率等网络指标进行统计。NQA能够实时监视网络服务质量,在网络发生故障时进行有效的故障诊断和定位。 为什么需要NQA 随着运营商增值业务的开展,用户和运营商对QoS(Quality of Service)的相关要求越来越高,特别是在传统的IP网络承载语音和视频业务后,运营商与客户之间签订SLA(Service Level Agreement)成为普遍现象。 为了让用户看到承诺的带宽是否达到需求,运营商需要提供相关的时延、抖动、丢包率等相关的统计参数,以及时了解网络的性能状况。传统的网络性能分析方法(如Ping、Tracert等)已经不能满足用户对业务多样性和监测实时性的要求。NQA可以实现对网络运行状况的准确测试,输出统计信息。NQA可以监测网络上运行的多种协议的性能,使网络运营商能够实时采集到各种网络运行指标,例如:HTTP的总时延、TCP连接时延、DNS解析时延、文件传输速率、FTP连接时延、DNS解析错误率等。通过对这些指标进行控制,网络运营商可以为用户提供不同等级的网络服务。同时,NQA也是网络故障诊断和定位的有效工具。
        来自:
        帮助文档
        VPN连接
        常见问题
        企业版VPN
        路由设置
      • 配置Oracle源端参数
        本章节主要介绍配置Oracle源端参数。 作业中源连接为配置Oracle数据库连接,源端作业参数如下表所示。 表 Oracle作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明 SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如select from table a; select from table b。 不支持with语句。 不支持注释 ,比如"",“/”。 不支持增删改操作,包括但不限于以下操作: load data delete from alter table create table drop table l into outfile select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置通配符(),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: 表示导出所有以“SCHEMA”开头的数据库。 表示导出所有以“SCHEMA”结尾的数据库。 表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 SCHEMAE 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 说明 表名支持配置通配符(),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。 例如: 表示导出所有以“table”开头的表。 表示导出所有以“table”结尾的表。 表示表名中只要有“table”字符串,就全部导出。 table 高级属性 抽取分区字段 “使用SQL语句”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面,用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型,建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时,字段值不支持ASCII字符代码表之外的字符,不支持中文字符。 id Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 分区字段是否允许空值 是否允许分区字段包含空值。 是 按表分区抽取 从Oracle导出数据时,支持从分区表的各个分区并行抽取数据。启用该功能时,可以通过下面的“表分区”参数指定具体的Oracle表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dbatabpartitions 和dbatabsubpartitions 的SELECT权限。 否 表分区 输入需要迁移数据的Oracle表分区,多个分区以&分隔,不填则迁移所有分区。 如果有子分区,以“分区.子分区”的格式填写,例如“P2.SUBP1”。 P0&P1&P2.SUBP1&P2.SUBP3 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围,将作业拆分为多少个子作业执行。 说明 Oracle作为源端时,如果未配置“抽取分区字段”或者“按表分区抽取”这2个参数,CDM自动使用ROWID进行数据分区。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置Oracle源端参数
      • 配置MySQL数据库连接
        本章节主要介绍配置数据治理中心的MySQL数据库连接功能。 连接MySQL数据库连接时,相关参数详见下表:MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysqllink 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 使用本地API 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的localinfile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。 如果CDM自动启用失败,请联系数据库管理员启用localinfile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQL数据库,由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“localinfile”设置为“ON”,开启该功能。 说明 如果RDS上的“localinfile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上,具体操作请参见《分布式关系型数据库》用户指南。 是 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”,选择管理Agent中已创建的Agent。 localinfile字符集 mysql通过localinfile导入数据时,可配置编码格式。 utf8 驱动版本 不同类型的关系数据库,需要适配不同的驱动。 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 说明 CDM作业默认打开了useCursorFetch开关,即JDBC连接器与关系型数据库的通信使用二进制协议。 开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 sslmoderequire 引用符号 可选参数,连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。 ' 单次写入行数 指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。 100
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理连接
        配置MySQL数据库连接
      • Oracle数据迁移到DWS
        创建DWS连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 2.连接器类型选择“数据仓库服务(DWS)”后单击“下一步”配置DWS连接参数,必填参数如下表“DWS连接参数”所示,可选参数保持默认即可。 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”,选择连接Agent中已创建的Agent。 导入模式 COPY模式:将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS,只能使用COPY模式。 COPY 3.单击“保存”完成创建连接。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从Oracle导出数据到DWS的任务。 详见下图:创建Oracle到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称:选择创建Oracle连接中的“oraclelink”。 −模式或表空间:待迁移数据的数据库名称。 −表名:待迁移数据的表名。 −高级属性里的可选参数一般情况下保持默认既可,详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称:选择上述 创建DWS连接中的连接“dwslink”。 −模式或表空间:选择待写入数据的DWS数据库。 −自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 −表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 −存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。 −扩大字符字段长度:当目的端和源端数据编码格式不一样时,自动建表的字符字段长度可能不够用,配置此选项后CDM自动建表时会将字符字段扩大3倍。 −导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如下图“表到表的字段映射”所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 单击,可批量映射字段。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。可适当调大参数,提升迁移效率。 是否写入脏数据:表到表的迁移容易出现脏数据,建议配置脏数据归档。 作业运行完是否删除:这里保持默认值“不删除”。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 说明 如遇目的端写太久导致迁移超时,请减少Oracle连接器中“一次请求行数”参数值的设置。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        Oracle数据迁移到DWS
      • 配置HDFS目的端参数
        本章节主要介绍配置HDFS目的端参数。 作业中目的连接为配置HDFS连接时,即导入数据到以下数据源时,目的端作业参数如下表所示。 表 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 /user/output 文件格式 写入后的文件格式,可选择以下文件格式: CSV格式:按CSV格式写入,适用于数据表到文件的迁移。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复,可选择如下处理方式: 替换重复文件 跳过重复文件 停止任务 停止任务 压缩格式 写入文件后,选择对文件的压缩格式。支持以下压缩格式: NONE:不压缩。 DEFLATE:压缩为DEFLATE格式。 GZIP:压缩为GZIP格式。 BZIP2:压缩为BZIP2格式。 LZ4:压缩为LZ4格式。 SNAPPY:压缩为SNAPPY格式。 SNAPPY 换行符 文件中的换行符,默认自动识别“n”、“r”或“rn”。“文件格式”为“二进制格式”时该参数值无效。 n 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 使用包围符 “文件格式”为“CSV格式”,才有该参数,用于将数据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello,world,使用包围符后,导出到CSV文件的时候数据为"hello,world"。 否 首行为标题行 在迁移表到CSV文件时,CDM默认是不迁移表的标题行,如果该参数选择“是”,CDM在才会将表的标题行数据写入文件。 否 写入到临时文件 将二进制文件先写入到临时文件(临时文件以“.tmp”作为后缀),迁移成功后,再进行rename或move操作,在目的端恢复文件。 否 作业成功标识文件 当作业执行成功时,会在写入目录下生成一个标识文件,文件名由用户指定。不指定时默认关闭该功能。 finish.txt 自定义目录层次 支持用户自定义文件的目录层次。例如:【表名】/【年】/【月】/【日】/【数据文件名】. csv 目录层次 指定文件的目录层次,支持时间宏(时间格式为yyyy/MM/dd)。不填默认为不带层次目录。例如:${dateformat(yyyy/MM/dd, 1, DAY)} 加密方式 “文件格式”选择“二进制格式”时,该参数才显示。 选择是否对写入的数据进行加密: 无:不加密,直接写入数据。 AES256GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES256GCM(NoPadding)。该参数在目的端为加密,在源端为解密。 AES256GCM 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES256GCM”时显示该参数,初始化向量由长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”,解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 说明 HDFS文件编码只能为“UTF8”,故HDFS不支持设置文件编码类型。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置HDFS目的端参数
      • 配置DLI源端参数
        参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 cardetail 分区 导入前清空数据,如果设置为true时,呈现此参数。 表示分区信息。 year2020,locationsun
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置DLI源端参数
      • MySQL数据迁移到DWS
        创建DWS连接 1.在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面。 2.连接器类型选择“数据仓库服务(DWS)”后单击“下一步”配置DWS连接参数,必填参数如下表“DWS连接参数”所示,可选参数保持默认即可。 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 dbdemo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”,选择连接Agent中已创建的Agent。 导入模式 COPY模式:将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS,只能使用COPY模式。 COPY 3.单击“保存”完成创建连接。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到DWS的任务。 详见下图:创建MySQL到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称:选择上述 创建MySQL连接 中的“mysqllink”。 −使用SQL语句:否。 −模式或表空间:待抽取数据的模式或表空间名称。 −表名:要抽取的表名。 −其他可选参数一般情况下保持默认即可,详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称:选择创建DWS连接中的连接“dwslink”。 −模式或表空间:选择待写入数据的DWS数据库。 −自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 −表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 −是否压缩:DWS提供的压缩数据能力,如果选择“是”,将进行高级别压缩,CDM提供了适用I/O读写量大,CPU富足(计算相对小)的压缩场景 −存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。 −扩大字符字段长度:当目的端和源端数据编码格式不一样时,自动建表的字符字段长度可能不够用,配置此选项后CDM自动建表时会将字符字段扩大3倍。 −导入前清空数据:任务启动前,是否清除目的表中数据,用户可根据实际需要选择。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如下图“表到表的字段映射”所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 单击,可批量映射字段。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。可适当调大参数,提升迁移效率。 是否写入脏数据:表到表的迁移容易出现脏数据,建议配置脏数据归档。 作业运行完是否删除:这里保持默认值“不删除”。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        MySQL数据迁移到DWS
      • 会中成员管理
        功能 适用角色 操作步骤 会中改名(本人) 所有参会者 1. 进入会议,点击底部工具栏“成员”。 2. 在参会者列表中找到自己,鼠标悬停后点击“会中改名”。 3. 输入新的昵称,点击“确定”保存。 会中改名(他人) 主持人,联席主持人 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到目标用户,鼠标悬停后点击“更多”。 3. 选择“修改会中名称”,输入新的昵称并点击“确定”。 移至等候室 主持人,联席主持人 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到目标用户,鼠标悬停后点击“更多”。 3. 选择“移至等候室”完成操作。如果参会者的客户端版本过低,无法将其移至等候室,只能移出会议。 移出会议 主持人,联席主持人 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到目标用户,鼠标悬停后点击“更多”。 3. 选择“移出会议”完成操作。 主持人转让 主持人 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到要转让的成员,鼠标悬停后点击“更多”。 3. 点击“设为主持人”,转让立即生效。 主持人回收 会议创建者 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到被转让主持人的成员,鼠标悬停后点击“更多”。 3. 点击“回收主持人”,权限回收。 静音/解除静音(本人) 所有参会者 1. 进入会议,在底部工具栏点击“麦克风”图标。 2. 点击一次为静音,再次点击为解除静音。 静音/解除静音(他人) 主持人,联席主持人 1. 点击底部工具栏“成员”。 2. 找到目标用户,鼠标进行悬停。 3. 选择“静音”或“解除静音”(解除静音需对方同意)。 设置联席主持人 主持人 1. 点击底部工具栏“成员”。 2. 找到目标用户,鼠标悬停后点击“更多”。 3. 选择“设为联席主持人”,立即生效。 回收联席主持人 主持人 1. 点击底部工具栏“成员”。 2. 找到已是联席主持人的用户,鼠标悬停后点击“更多”。 3. 选择“回收联席主持人”,权限回收。 邀请打开视频 主持人,联席主持人 1. 点击底部工具栏“成员”。 2. 找到关闭摄像头的用户,鼠标悬停后点击“更多”。 3. 选择“邀请打开视频”(邀请打开视频需对方同意)。 关闭视频 主持人,联席主持人 1. 点击底部工具栏“成员”。 2. 找到打开摄像头的用户,鼠标悬停后点击“更多”。 3. 选择“关闭视频”,立即生效。 停止共享 主持人,联席主持人 1. 点击底部工具栏“共享屏幕”右侧的上三角箭头按钮。 2. 从上拉菜单中选择“停止当前的共享”。 3. 确认操作后,当前共享会立即终止。
        来自:
        帮助文档
        AOne会议
        用户指南
        会中成员管理
      • 安装须知
        本节主要介绍了GPU加速型实例安装Tesla驱动及CUDA工具包的安装须知。 云主机已绑定弹性公网IP。 云主机未安装Tesla驱动以及CUDA工具包。 说明 从NVIDIA官网下载CUDA工具包进行安装,通常会同时自动安装一个和CUDA版本匹配的Tesla驱动,免去用户单独安装Tesla驱动的步骤。 但是如果云主机用作生产用途,请务必先单独从NVIDIA官网下载并安装匹配的Tesla驱动,然后在再安装CUDA工具包。 如果云主机已经安装了Tesla驱动,请检查当前驱动版本是否可用。如需安装新版本的驱动请卸载旧版本的Tesla驱动,避免因驱动程序冲突导致安装失败。 安装指引: Tesla驱动及CUDA工具包获取方式 安装NVIDIA驱动 Linux操作系统云主机安装Tesla驱动 Windows操作系统云主机安装Tesla驱动 安装CUDA驱动 Linux操作系统安装CUDA工具包 Windows操作系统安装CUDA工具包
        来自:
        帮助文档
        弹性云主机 ECS
        用户指南
        实例
        安装驱动和工具包(可选)
        GPU加速型实例安装Tesla驱动及CUDA工具包
        安装须知
      • MySQL数据迁移到OBS
        创建OBS连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 详见下图:选择连接器类型 2.连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到OBS的任务。 详见下图: 创建MySQL到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称:选择创建MySQL连接中的“mysqllink”。 −使用SQL语句:否。 −模式或表空间:待抽取数据的模式或表空间名称。 −表名:要抽取的表名。 −其他可选参数一般情况下保持默认即可,详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称:选择创建OBS连接中的“obslink”。 −桶名:待迁移数据的桶。 −写入目录:写入数据到OBS服务器的目录。 −文件格式:迁移数据表到文件时,文件格式选择“CSV格式”。 −高级属性里的可选参数一般情况下保持默认既可,详细说明请参见 配置OBS目的端参数。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如下图“表到文件的字段映射”所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。CDM支持并发抽取MySQL数据,如果源表配置了索引,可调大抽取并发数提升迁移速率。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据,建议配置写入脏数据。 作业运行完是否删除:这里保持默认值“不删除”。根据使用场景,也可配置为“删除”,防止迁移作业堆积。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        MySQL数据迁移到OBS
      • 配置OBS目的端参数
        本章节主要介绍配置OBS目的端参数。 作业中目的连接为配置OBS连接时,即导入数据到云服务OBS时,目的端作业参数如下表所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket2 基本参数 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 directory/ 基本参数 文件格式 写入后的文件格式,可选择以下文件格式: CSV格式:按CSV格式写入,适用于数据表到文件的迁移。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 基本参数 重复文件处理方式 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复,可选择如下处理方式: 替换重复文件 跳过重复文件 停止任务 跳过重复文件 高级属性 加密方式 选择是否对上传的数据进行加密,以及加密方式: 无:不加密,直接写入数据。 KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 AES256GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES256GCM(NoPadding)。该参数在目的端为加密,在源端为解密。 KMS 高级属性 KMS ID 写入文件时加密使用的密钥,“加密方式”选择“KMS”时显示该参数。单击输入框后面的,可以直接选择在数据加密服务中已创建好的KMS密钥。 当使用与CDM集群相同项目下的KMS密钥时,不需要修改下面的“项目ID”参数。 当用户使用其它项目下的KMS密钥时,需要修改下面的“项目ID”参数。 53440ccb3e73470098b571ff5476e621 高级属性 项目ID KMS ID所属的项目ID,该参数默认值为当前CDM集群所属的项目ID。 当“KMS ID”与CDM集群在同一个项目下时,这里的“项目ID”保持默认即可。 当“KMS ID”使用的是其它项目下的KMS ID时,这里需要修改为KMS所属的项目ID。 9bd7c4bd54e5417198f9591bef07ae67 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数,初始化向量由长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”,解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 复制ContentType属性 “文件格式”为“二进制”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的ContentType属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置ContentType属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。 否 高级属性 换行符 文件中的换行符,默认自动识别“n”、“r”或“rn”。“文件格式”为“二进制格式”时该参数值无效。 n 高级属性 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 高级属性 写入文件大小 源端为数据库时该参数才显示,支持按大小分成多个文件存储,避免导出的文件过大,单位为MB。 1024 高级属性 校验MD5值 使用“二进制格式”传输文件时,才能校验MD5值。选择校验MD5值时,无法使用KMS加密。 计算源文件的MD5值,并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件,则直接读取源端的MD5文件与OBS返回的MD5值进行校验。 是 高级属性 记录校验结果 当选择校验MD5值时,可以选择是否记录校验结果。 是 高级属性 校验结果写入连接 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶下。 obslink 高级属性 OBS桶 写入MD5校验结果的OBS桶。 cdm05 高级属性 写入目录 写入MD5校验结果的目录。 /md5/ 高级属性 编码类型 文件编码类型,例如:“UTF8”或“GBK”。“文件格式”为“二进制格式”时该参数值无效。 GBK 高级属性 使用包围符 “文件格式”为“CSV格式”,才有该参数,用于将数据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello,world,使用包围符后,导出到CSV文件的时候数据为"hello,world"。 否 高级属性 首行为标题行 从关系型数据库导出数据到OBS,“文件格式”为“CSV格式”时,才有该参数。 在迁移表到CSV文件时,CDM默认是不迁移表的标题行,如果该参数选择“是”,CDM在才会将表的标题行数据写入文件。 否 高级属性 作业成功标识文件 当作业执行成功时,会在写入目录下生成一个标识文件,文件名由用户指定。不指定时默认关闭该功能。 finish.txt 高级属性 自定义目录层次 选择“是”时,支持迁移后的文件按照自定义的目录存储。即只迁移文件,不迁移文件所归属的目录。 是 高级属性 目录层次 自定义迁移后文件的存储路径,支持时间宏变量。 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 高级属性 自定义文件名 从关系型数据库导出数据到OBS,且“文件格式”为“CSV格式”时,才有该参数。 用户可以通过该参数自定义OBS端生成的文件名,支持以下自定义方式: 字符串,支持特殊字符。例如“cdm
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置OBS目的端参数
      • 配置DDS目的端参数
        本章节主要介绍配置DDS目的端参数。 作业中目的连接为配置DDS连接,即导入数据到文档数据库服务(DDS)时,目的端作业参数如下表所示。 表 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mongodb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的帐号是否有元数据查询的权限。 COLLECTION
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业目的端参数
        配置DDS目的端参数
      • 通过LVM创建逻辑卷
        本实践将为您介绍如何通过LVM创建逻辑卷。 操作场景 当LVM管理工具安装成功之后,用户可以通过LVM来创建逻辑卷。通过LVM架构图,可以了解到在这一层需要完成三个步骤: 创建物理卷(Physical Volumes):将云硬盘分区或整个云硬盘设备初始化为物理卷。 创建卷组(Volume Group):将一个或多个物理卷添加到卷组中。 创建逻辑卷(Logical Volumes):从卷组中划分逻辑卷。 本指导假设您前期已经在操作系统为“CentOS 7.6 64bit”的弹性云主机上挂载了两个大小为10GB的数据盘。 操作步骤 1. 以root用户登录云主机,登录成功之后如图: 2. 执行命令 fdisk l grep /dev/vd grep v vda,查看云主机中的云硬盘并记录设备名称。回显如下图所示: 如图所示,当前云主机中已经挂载两个数据盘,分别为/dev/vdb和/dev/vdc,容量为10GB。 3. 查看之后,请执行 pvcreate命令进行物理卷创建的工作,pvcreate的参数是设备名称。此处执行命令 pvcreate /dev/vdb /dev/vdc,回显信息如图所示: 如图所示,物理卷/dev/vdb与物理卷/dev/vdc已经创建成功。 4. 执行 pvdisplay命令来验证物理卷/dev/vdb与物理卷/dev/vdc的创建信息,具体回显如图所示: 5. 物理卷创建成功,接下来创建卷组,卷组通常使用 vgcreate命令创建,请执行 vgcreate vgdata /dev/vdb /dev/vdc。其中vgdata为创建的卷组名,/dev/vdb 、/dev/vdc为物理设备名,具体回显信息如下图: 如图,卷组“vgdata”已创建成功。 6. 执行 vgdisplay命令验证卷组“vgdata”的具体信息,具体回显如图所示: 7. 最后创建逻辑卷,执行命令为:lvcreate L 15GB n lvdata vgdata,此命令的格式为:lvcreate L 逻辑卷大小 n 逻辑卷名称 卷组名称,具体回显信息如下图所示: 说明 具体参数说明如下: 1. 逻辑卷大小:该值应小于所创建卷组剩余可用空间,容量单位可以选择“MB”或“GB”,在此例中创建15GB的逻辑卷大小。 2. 逻辑卷名称:可自定义,此处以lvdata为例。 3. 卷组名称:已经创建的卷组的名称。 8. 执行 lvdisplay命令来验证逻辑卷的创建信息,验证是否创建成功,具体回显信息如下图所示: 至此,逻辑卷创建成功。
        来自:
        帮助文档
        云硬盘 EVS
        最佳实践
        使用LVM管理云硬盘
        实施步骤
        通过LVM创建逻辑卷
      • C++ SDK
        开源CloudEvents 未提供C++SDK,但您可以通过发送一个http请求的形式来完成发送事件。 前提条件 1. 您的运行环境已安装libcurl、boost依赖库。支持c++11及以上,若不支持修改对应代码。 2. 下载eventBridgecppsdk.zip,查看示例代码。 签名生成工具 cpp include "EventSignHelper.h" include include include "crypt/hmac.h" include "crypt/sha1.h" include include using namespace std; string get(map m, const string &key) { string value; if (m.find(key) ! m.end()) { value m[key]; } return value; } string implode(const vector &vec, const string &glue) { string res; int n 0; for (const auto &str : vec) { if (n 0) { res str; } else { res + glue + str; } n++; } return res; } string uppercase(string str) { transform(str.begin(), str.end(), str.begin(), [](unsigned char c) { return toupper(c); }); return str; } bool startwith(string src, string prefix) { auto res mismatch(prefix.begin(), prefix.end(), src.begin()); return res.first prefix.end(); } void ltrim(string &s) { s.erase(s.begin(), findif(s.begin(), s.end(), [](unsigned char ch) { return !isspace(ch); })); } // trim from end (in place) void rtrim(string &s) { s.erase(findif(s.rbegin(), s.rend(), [](unsigned char ch) { return !isspace(ch); }) .base(), s.end()); } // trim from both ends (in place) void trim(string &s) { ltrim(s); rtrim(s); } string getCanonicalizedHeaders(const map &headers, const string &prefix "xceb") { stringstream result; for (const auto &item : headers) { if (startwith(item.first, prefix)) { string v item.second; trim(v); result query) { if (query.empty()) { return pathname; } vector tmp; tmp.reserve(query.size()); for (const auto &item : query) { tmp.pushback(string(item.first) + "" + item.second); } return pathname + "?" + implode(tmp, "&"); } string hmacsha1(const string &src, const string &key) { boost::uint8t hashval[sha1::HASHSIZE]; hmac ::calc(src, key, hashval); return base64::encodefromarray(hashval, sha1::HASHSIZE); } // 生成签名 string EventSignHelper::genSign(const string& httpMethod, const map & headers, const string& pathname, const map & query, const string& ak, const string& sk) { string contentmd5 get(headers, "contentmd5"); string contenttype get(headers, "contenttype"); string date get(headers, "date"); stringstream stringToSign; stringToSign << uppercase("POST") << "n" << contentmd5 << "n" << contenttype << "n" << date << "n"; stringToSign << getCanonicalizedHeaders(headers); stringToSign << getCanonicalizedResource(pathname, query); string sign hmacsha1(stringToSign.str(), sk); string token "ceb:" + ak + ":" + sign; return token; }
        来自:
        帮助文档
        事件总线
        开发参考
        Cloudevents SDK参考
        C++ SDK
      • Oracle数据迁移到云搜索服务
        创建云搜索服务连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 2.连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。 名称:用户自定义连接名称,例如“csslink”。 Elasticsearch服务器列表:配置为云搜索服务集群(支持5.X以上版本)的连接地址、端口,格式为“ip:port”,多个地址之间使用分号(;)分隔,例如192.168.0.1:9200;192.168.0.2:9200。 用户名、密码:配置为访问云搜索服务集群的用户,需要拥有数据库的读写权限。 3.单击“保存”回到连接管理界面。 创建Oracle连接 1.单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面。 2.连接器类型选择“Oracle”后单击“下一步”,配置Oracle连接参数: 名称:用户自定义连接名称,例如“oraclelink”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用户名、密码:Oracle数据库的登录用户名和密码,该用户需要拥有Oracle元数据的读取权限。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”,开始创建从Oracle导出数据到云搜索服务的任务。 详见下图:创建Oracle到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称:选择创建Oracle连接中的“oraclelink”。 −模式或表空间:待迁移数据的数据库名称。 −表名:待迁移数据的表名。 −高级属性里的可选参数一般情况下保持默认既可,详细说明请参见 配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称:选择创建云搜索服务连接中的“csslink”。 −索引:待写入数据的Elasticsearch索引,也可以输入一个新的索引,CDM会自动在云搜索服务中创建。 −类型:待写入数据的Elasticsearch类型,可输入新的类型,CDM支持在目的端自动创建类型。 −高级属性里的可选参数一般情况下保持默认既可,详细说明请参见配置云搜索服务目的端参数。 2.单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如下图“云搜索服务的字段映射”所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容。 3.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。在CDM“作业管理”界面,支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行:如果需要配置作业定时自动执行,请参见 配置定时任务。这里保持默认值“否”。 抽取并发数:设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 作业运行完是否删除:这里保持默认值“不删除”。 4.单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        使用教程
        Oracle数据迁移到云搜索服务
      • 登录类
        Windows系统的GPU云主机安装GRID驱动后通过控制台的VNC远程连接实例出现黑屏怎么办? 当Windows系统的GPU云主机安装了GRID驱动后,VM的显示输出将由GRID驱动管理,VNC无法再获取到集成显卡的画面,因此,VNC显示会变成黑屏状态,属于正常现象。建议您使用MSTSC方式连接GPU云主机,详细操作步骤请参见远程桌面连接(MSTSC方式)。
        来自:
        帮助文档
        GPU云主机
        常见问题
        登录类
      • 产品规格
        产品 销售品名称 规格 功能描述 计费单位 可信数据空间 数据空间服务平台 基础版 可信数据空间全部能力,包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括:可信数据空间服务(1套)、接入连接器(连接器数:5)、隐私计算(隐私计算节点:5)、数据沙箱(数据沙箱数:2)、数据交易平台(1套)、开发平台(开发租户数:5)适用于数据空间运营单位。 元/月 可信数据空间 数据空间服务平台 升级版 可信数据空间全部能力,包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。升级版包括:可信数据空间服务(1套)、接入连接器(连接器数:5)、隐私计算(隐私计算节点:5)、数据沙箱(数据沙箱数:10)、数据交易平台(1套)、开发平台(开发租户数:20)适用于数据空间运营单位。 元/月 可信数据空间 数据空间服务平台 企业版 可信数据空间全部能力,包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括:可信数据空间服务(1套)、接入连接器(连接器数:5)、隐私计算(隐私计算节点:5)、数据沙箱(数据沙箱数:50)、数据交易平台(1套)、开发平台(开发租户数:100)适用于数据空间运营单位。 元/月 可信数据空间 连接器 连接器 提供可信数据空间的接入服务,包括数据上架、订单管理、数据使用等能力。适用于数据提供企业、数据需求企业使用。 元/月
        来自:
      • 产品价格
        本文主要介绍可信数据空间的产品价格。 说明 本页展示价格为产品正式上线后的商用价格,产品公测期间限时免费。 产品 销售品名称 规格 功能描述 计费单位 标准资费 可信数据空间 数据空间服务平台 基础版 可信数据空间全部能力,包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括:可信数据空间服务(1套)、接入连接器(连接器数:5)、隐私计算(隐私计算节点:5)、数据沙箱(数据沙箱数:2)、数据交易平台(1套)、开发平台(开发租户数:5)适用于数据空间运营单位。 元/月 94000 可信数据空间 数据空间服务平台 升级版 可信数据空间全部能力,包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。升级版包括:可信数据空间服务(1套)、接入连接器(连接器数:5)、隐私计算(隐私计算节点:5)、数据沙箱(数据沙箱数:10)、数据交易平台(1套)、开发平台(开发租户数:20)适用于数据空间运营单位。 元/月 104000 可信数据空间 数据空间服务平台 企业版 可信数据空间全部能力,包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括:可信数据空间服务(1套)、接入连接器(连接器数:5)、隐私计算(隐私计算节点:5)、数据沙箱(数据沙箱数:50)、数据交易平台(1套)、开发平台(开发租户数:100)适用于数据空间运营单位。 元/月 129000 可信数据空间 连接器 连接器 提供可信数据空间的接入服务,包括数据上架、订单管理、数据使用等能力。适用于数据提供企业、数据需求企业使用。 元/月 13000
        来自:
        帮助文档
        可信数据空间
        计费说明
        产品价格
      • 接入云容器引擎-应用日志
        本文主要介绍云日志服务如何接入云容器引擎文本日志。 本文将介绍如何在云日志服务控制台配置云容器引擎的日志接入与采集规则配置。 使用场景 云容器引擎业务日志采集功能是为用户提供的天翼云云容器引擎集群内的业务日志采集工具,可以将集群内的业务日志采集至云日志服务中进行统一存储。 日志采集功能需要为云容器引擎集群安装日志采集ctglogoperator插件并配置采集规则。采集插件安装后,日志采集器将会在集群内以 DaemonSet 的形式运行,并根据用户在云日志服务控制台配置的采集规则(包括采集源、日志单元和日志切割方式等),从采集源进行日志采集。 前提条件 已创建日志项目与日志单元,详情请参考创建日志项目与日志单元。 已创建天翼云云容器引擎。 应用日志接入步骤 1. 登录云日志服务控制台。 2. 左侧点击【日志接入】菜单,进入日志接入页面。选择“云容器引擎应用日志”进行容器接入配置。 3. 选择日志单元。 1. 点击“所属日志项目”后的目标框,在下拉列表中选择具体的日志项目,若没有所需的日志项目,点击“所属日志项目”目标框后的“新建”,在弹出的创建日志项目页面创建新的日志项目。 2. 点击“所属日志单元”后的目标框,在下拉列表中选择具体的日志单元,若没有所需的日志单元,点击“所属日志单元”目标框后的“新建”,在弹出的创建日志单元页面创建新的日志单元。 3. 单击“云容器引擎集群”后的目标框,在下拉列表中选择具体的集群。 4. 点击下一步。 4. 检查依赖项。 系统将自动检查以下检查项是否符合要求,若检测不通过,请根据页面指引进行修复。 1. 云容器引擎需要处于正常运行状态。 2. 云容器引擎已安装ctglogoperator插件且插件版本满足要求。 3. 存在名为“ccsegroup集群ID”的主机组。 4. 云容器引擎所在的VPC已创建云日志服务终端节点。 5. 配置采集规则。 对日志采集设置具体的采集规则。具体请参考[采集配置](
        来自:
        帮助文档
        云日志服务
        用户指南
        日志接入
        接入云容器引擎-应用日志
      • 分享文件
        操作场景 您可以使用对象分享功能,通过对象的临时URL将存放在OBS中的对象分享给所有用户。 背景知识 文件分享强调临时性,所有分享的URL都是临时URL,存在有效期。 临时URL是由文件的访问域名和临时鉴权信息组成。 临时鉴权信息主要包含 AccessKeyId 、 Expires 、xobssecuritytoken 和Signature 四个参数。其中 AccessKeyId 、xobssecuritytoken 和Signature 用于鉴权,Expires定义鉴权的有效期。 当在OBS控制台上单击了对象后的“分享”之后,OBS就会以默认5分钟的有效期获取临时鉴权信息,并生成分享链接,此时链接就已经生效并且开始计算时间了。每调整一次URL有效期,OBS就会重新获取一次鉴权信息以生成新的分享链接,新链接的有效期从调整的时候开始计算。 约束与限制 通过OBS控制台分享的文件,有效期的范围为1分钟到18小时。如果想要设置更长的有效期,建议使用客户端工具OBS Browser+,OBS Browser+支持1分钟到30天的有效期。如果想要设置永久的权限,请通过桶策略或对象策略实现。 仅桶版本号为3.0的桶支持文件分享功能。桶版本号可以在桶概览页的“基本信息”中查看。 加密对象不能分享。 归档存储对象需恢复后才能分享。 操作步骤 步骤 1 在桶列表单击待操作的桶,进入“对象”页面。 步骤 2 选中待分享的文件,并单击右侧的“分享”。 此时,链接信息中的链接就已经生效并开始计时,有效期为默认的5分钟。修改URL有效期,链接会相应变化,新链接的有效期从修改时开始计算。 步骤 3 URL相关操作。 单击“打开URL”,将在新页面打开文件进行预览或者直接下载文件到本地。 单击“复制链接”,您可以将该链接分享给所有用户,用户可以在浏览器中通过此链接直接访问文件。 单击“复制路径”,您可将该路径分享给所有拥有对象所在桶权限的用户,用户可以在对应桶中的文件搜索框中输入该路径搜索并访问文件。 说明 在“URL有效期”内,任何用户都可以访问该文件。
        来自:
        帮助文档
        对象存储 OBS
        快速入门
        分享文件
      • Java SDK
        签名生成工具 示例代码如下: java import java.util.ArrayList; import java.util.Arrays; import java.util.Base64; import java.util.HashMap; import java.util.Iterator; import java.util.List; import java.util.Map; import java.util.Set; import javax.crypto.Mac; import javax.crypto.spec.SecretKeySpec; import io.netty.util.internal.StringUtil; import io.vertx.core.MultiMap; import io.vertx.core.http.HttpClientRequest; public class SignatureHelper { public static String getStringToSign(HttpClientRequest request) { String method request.method() .name(); String pathname request.path(); MultiMap headers getHeadersToLower(request.headers()); Map query buildQueryMap(request.query()); String contentMD5 headers.get("contentmd5") null ? "" : (String)headers.get("contentmd5"); String contentType headers.get("contenttype") null ? "" : (String)headers.get("contenttype"); String date headers.get("date") null ? "" : (String)headers.get("date"); String header method + "n" + contentMD5 + "n" + contentType + "n" + date + "n"; String canonicalizedHeaders getCanonicalizedHeaders(headers); String canonicalizedResource getCanonicalizedResource(pathname, query); return header + canonicalizedHeaders + canonicalizedResource; } private static Map buildQueryMap(String query) { Map map new HashMap<>(); if (!StringUtil.isNullOrEmpty(query)) { String[] params query.split("&"); Arrays.stream(params) .forEach(param > { String[] kv param.split(""); map.put(kv[0], kv[1]); }); } return map; } protected static MultiMap getHeadersToLower(MultiMap headers) { MultiMap map MultiMap.caseInsensitiveMultiMap(); Set keys headers.names(); Iterator iterator keys.iterator(); while (iterator.hasNext()) { String key iterator.next(); map.add(key.toLowerCase(), headers.get(key)); } return map; } protected static String getCanonicalizedHeaders(MultiMap headers) { String prefix "xceb"; Set keys headers.names(); List canonicalizedKeys new ArrayList(); Iterator var4 keys.iterator(); while (var4.hasNext()) { String key (String)var4.next(); if (key.startsWith(prefix)) { canonicalizedKeys.add(key); } } String[] canonicalizedKeysArray (String[])canonicalizedKeys.toArray(new String[canonicalizedKeys.size()]); Arrays.sort(canonicalizedKeysArray); StringBuilder result new StringBuilder(); for (int i 0; i query) { String[] keys (String[])query.keySet() .toArray(new String[query.size()]); if (keys.length < 0) { return pathname; } else { Arrays.sort(keys); StringBuilder result new StringBuilder(pathname); result.append("?"); for (int i 0; i < keys.length; ++i) { String key keys[i]; result.append(key); String value (String)query.get(key); if (!StringUtil.isNullOrEmpty(value) && !"".equals(value.trim())) { result.append(""); result.append(value); } result.append("&"); } return result.deleteCharAt(result.length() 1) .toString(); } } public static String getSignature(String stringToSign, String secret) throws Exception { Mac mac Mac.getInstance("HmacSHA1"); mac.init(new SecretKeySpec(secret.getBytes("UTF8"), "HmacSHA1")); byte[] signData mac.doFinal(stringToSign.getBytes("UTF8")); return Base64.getEncoder() .encodeToString(signData); } }
        来自:
        帮助文档
        事件总线
        开发参考
        Cloudevents SDK参考
        Java SDK
      • 1
      • ...
      • 74
      • 75
      • 76
      • 77
      • 78
      • ...
      • 444
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      物理机 DPS

      多活容灾服务 MDR

      弹性高性能计算 E-HPC

      训推服务

      AI Store

      公共算力服务

      应用托管

      科研助手

      智算一体机

      推荐文档

      重置密码

      实例详情

      源端安装客户端

      iPhone端

      完成授权

      恢复备份

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号