认证鉴权 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 AK/SK认证就是使用AK/SK对请求进行签名，在请求时将签名信息添加到消息头，从而通过身份认证。 AK（Access Key ID）：访问密钥ID。与私有访问密钥关联的唯一标识符；访问密钥ID和私有访问密钥一起使用，对请求进行加密签名。 SK（Secret Access Key）：私有访问密钥。与访问密钥ID结合使用，对请求进行加密签名，可标识发送方，并防止请求被修改。 使用AK/SK认证时，您可以基于签名算法使用AK/SK对请求进行签名，也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 说明： 签名SDK只提供签名功能，与服务提供的SDK不同，使用时请注意。 ​

认证鉴权 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 AK/SK认证就是使用AK/SK对请求进行签名，在请求时将签名信息添加到消息头，从而通过身份认证。 AK（Access Key ID）：访问密钥ID。与私有访问密钥关联的唯一标识符；访问密钥ID和私有访问密钥一起使用，对请求进行加密签名。 SK（Secret Access Key）：私有访问密钥。与访问密钥ID结合使用，对请求进行加密签名，可标识发送方，并防止请求被修改。 使用AK/SK认证时，您可以基于签名算法使用AK/SK对请求进行签名，也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 说明： 签名SDK只提供签名功能，与服务提供的SDK不同，使用时请注意。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 内存（memory，内存指标。） directMemoryUsage 已使用直接内存 已使用直接内存 INT AVG 内存（memory，内存指标。） maxDirectMemory 最大直接内存 最大直接内存 INT MAX 异常（exception ，异常。） causeType 类名 类名 ENUM LAST 异常（exception ，异常。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception ，异常。） count 次数 次数 INT SUM 异常（exception ，异常。） message 异常消息 异常消息 STRING LAST 异常（exception ，异常。） stackTrace 异常堆栈 异常堆栈 CLOB LAST

虚拟私有云 虚拟私有云为分布式缓存服务Redis版实例提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云产品定义。 弹性云主机 分布式缓存服务Redis版订购后，默认按照用户选择的实例规格开通弹性云主机，云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式缓存服务Redis持久稳定运行。更多信息请参见弹性云主机产品定义。 云硬盘 分布式缓存服务Redis版订购后，默认按照一定的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备，可以为分布式缓存服务Redis提供高性能、高可靠的块存储服务。更多信息请参见云硬盘产品定义。 弹性IP 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式缓存服务Redis动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式缓存服务Redis版实例的需求，用户可开通弹性IP后，在Redis实例开通页面进行绑定。更多信息请参见绑定公网IP。

Kafka支持减少分区数吗？ Kafka不支持减少分区数，您可以通过删除原先的Topic，然后创建新Topic，重新设置分区数。 Kafka实例创建Topic失败 可能原因：已创建的Topic，分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同，具体请参考产品规格。 解决方案：对Kafka实例扩容，或者删除不需要的Topic。 Kafka实例支持批量导入Topic功能么？或者是自动生成Topic功能？ 支持自动生成Topic功能，但不支持Topic批量导入功能，仅支持批量导出Topic功能。 通过以下任意一种方法，开启自动生成Topic功能： 创建实例时，开启Kafka自动创建Topic。 创建实例后，在实例详情页开启Kafka自动创建Topic。 为什么删除Topic不生效？删除后该Topic仍然存在 可能原因：您开启了自动创建Topic功能，且有消费者正在连接该Topic。所以，如果没有停止您的业务，删除了Topic后，还会有消息生产行为，并自动创建Topic。 解决办法：需要关闭自动创建Topic功能，才可以正常删除Topic。 Kafka实例是否支持查看单个Topic占用磁盘空间？ 支持。通过以下任意一种方法，查看单个Topic占用磁盘空间大小。 在Kafka实例名称后，单击，跳转到云监控页面。在“队列”页签中，“队列”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。 单击Kafka实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。

参数 是否必填 参数类型 说明 示例 下级对象 cmkUuid 是 String 密钥唯一标识id 474e569e8814474a948bdbcf6d853eff keyVersionId 是 String 密钥版本id db4e73dedef547029dbb6387f05ae0d8 algorithm 是 String 签名算法，取值范围： RSAPSSSHA256 SM2 RSAPSSSHA256 digest 是 String 消息摘要，使用algorithm中对应的哈希算法，对原始消息生成摘要 说明：需进行Base64编码 mkmscsninfnenfck

本节介绍Kafka业务过载最佳实践 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点，会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数（num.io.threads、num.network.threads、num.replica.fetchers）过多，导致CPU繁忙。 分区设置不合理，所有的生产和消费都集中在某个节点上，导致CPU利用率高。 磁盘写满的原因 业务数据增长较快，已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡，生产的消息集中在某个分区，导致分区所在的磁盘写满。 Topic的数据老化时间设置过大，保存了过多的历史数据，容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施： 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数，但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区，分区一般设置为节点个数的倍数。 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。 磁盘写满的处理措施： 扩容磁盘，使磁盘具备更大的存储空间。 迁移分区，将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间，减少历史数据的容量大小。 在CPU资源情况可控的情况下，使用压缩算法对数据进行压缩。 常用的压缩算法包括：ZIP，GZIP，SNAPPY，LZ4等。选择压缩算法时，需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法，压缩耗时也越高。对于性能要求高的系统，可以选择压缩速度快的算法，比如LZ4；对于需要更高压缩比的系统，可以选择压缩率高的算法，比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。 Properties props new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 开启GZIP压缩 props.put("compression.type", "gzip"); Producer producer new KafkaProducer<>(props);

名称 二级节点 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Array 机器资源列表 id Integer 机器资源唯一标识 prodInstId Integer 实例id userId Long 用户标识 host String 服务器地址 sshPort String ssh端口 machineType Byte 服务器类型 0：vm 1：physical machine adminUser String 管理员用户 cpuCount Byte cpu核数 memorySize Integer 内存大小 diskSize Integer 硬盘大小 createTime String 创建时间

OpenSearch Dashboards OpenSearch Dashboards提供了直观的可用于创建、共享、交互式的开发、运维数据分析平台。与OpenSearch搭配使用，并提供角色基础访问控制能力。文内或简称为Dashboards。 支持多用户角色的权限管理 支持包括甘特图在内的多种数据呈现方式 支持多种数据统计方式 支持高阶的索引管理能力 支持通知告警功能 支持基于SQL的查询能力 支持CSV、PDF、Excel等文件的报告生成功能 Logstash Logstash是数据管道服务，通过可扩展的输入、过滤和输出体系，实时采集、转换和加载多源异构数据，并灵活对接各类存储与分析平台，是ELK（Elastic Stack）生态的核心组件之一。天翼云提供的全托管的Logstash服务，支持一键部署、可视化管道配置和数据管道集中管理。 支持文件、数据库、消息队列等多种数据源采集 支持灵活的数据处理，如字段提取、数据脱敏等 内置健康检查机制，支持通过API或可视化界面监控数据管道运行状态 Cerebro Cerebro 是一个功能强大且易于使用的云搜索服务管理工具，适合开发、运维和数据分析等多种场景。通过Cerebro可以对实例进行Web可视化管理，如监控实时的磁盘、集群负载、内存使用率等，通过其直观的界面和丰富的功能，用户可以更高效地管理和监控云搜索实例。云搜索服务兼容开源Cerebro，适配0.9.4。 支持可视化数据管理 支持监控实例实时负载

本文介绍ECI实例概述。 每个ECI实例对应一个容器组，由vCPU、内存、网络等基础组件组成，用于运行一个或多个容器。本文介绍ECI实例的基本配置、创建方式和生命周期等。 说明 弹性容器实例产品具备高弹性、低成本、高并发等特性，适用于在线业务弹性扩容、在线业务托管、AI和大数据处理等业务，有短期创建大量资源、快速使用并释放的场景。 为了避免频繁创建删除操作的消息提示对您造成困扰，弹性容器实例产品将消息提示策略进行优化：除了第一次创建弹性容器实例时，系统会向您发送的邮件、短信、站内信提示，其余创建删除操作，系统将停止发送消息提示，请您随时留意控制台资源情况。 基本配置 ECI实例包含实例规格、容器镜像、网络、存储等基础组件，您可以方便地定制、更改实例的配置。您对该ECI实例拥有完全的控制权，不需要进行底层服务器的管理和配置操作，只需要提供打包好的容器镜像，即可运行容器。 实例规格：一个ECI实例主要包括vCPU和内存规格。创建实例时，可以指定ECI规格（直接指定vCPU和内存），也可以指定ECS规格来满足GPU、增强网络能力等特殊需求。 容器镜像：一个ECI实例由一个或者多个容器组成，部署容器应用时，需要准备好容器镜像。容器镜像包含容器应用运行所需的程序、库文件、配置等。拉取镜像时，需要保证网络畅通，推荐您使用镜像缓存功能来节约实例的启动耗时。 网络：一个ECI实例将占用所属VPC下的子网的一个弹性网卡资源，默认具备一个内网IP地址。如果需要连接公网，例如需要拉取公网镜像。则需要为ECI实例绑定EIP，或者为所属VPC绑定NAT网关。 存储：一个ECI实例默认有40 GiB的临时存储空间，您可以根据需要增加临时存储空间。如果想要保留存储的文件，建议使用外挂数据卷，支持挂载云盘、弹性文件和对象存储等天翼云存储数据卷。

本文为您介绍短信服务的限制说明。 短信发送频率限制 在实际业务场景中，例如App或网站登录时，可能会有用户频繁进行获取短信验证码或者通过短信通知找回密码的操作，为了限制平台短信被恶意调用、在短时间内大量发起短信发送请求，天翼云默认对短信发送行为进行以下流控限制。 限制项 限制说明 备注 ::: 短信 使用同一个签名，默认情况下对同一个手机号码发送短信，2条/分钟，5条/小时，10条/天。 您可以在控制台消息配置 > 发送频率限制中修改发送频率。一个手机号码通过天翼云短信服务平台最多收到50条/天。 若在发送验证码时提示业务限流，建议认证为企业用户，根据以上业务调整接口调用时间。 注意： 所有发送的短信都需要提交审核，审核通过后方可进行短信发送，单击短信签名规范和短信模板规范查看具体审核标准。 天的计算方式为自然天。 短信封禁规则 短信服务会针对用户发送的短信模版和短信签名进行审核，同时配合系统监控，防范在短信内容中出现违反国家法律法规要求的相关内容。 发现违反规则的短信内容，会对相关用户进行账号冻结，并视情况扣罚用户保证金或追究其责任。 账号冻结后，该用户无法继续使用短信服务，如该账号中包含短信服务的资源包、优惠券等，也无法继续使用。且账号冻结后，后续不可申请开通使用。

本节主要介绍分布式缓存服务Redis版计费项 创建分布式缓存服务Redis时，根据实例规格和购买时长产生费用，支持包年包月、按量付费的计费方式。更多关于计费方式的信息，请参见计费模式。 分布式缓存服务的计费项为DCS实例 计费项 计费项说明 适用的计费模式 计费公式 :::: DCS实例 分布式缓存服务Redis按照您选择的实例规格进行计费。 包年/包月、按需计费 实例规格单价 购买时长实例规格单价请参见订购分布式缓存Redis。

本节介绍委托、IAM权限策略和RBAC权限关系,以及如何为服务账号授予相应权限。 根据权限类型，分布式云容器平台的权限包括服务角色、IAM权限策略和RBAC权限。您需要为服务账号授予对应的权限，才能正常使用分布式云容器平台的功能。 权限类型 权限类型 是否必须授权 授权说明 委托 使用开通订购功能时必须授权，使用主账号或子账号授权一次即可。 授权后分布式云容器平台才能访问其他关联的云服务资源。 IAM系统权限策略 主账号默认拥有所有权限，无需额外授权。而子账号必须授权后才能访问分布式云容器平台。 授权后子账号才能使用分布式云容器平台系统功能。 RBAC权限 主账号默认拥有所有权限，无需额外授权。子账号可以根据需求授予权限，如果没有授权，则采用默认只读权限。 授权后，子账号才能对分布式云容器平台集群内的K8s资源进行操作。 委托 云服务委托是指，在特定业务场景下，云服务为实现特定功能目标，通过获取其他云服务的访问权限，自动化管理关联资源，从而优化整体服务质量的一种协作机制。 例如，分布式云容器平台上订购注册集群后，需要关联创建ELB、安全组等资源。分布式云容器平台通过委托机制获取关联服务权限，从而自动地完成配置和关联资源创建，提升订购功能的使用体验。 分布式云容器平台目前提供以下服务角色，具体的策略内容请参见IAM控制台。 委托名称 权限说明 CtyunAssumeRoleForCCEONE 分布式云容器平台在集群管控操作中使用该角色访问您在ELB、EIP、安全组等服务中的资源。

参数 说明 示例 名称 事件源名。 source1 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 Group ID 填入当前Apache Kafka集群中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名 ：填写SASL用户名 密码 ：填写SASL密码 SASL鉴权方式 ：可选PLAIN和SCRAMSHA512 PLAINTEXT 消费位点 消费消息的位点。 最新位点 最早位点 最新位点 数据格式 消息value数据编码格式。 JSON Text Binary JSON

本文为您介绍签名验签场景中，如何通过用户主密钥实现消息的签名、验证。 数字签名技术是非对称加密算法的另一种典型应用。数字签名分为签名和验证两个过程，消息发送者使用私钥对数据签名，消息接收者使用公钥进行签名验证。 由于签名是使用私钥加密产生，而私钥不公开，这使得签名具有唯一的特征，广泛用于数据防篡改、身份认证等相关技术领域。 场景拓扑图 操作流程 1. 信息发送者通过KMS控制台或者调用CreateKey接口，创建一个非对称的用户主密钥（CMK）。 2. 信息发送者通过调用KMS的getPublicKey接口获取到公钥，并将公钥分发给消息接收者。 3. 信息发送者通过调用KMS的asymmetricSign接口，使用创建的CMK私钥对需要传输的数据生成签名。 4. 信息发送者将签名和数据传递给信息接收者。 5. 信息接收者拿到签名和数据之后，在本地通过gmssl、openssl、密码库、KMS 的国密 Encryption SDK 等验签方法，使用信息发送者分发的公钥进行验证。特殊需求场景下，也可调用KMS的asymmetricVerify接口，使用CMK进行签名校验。 相关API 您可以调用以下KMS API，完成对数据的签名验签处理。 API名称 说明 createKey 创建用户主密钥（CMK）。 getPublicKey 获取非对称密钥的公钥，可用于离线验证数字签名，或者加密数据。 asymmetricSign 非对称密钥的私钥运算：产生数字签名。 asymmetricVerify 非对称密钥的公钥运算：验证私钥产生的数字签名。

使用SM2密钥签名时，仅支持对消息摘要签名。 根据GBT32918国家标准，计算SM2签名值时，消息摘要不是对原始消息直接计算SM3摘要，而是对Z(A)和M的拼接值计算的摘要。其中M是待签名的原始消息，Z(A)是GBT32918中定义的用户A的杂凑值。 以JAVA为例，参考如下示例代码： public class Sm2SignDataPreprocessing { private static final String ECCA "FFFFFFFEFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF00000000FFFFFFFFFFFFFFFC"; private static final String ECCB "28E9FA9E9D9F5E344D5A9E4BCF6509A7F39789F515AB8F92DDBCBD414D940E93"; private static final String ECCGX "32C4AE2C1F1981195F9904466A39C9948FE30BBFF2660BE1715A4589334C74C7"; private static final String ECCGY "BC3736A2F4F6779C59BDCEE36B692153D0A9877CC62A474002DF32E52139F0A0"; // 签名者ID，本示例使用国密标准定义的缺省值"1234567812345678" private static final String SM2ID "31323334353637383132333435363738"; public static void main(String[] args) throws Exception { // SM2公钥，BASE64编码格式，仅做示例，实际使用请替换 String sm2PubKey "MFkwEwYHKoZIzj0CAQYIKoEcz1UBgi0DQgAEsuOq/EjQeYUD9h7lIyqi3pQ6SWL7hTXjUJWmSIZAcnj" + "h9c0QcdbwzaCfI8iyyPCetX0QZl5NHrBoYLYxJpvbFg"; byte[] pubKeyBytes Base64.decodeBase64(sm2PubKey.getBytes(StandardCharsets.UTF8)); X509EncodedKeySpec keySpec new X509EncodedKeySpec(pubKeyBytes); KeyFactory keyFactory KeyFactory.getInstance("EC", new BouncyCastleProvider()); ECPublicKey ecPublicKey (ECPublicKey) keyFactory.generatePublic(keySpec); // 待签名的原始消息，仅做示例，实际使用请替换 byte[] dataToDigest new byte[]{1, 2, 3, 4}; // Z(A)是GBT32918中定义的用户A的杂凑值 byte[] zsm getSm2Z(ecPublicKey.getQ().getAffineXCoord().getEncoded(), ecPublicKey.getQ().getAffineYCoord().getEncoded()); // Z(A)和M的拼接值计算的摘要，并打印 byte[] dataToSign getSm3SignData(zsm, dataToDigest); System.out.println(Base64.encodeBase64String(dataToSign)); // 其他语言实现或执行此示例应有如下输出：He+qiM2MmtNxlV/EB4vqkcP60XgG08z/8nWQdp/IS5c } // 计算Z(A) private static byte[] getSm2Z(byte[] x, byte[] y) throws DecoderException { SM3Digest sm3 new SM3Digest(); byte[] userId Hex.decodeHex(SM2ID.toCharArray()); byte[] byteEccA Hex.decodeHex(ECCA); byte[] byteEccB Hex.decodeHex(ECCB); byte[] byteEccGx Hex.decodeHex(ECCGX); byte[] byteEccGy Hex.decodeHex(ECCGY); int len userId.length 8; sm3.update((byte) (len >> 8 & 255)); sm3.update((byte) (len & 255)); sm3.update(userId, 0, userId.length); sm3.update(byteEccA, 0, byteEccA.length); sm3.update(byteEccB, 0, byteEccB.length); sm3.update(byteEccGx, 0, byteEccGx.length); sm3.update(byteEccGy, 0, byteEccGy.length); sm3.update(x, 0, x.length); sm3.update(y, 0, y.length); byte[] md new byte[sm3.getDigestSize()]; sm3.doFinal(md, 0); return md; } // 计算Z(A)和M的拼接值的摘要 private static byte[] getSm3SignData(byte[] z, byte[] sourceData) { SM3Digest sm3 new SM3Digest(); sm3.update(z, 0, z.length); sm3.update(sourceData, 0, sourceData.length); byte[] md new byte[sm3.getDigestSize()]; sm3.doFinal(md, 0); return md; } }

DCS在使用时与其他服务配合使用，本节简单介绍虚拟私有云、弹性云主机、统一身份认证服务、云监控服务、云审计服务以及对象存储服务。 DCS缓存服务与其他服务的关系 虚拟私有云 虚拟私有云（Virtual Private Cloud，简称VPC）是用户在云上申请的隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务。 分布式缓存服务运行于虚拟私有云，由虚拟私有云协助管理IP和带宽。虚拟私有云还具备安全组访问控制功能，通过绑定安全组并设置访问规则，可以增强访问分布式缓存服务的安全性。 弹性云主机 弹性云主机（Elastic Cloud Server，简称ECS）是一种可随时自助获取、可弹性伸缩的云服务器，帮助用户打造可靠、安全、灵活、高效的应用环境。 成功申请分布式缓存服务后，您可以通过弹性云主机创建的弹性云主机，连接和使用分布式缓存实例。 统一身份认证服务 统一身份认证（Identity and Access Management，简称IAM）是系统的身份管理服务，包括用户身份认证、权限分配、访问控制等功能。 通过统一身份认证服务，实现对分布式缓存服务的访问控制。 云监控服务 云监控服务（Cloud Eye）是云上提供的安全、可扩展的统一监控方案，通过云监控服务集中监控DCS的各种指标，基于云监控服务实现告警和事件通知。

本页介绍天翼云分布式融合数据库HTAP服务协议。 天翼云分布式融合数据库HTAP服务协议获取地址：天翼云分布式融合数据库HTAP服务协议。

执行状态 说明 已入队 异步消息已入队，等待处理。 执行中 调用执行中，实例已经开始运行任务代码。 执行成功 调用执行成功。 执行失败 调用执行失败。 已停止 调用执行终止。 停止中 执行停止中。 已过期 异步消息配置了存活有效期，该任务因过期已被丢弃（未触发）。 无效 任务处于无效状态（未触发）。 重试中 异步调用因执行错误而进行重试中。

本页面介绍从Kafka迁移数据。 前提条件 1. 创建了目标云数据库ClickHouse实例。详细的操作步骤，请参考创建实例。 2. 创建了用于目标云数据库ClickHouse集群的数据库账号和密码。详细的操作步骤，请参考创建账号。 3. 确保创建的云数据库ClickHouse实例可以访问需要迁移的Kafka实例。 语法描述 建表语句如下： CREATE TABLE [IF NOT EXISTS] [db.]tablename [ON CLUSTER cluster] ( name1 [type1] [ALIAS expr1], name2 [type2] [ALIAS expr2], ... ) ENGINE Kafka() SETTINGS kafkabrokerlist 'host:port', kafkatopiclist 'topic1,topic2,...', kafkagroupname 'groupname', kafkaformat 'dataformat'[,] [kafkarowdelimiter 'delimitersymbol',] [kafkaschema '',] [kafkanumconsumers N,] [kafkamaxblocksize 0,] [kafkaskipbrokenmessages N,] [kafkacommiteverybatch 0,] [kafkaclientid '',] [kafkapolltimeoutms 0,] [kafkapollmaxbatchsize 0,] [kafkaflushintervalms 0,] [kafkathreadperconsumer 0,] [kafkahandleerrormode 'default',] [kafkacommitonselect false,] [kafkamaxrowspermessage 1]; 上述是云数据库ClickHouse中创建Kafka引擎表的语法和选项。让我逐一解释每个部分的含义： CREATE TABLE : 创建表的语句。 [IF NOT EXISTS] : 可选项，表示如果表不存在则创建。 [db.]tablename : 表的名称，可以包含可选的数据库前缀。 [ON CLUSTER cluster] : 可选项，指定表所在的集群。 (name1 [type1] [ALIAS expr1], name2 [type2] [ALIAS expr2], ...) : 定义表的列和数据类型，可以为每个列指定别名。 ENGINE Kafka() : 指定表的存储引擎为Kafka引擎。 SETTINGS : 设置选项的开始标记。 kafkabrokerlist : Kafka代理服务器的主机和端口，用于连接到Kafka集群。 kafkatopiclist : 要消费的Kafka主题列表，可以包含多个主题。 kafkagroupname : Kafka消费者组的名称，用于协调消息的消费。 kafkaformat : 数据的格式，例如JSON、CSV等。 kafkarowdelimiter : 可选项，指定行分隔符，用于解析文本数据。 kafkaschema : 可选项，指定Kafka消息中的模式信息。 kafkanumconsumers : 可选项，指定消费者线程的数量。 kafkamaxblocksize : 可选项，指定每个消费者线程的最大块大小。 kafkaskipbrokenmessages : 可选项，指定是否跳过损坏的消息。 kafkacommiteverybatch : 可选项，指定每个批次是否提交偏移量。 kafkaclientid : 可选项，指定Kafka消费者的客户端ID。 kafkapolltimeoutms : 可选项，指定从Kafka拉取消息时的超时时间。 kafkapollmaxbatchsize : 可选项，指定从Kafka拉取消息时的最大批次大小。 kafkaflushintervalms : 可选项，指定在写入表之前的消息刷新间隔。 kafkathreadperconsumer : 可选项，指定每个消费者是否使用单独的线程。 kafkahandleerrormode : 可选项，指定处理错误消息的模式。 kafkacommitonselect : 可选项，指定在执行SELECT查询时是否提交偏移量。 kafkamaxrowspermessage : 可选项，指定每条Kafka消息包含的最大行数。 这些选项允许你根据实际的Kafka集成需求来配置Kafka引擎表。根据你的具体情况，填写相应的值以满足你的数据迁移或同步需求。 以上仅是对每个选项的概述，实际使用时应根据具体情况和需求进行适当的配置。 建表示例如下： CREATE TABLE queue ( timestamp UInt64, level String, message String ) ENGINE Kafka('localhost:9092', 'topic', 'group1', 'JSONEachRow'); SELECT FROM queue LIMIT 5; CREATE TABLE queue2 ( timestamp UInt64, level String, message String ) ENGINE Kafka SETTINGS kafkabrokerlist 'localhost:9092', kafkatopiclist 'topic', kafkagroupname 'group1', kafkaformat 'JSONEachRow', kafkanumconsumers 4; CREATE TABLE queue3 ( timestamp UInt64, level String, message String ) ENGINE Kafka('localhost:9092', 'topic', 'group1') SETTINGS kafkaformat 'JSONEachRow', kafkanumconsumers 4;

参数 是否必填 参数类型 说明 示例 下级对象 cmkUuid 是 String 密钥唯一标识id 474e569e8814474a948bdbcf6d853eff keyVersionId 是 String 密钥版本id db4e73dedef547029dbb6387f05ae0d8 algorithm 是 String 验签算法，取值范围： RSAPSSSHA256 SM2 RSAPSSSHA256 digest 是 String 消息摘要，使用algorithm对应的哈希算法，对原始消息生成摘要 说明：需进行Base64编码 ZOyIygCyaOW6GjVnihtTFtIS9PNmskdyMlNKiuyjfzw value 是 String 待验证的签名值 说明：需进行Base64编码 ODZhOWVmZDktM2QxNi00ODk0LWJkNGYtMWZjNDNmM2YyYWJmS7FmDBBQ0BkKsQrtRnidtPwi

本节介绍了专属云（存储独享型）的产品定义。 专属云（存储独享型）（CTDSS，Dedicated Distributed Storage Service）为您提供独享的物理存储资源，通过数据冗余和缓存加速等多项技术，提供高可用性和持久性，以及稳定的低时延性能；可灵活对接专属云（计算独享型）等多种不同类型的计算服务。 用户需要申请专属云（存储独享型）服务后才予以开通权限，请联系专属客户经理提交开通申请，或者拨打天翼云客服电话4008109889。 功能特点： 1、 规格丰富 高IO：高性能、高扩展、高可靠，适用于性能相对较高，读写速率要求高，有实时数据存储需求的应用场景。 超高IO：低时延、高性能，适用于低时延，高读写速率要求，数据密集型应用场景。 2、弹性扩展 按需扩容：可根据业务需求扩容存储池。 性能线性增长：支持在线扩容DSS下的磁盘，并且性能线性增长，满足业务需求。 3、安全可靠 三副本冗余：数据持久性高达99.9999999%。 数据加密：系统盘和数据盘均支持数据加密，保护数据安全。 4、备份恢复 云备份服务：可为专属分布式存储下的磁盘创建备份，利用备份数据回滚磁盘，最大限度保障您数据的安全性和正确性，确保业务安全。 专属云（存储独享型）与云硬盘的区别 服务名称 总体介绍 存储类别 典型应用场景 性能规格 专属云（存储独享型） 专属云（存储独享型）为用户提供独享的物理存储资源，存储池资源物理隔离，数据持久性高达99.9999999%，可同时对接多种不同类型的计算服务，如弹性云主机、物理机等，功能丰富、安全可靠。 存储池物理隔离，资源独享，专属存储。 对接专属云中的弹性云主机、物理机等计算服务 对接非专属云中的弹性云主机、物理机等计算服务 混合负载，专属存储可同时支持HPC、数据库、Email、OA办公、Web等多个应用混合部署 高性能计算 OLAP应用 高IO：起步规格13.6TB，扩容步长13.6TB，最大可扩容至435.2TB，最大IOPS为1500 IOPS/TB。 超高IO：起步规格7.225TB，扩容步长7.225TB，最大可扩容至289TB，最大IOPS为8000 IOPS/TB。 云硬盘 云硬盘可以为云主机提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务。 共享存储池资源 企业日常办公应用 开发测试 企业应用，例如SAP、Microsoft Exchange和Microsoft SharePoint等 分布式文件系统 各类数据库，例如：MongoDB、Oracle、SQL Server、MySQL和PostgreSQL等 云硬盘支持按需扩容，最小扩容步长为1GB，单个磁盘可由10GB扩展至32TB。 DSS与EVS的区别

此小节介绍桌面看板。 系统桌面看板分为统计控制板、活动用户、待审批工单、主机类型统计、应用类型统计、当前活动会话、今日新增会话、登录次数统计、运维次数统计、运维用户Top5、运维资源Top5、系统状态、系统信息、最近登录主机、最近登录应用、可登录主机、可登录应用等共17个信息模块，呈现云堡垒机系统状态、用户活动统计、主机/应用运维统计等信息。 不同用户角色拥有不同模块查看权限，本小节以系统管理员admin为例，介绍系统桌面看板的含义。 操作步骤 1. 登录云堡垒机系统。 2. 在左侧导航树中，选择“桌面”，进入系统桌面看板页面。 统计控制板 呈现当前用户可管理用户、主机、应用、应用服务器的统计数据，以及未处理告警消息的数量。 统计控制板 用户角色需分别获取“用户管理”、“主机管理”、“应用发布”、“应用服务器”模块管理权限，以及开启角色管理权限，即可查看系统控制板统计信息。当角色权限只有其中一个时，默认不显示统计控制板。 用户：呈现当前用户可管理用户数。单击用户模块，跳转到用户列表页面，可管理当前用户列表。 主机：呈现当前用户可管理主机资源数。单击主机模块，跳转到主机列表页面，可管理当前主机资源列表。 应用：呈现当前用户可管理应用发布资源数。单击应用模块，跳转到应用列表页面，可管理当前应用资源列表。 应用服务器：呈现当前用户可管理应用服务器数。单击应用服务器模块，跳转到应用服务器列表页面，可管理当前应用服务器列表。 告警：呈现当前用户未处理告警消息数。单击告警模块，跳转到消息中心页面，可管理当前消息列表。

本文主要介绍与其他服务依赖关系 相关服务 交互功能 弹性云主机 云数据库RDS服务配合弹性云主机（Elastic Cloud Server，简称ECS）一起使用，通过内网连接云数据库RDS可以有效地降低应用响应时间、节省公网流量费用。 虚拟私有云 对您的云数据库RDS实例进行网络隔离和访问控制。 对象存储服务 存储云数据库RDS实例的自动和手动备份数据。 云监控服务 云监控服务是一个开放性的监控平台，帮助用户实时监测云数据库RDS资源的动态。云监控服务提供多种告警方式以保证及时预警，为您的服务正常运行保驾护航。 分布式缓存服务 分布式缓存服务通过将热点数据放入缓存，加快用户端的访问速度，提升用户体验。 分布式关系型数据库 对于云数据库 RDS for MySQL，使用分布式关系型数据库服务，后端对接多个数据库实例，实现分布式数据库的透明访问。 数据库复制 使用数据库复制服务，实现数据库平滑迁移上云。

本文主要介绍了天翼云分布式关系型数据库服务协议（新）。 自2021年8月23日起，新版天翼云分布式关系型数据库服务协议生效。详情请参见天翼云分布式关系型数据库服务协议。

创建实例时开启SASLSSL访问，则数据加密传输，安全性更高。 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 本节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka专享实例的方法。 说明： 使用SASL方式连接Kafka实例时，为了客户端能够快速解析实例的Broker，建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系。 其中，IP地址必须为实例连接地址（Broker地址），host为每个实例主机的名称（您可以自定义主机的名称，但不能重复）。 例如： 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 前提条件 已配置正确的安全组。 访问开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考表32。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9093，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例已开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载client.truststore.jks证书。如果没有，在控制台单击Kafka实例名称，进入实例详情页面，在“基本信息 > 高级配置 > Kafka SASLSSL”所在行，单击 。下载压缩包后解压，获取压缩包中的客户端证书文件：client.truststore.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 修改Kafka命令行工具配置文件。 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件，并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAIN security.protocolSASLSSL ssl.truststore.location/opt/kafka2.111.1.0/config/client.truststore.jks ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明： username和password为创建Kafka专享实例过程中开启SASLSSL时填入的用户名和密码。 ssl.trustore.location配置为client.truststore.jks证书的存放路径。注意，Windows系统下证书路径中也必须使用“/”，不能使用Windows系统中拷贝路径时的“”，否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码，不可更改，需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关，为空则表示关闭。这里需要保持关闭状态，必须设置为空。 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 如下示例，Kafka实例连接地址为“10.xxx.xxx.202:9093,10.xxx.xxx.197:9093,10.xxx.xxx.68:9093”。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

本文主要介绍新版天翼云分布式关系型数据库服务等级协议。 自2021年8月23日起，新版天翼云分布式关系型数据库服务等级协议（SLA）生效。详情请参见天翼云分布式关系型数据库服务等级协议。

本页介绍天翼云分布式融合数据库HTAP服务等级协议。 天翼云分布式融合数据库HTAP服务等级协议（SLA）获取地址：天翼云分布式融合数据库HTAP服务等级协议。

分布式缓存服务Redis服务等级协议 分布式缓存服务Redis服务等级协议 历史版本（20191111）

执行角色 概述 使用云工作流构建应用时，您需要创建执行委托角色并授予相应权限，若不配置委托角色，云工作流默认使用 服务内联委托 角色 。云工作流在执行流程时将以该角色身份代表您访问云服务，例如执行函数、发送消息或调用其他流程。 云工作流基于统一身份认证IAM的委托权限管理机制。授权原理如下：策略定义了访问某项服务的能力，将策略绑定到委托后，该委托便具备访问该服务的权限。第三方只需扮演具备所需权限的角色即可访问服务，无需长期密钥，从而提升系统安全性。 操作步骤 创建委托角色 1. 使用 IAM管理员 登录IAM控制台。 2. 在左侧导航栏，选择 委托。 3. 在委托列表页面，单击 创建委托。 4. 在 创建委托 页面，选择 可信实体类型 为 服务委托, 点击下一步。 5. 在配置委托页面， 输入 委托名称 ,选择委托服务选 一类节点函数计算cf。 6. 输入完成后点击 完成,即可创建完成。 配置委托权限 1. 使用IAM管理员登录IAM控制台。 2. 在左侧导航栏，选择 委托。 3. 在委托列表页，选择需要授权的委托，点击旁边的 授权 按钮。 4. 在 选择策略 页面, 搜索/选择你需要的云服务策略, 本例子授权 对象存储 的 只读 权限 。 如果需要更精细的权限控制，可以先创建自定义策略，详情请查阅创建自定义策略 5. 授权范围将默认勾选全局范围，您可以直接点击“确定”完成授权。 6. 创建完成委托角色后， 即可在 工作流设置 中下拉选择设置。工作流设置详见工作流执行器关于 工作流配置 说明。

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（ExtractTransformLoad）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 详见下图：环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具：通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询能力，如车联网场景下，根据汽车编号查询汽车维护信息，存储时，汽车信息会基于汽车编号进行索引，以实现该场景下的秒级响应。通常这类数据量比较庞大，用户可能保存1至3年的数据。 例如在车联网行业，某车企将数据储存在HBase中，以支持PB级别的数据存储和毫秒级的数据详单查询。 详见下图：车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时：利用Kafka实现海量汽车的消息实时接入。 海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。 详见下图：梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集：利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。 海量的数据源接入：利用Kafka实现万级别的电梯数据的实时接入。

本文介绍分布式缓存服务Redis版功能类常见问题 分布式缓存服务Redis版与Redis是什么关系？ 天翼云分布式缓存服务Redis版是完全兼容Redis协议的云原生高性能内存数据库。 任何兼容Redis的客户端都可以与分布式缓存服务Redis版建立连接进行数据存储及相应操作。 Redis实例是否有CPU处理能力、带宽和连接数等限制？ 分布式缓存服务Redis实例在CPU处理能力、数据传输带宽（上行/下行）和连接数等方面都有限制。 不同规格实例的性能参数有所区别，详情请参见规格概览，您也可以查看购买页上的对应提示。 单个实例有多少个数据库？ 单个分布式缓存服务Redis版实例默认有256个数据库（DB）。 说明 集群架构实例默认也有256个数据库（DB）。 Redis实例是否都有主从节点？ 节点类型为主备版的Redis实例（含集群实例）都具备主从节点，单机版本的Redis实例则仅具备主节点。具体请参考实例类型概览 目前支持的实例规格包括标准版单机、标准版主备、集群版单机、集群版主备，可根据业务场景选用不同规格的实例。通过自研的aof+rdb持久化机制，所有产品系列都支持数据持久化，满足高性能的同时兼顾数据可靠。 分布式缓存服务Redis版是否开放了作为只读节点的从节点？ 分布式缓存服务Redis版是主从（MasterReplica）双节点的架构，这种架构下，通常有一个主节点（Master）和一个或多个从节点（Replica）。主节点负责写操作和处理读操作，而从节点则负责复制主节点的数据，提供冗余备份和支持读操作的负载均衡。 目前暂未将从节点作为只读节点开放。