分片设计规范 在文档数据库服务分片集群中，分片的设计规范是非常重要的，它可以影响集群的性能、可扩展性和可靠性。以下是一些常见的文档数据库服务分片设计规范： 分片键的选择：分片键是用于分片集合的字段或字段组合。应该选择具有高选择性（即有区分度）的字段作为分片键，例如访问频率较高的字段或具有高度唯一性的字段。应该避免使用随机值或低选择性的字段作为分片键，因为这会导致数据分布不均衡，影响集群性能和可扩展性。 分片键的数据类型：分片键的数据类型应该选择适合应用程序和数据的数据类型。例如，如果查询经常使用时间戳，则可以将时间戳作为分片键，并选择适合的日期时间数据类型。 分片键的范围：分片键的范围应该选择适当的范围，以便在数据分片时能够均匀分布。例如，如果使用范围查询，则应该选择具有大范围的分片键，以便在多个分片上均匀分布数据。 分片集群的节点数：分片集群的节点数应该根据数据量、负载和可扩展性需求来选择。通常建议将分片集群的节点数设置为2的幂次方，例如2、4、8、16等，以便更好地管理和维护集群。 避免 id 作为分片键 。id 通常是有序的,不太符合分布广泛的要求。并且经常使用 id 作为查询条件，不利于分片。 分片的备份和恢复：在使用文档数据库服务分片集群时，应该定期备份和恢复数据，以保证数据的安全性和可靠性。可以使用文档数据库服务提供的备份和恢复工具或第三方工具来完成这些操作。 需要留意的是，在设计文档数据库服务分片集群时，应该根据具体的应用程序和文档数据库服务环境来选择合适的分片设计规范。在分片集群的运维和维护过程中，应该遵循文档数据库服务的最佳实践和规范，例如合理管理数据、监控集群性能和故障等。

本页介绍了数据库存储。 文档型数据库使用了什么样的存储配置 文档数据库服务存储提供了多种类型的硬盘（普通IO、高IO、通用型SSD、超高IO）以便用户根据不同应用场景来选择IO。 当数据的大小超过了文档数据库实例所允许的最大存储，应该如何处理 数据清理和优化 首先，您可以对数据库进行数据清理和优化，删除不再需要的数据、索引、日志等，以释放存储空间。这可以包括删除历史数据、归档数据、合并分片等操作，以减小数据库的存储需求。 存储扩容 如果您的应用程序所需的存储容量超过最大分配量，可以通过扩容存储来增加存储容量。 扩容单节点实例的磁盘空间 用户指南 实例变更 实例磁盘扩容 扩容单节点实例的磁盘空间 扩容副本集实例的磁盘空间 用户指南 实例变更 实例磁盘扩容 扩容副本集实例的磁盘空间 扩容集群实例的磁盘空间 用户指南 实例变更 实例磁盘扩容 扩容集群实例的磁盘空间 文档数据库服务实例的只读模式是指什么 文档数据库服务实例从节点，被配置为只读节点，而不能执行写入操作。这意味着在只读状态下，客户端只能从实例中读取数据，但无法对数据进行修改、插入或删除操作。 备份和恢复： 当需要对数据库进行备份或者从备份中恢复数据时，将实例切换到只读模式可以确保在备份过程中没有数据被修改，从而保证备份数据的一致性。 读写分离： 可以配置只读节点来处理读取请求，从而减轻主实例的负担，提高整体性能。 故障转移： 在进行故障转移或主备切换时，将新的主实例设置为只读模式，以便在切换过程中避免写入冲突。 性能优化： 对于只涉及数据读取的场景，如报表生成，可以将查询操作路由到只读节点，以提高整体性能。

本页介绍了如何创建文档数据库服务集合。 创建集合 在文档数据库服务中，创建集合的步骤如下： 1. 首先使用或者创建数据库。 use mydatabase 2. 创建集合使用 db.createCollection()方法。 db.createCollection("authors") 3. 也可以在插入文档时动态创建集合。 db.authors.insertOne({name: "John"}) 上述语句中，authors集合会在插入文档时自动创建。 4. 指定可选参数来创建集合。 db.createCollection( , { capped: ,//是否创建固定大小的集合，默认为false autoIndexId: ,//若指定为false，表示禁止自动在id字段创建索引 size: ,//如果创建的是固定大小的集合，指定集合的大小，单位为字节，默认为4096字节 max: ,//如果创建的是固定大小的集合，指定集合中文档的最大数量，默认为无限制 storageEngine: ,//指定集合的存储引擎，例如WiredTiger或MMAPv1等 validator: ,//指定集合的验证器，用于验证插入或修改的文档是否符合指定的规则 validationLevel: ,//validationLevel这个选项用于指定对集合文档的校验级别，默认值为off(关闭文档验证)，还有moderate(基本文档结构验证)和strict(严格模式验证)可选值 validationAction: ,//用于指定文档验证失败时的行为,默认值为error(文档验证失败时报错，不允许写入)。还有一个warn(文档验证失败时发出警告,但仍允许写入) indexOptionDefaults: ,//指定集合中索引的默认选项，例如唯一性、稀疏性和过期时间等 viewOn: ,//如果创建的是视图集合，指定视图的来源集合 pipeline: ,//如果创建的是视图集合，指定视图的聚合管道，用于对来源集合进行聚合操作 collation: ,//用于指定集合的校对规则 writeConcern: //用于指定集合操作的写入关注级别 } ) 回显信息如下表示创建成功： { "ok" : 1 } 5. 查看当前数据库中的所有集合。 show collections 6. 删除集合使用 db.collection.drop()。 db.authors.drop() 7. 重命名集合使用 db.renameCollection()。 db.renameCollection("oldCollection", "newCollection") 创建集合时请留意： 集合名不能以 “system”、“.”或 “$”开始。 集合名不应超过128字节。 集合名不能包含“.”。

本页介绍了文档数据库服务如何使用分片实例提升数据库性能。 对于数据量和请求量很大的业务场景，可以使用文档数据库服务集群版本来提升容量和性能。 集群版本包含的 3 种组件： mongos 节点。用户通过 mongos 节点操作数据库，mongos 会将用户的操作请求路由到底层的存储分片中，并收集结果进行合并等操作后赶回给客户端。 config server 节点。底层是 3 副本主从架构，存储路由表、用户、集群配置等信息。对于用户来说是不感知的。 shard server 节点。分片集群有 2 个或者多个 shard，每个 shard 都是独立的 3 副本主从架构。每个 shard server 存储具体的用户数据，执行具体的数据操作。 创建分片表 如果使用集群版本，用户可以在建表时指定片建创建分片表。后续对分片表的读写操作会根据指定的分片建路由到合适的 shard server 中。 需要注意的是，集群版本也能创建非分片表。如果用户在连接 mongos 之后没有按照分片表的方式建表，默认会创建一个非分片表，并存储在某一个 shard server 上，此时容量和性能都会受限。 选择分片策略 文档数据库服务集群常用的分片方式有范围和哈希方式。 范围分片 范围分片方式会按照分片键的范围将数据分成多个 chunk，每个 chunk (默认配置是 64MB) 存储一部分范围连续的数据。范围分片能够很好地满足范围查询需求，但是缺点也很明显。如果业务的写入模型有明显按照分片建递增或者递减的趋势，则写入操作很大程度上会分布再同一个 shard 上，导致无法扩展写能力。 哈希分片 哈希分片方式会先计算分片键的哈希值，然后再根据哈希值的取值范围进行分片，将文档分布到不同的 chunk 中。基于哈希分片能够保证数据在各个分片上的分布基本均衡。但是缺点在于如果出现范围查询，mongos 节点需要将请求广播到 shard server 上，导致查询效率会有所下降。

应用场景 客户端IP指的是访问者（用户设备）的IP地址。在Web应用开发中，通常需要获取客户端真实的IP地址。例如，投票系统为了防止刷票，需要通过获取客户端真实IP地址，限制每个客户端IP地址只能投票一次。 当您的网站已接入Web应用防火墙（Web Application Firewall，简称WAF）进行安全防护后，WAF作为一个反向代理存在于客户端和服务器之间，服务器的真实IP被隐藏起来，Web访问者只能看到WAF的IP地址。此时，您可直接通过WAF获取客户端的真实IP，也可以通过配置网站服务器获取客户端的真实IP。 本章节介绍了通过WAF直接获取真实IP的方法，以及不同类型的Web应用服务器（包括Tomcat、Apache、Nginx、IIS 6和IIS 7）如何进行相关设置，以获取客户端的真实IP。 方案架构 通常情况下，网站访问并不是简单地从用户的浏览器直达服务器，中间可能部署有CDN、WAF、高防等代理服务器（架构为“用户> CDN/WAF/高防等代理服务 > 源站服务器”）。 说明 当网站没有接入到WAF前，DNS直接解析到源站的IP，用户直接访问服务器。 当网站接入WAF后，需要把DNS解析到WAF的CNAME，这样流量才会先经过WAF，WAF再将流量转到源站，实现网站流量检测和攻击拦截。 在这种情况下，访问请求到达源站服务器之前可能经过了多层安全代理转发或加速代理转发，服务器如何获取发起请求的真实客户端IP呢？ 一个透明的代理服务器在把用户的HTTP请求转到下一环节的服务器时，会在HTTP的头部中加入一条“XForwardedFor”记录，用来记录用户的真实IP，其形式为“XForwardedFor：客户端的真实IP，代理服务器1IP， 代理服务器2IP，代理服务器3IP，……”。 因此，您可以通过获取“XForwardedFor”对应的第一个IP来得到客户端的真实IP。

本文介绍了认证与访问控制相关说明。 RDSPostgreSQL支持CTIAM身份认证与多种访问控制，多维度保障您云数据库的安全。 身份认证 CTIAM 统一身份认证（Identity and Access Management， 简称：CTIAM），是提供用户进行权限管理的基础服务，可以帮助您安全的控制天翼云服务和资源的访问及操作权限，包括：用户身份认证、权限分配、访问控制等功能。 您可以创建IAM用户，并为其设置RDSPostgreSQL实例权限，该用户就可以通过用户名和密码访问授权的实例资源。 访问控制 权限控制 购买RDSPostgreSQL实例之后，您可以使用CTIAM为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，通过CTIAM进行精细的权限管理。 VPC和子网 虚拟私有云（Virtual Private Cloud，VPC）为RDSPostgreSQL构建隔离、私密的虚拟网络环境，提升数据库的安全性，并简化用户的网络部署。您可以完全掌控自己的专有网络，VPC丰富的功能帮助您灵活管理云上网络，包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 通过子网与其他网络隔离，独享网络资源，提高网络安全性。 具体内容请参见虚拟私有云用户指南创建虚拟私有云和子网。 白名单管理 白名单管理中，用户可对实例设置可访问的IP地址或IP段，控制数据库的安全访问，来保证保障其访问来源的安全性。 具体请参见关系数据库PostgreSQL版用户安全数据安全白名单管理。 安全组 安全组是一个逻辑上的分组，可以为同一个虚拟私有云内具有相同安全保护需求并相互信任的数据库实例提供相同的访问策略。您可以通过为数据库实例设置安全组，开通需访问数据库的IP地址和端口，来保证保障其运行环境的安全性和稳定性。 具体请参见关系数据库PostgreSQL版快速入门步骤二：设置安全组规则。

Service Service是用来解决Pod访问问题的。每个Service有一个固定IP地址，Service将访问流量转发给Pod，而且Service可以给这些Pod做负载均衡。 图 通过Service访问Pod 根据创建Service的类型不同，可分成如下模式： ClusterIP：用于在集群内部互相访问的场景，通过ClusterIP访问Service。 NodePort：用于从集群外部访问的场景，通过节点上的端口访问Service。 LoadBalancer：用于从集群外部访问的场景，其实是NodePort的扩展，通过一个特定的LoadBalancer访问Service，这个LoadBalancer将请求转发到节点的NodePort，而外部只需要访问LoadBalancer。 Service的详细介绍请参见Service概述。 lngress Service是基于四层TCP和UDP协议转发的，而Ingress可以基于七层的HTTP和HTTPS协议转发，可以通过域名和路径做到更细粒度的划分，如下图所示。 图 IngressService Ingress的详细介绍请参见Ingress概述。 网络访问场景 负载网络访问可以分为如下几种场景。 集群内部访问：创建ClusterIP类型的Service，通过Service访问负载。 外部访问负载：从外部访问负载推荐使用Service（NodePort类型或LoadBalancer类型）或Ingress访问。 公网访问负载需要节点或LoadBalancer绑定公网IP。 内网访问负载通过节点或LoadBalancer内网IP即可。如果跨VPC需要通过对等连接等手段打通不同VPC网络。 负载访问外部： 负载访问内网：负载访问内网地址，在不同容器网络模型下有不同的表现，需要注意在对端安全组放通容器网段，具体请参见容器如何访问VPC内部网络。 负载访问公网：访问公网有几种方法可以实现，一是让容器所在节点绑定公网IP（容器网络模型为VPC网络或容器隧道网络），另一个是通过NAT网关配置SNAT规则，具体请参见从容器访问公网。 图 网络访问示意图

本章节为您介绍策略管理的相关内容。 策略管理目前包含安全规则、访问控制、AI合规等模块。 通过策略管理配置规则检测到异常流量后，会记录到告警日志中。 新增访问控制规则 访问控制是对请求参数，请求头，请求体、响应体等做访问控制的功能，当请求满足配置的规则条件时，将会产生告警日志或阻断请求不转发到上游服务。 1.登录API安全网关。 2.在左侧导航栏选择“策略管理 > 访问控制”，进入访问控制页面。 3.单击页面上方的“新增”按钮，即可开始新增访问控制规则。 选项 说明 名称 自定义规则名称，名称不允许重复。 启用 默认启用，禁用后规则不生效。 规则描述 输入规则描述信息。 服务 默认选择全部服务，可指定一个服务。 API 默认选择全部API，可指定多个API。 动作 仅警告：产生告警日志，不阻断请求。 告警并阻断：阻断请求并且产生告警日志。 告警等级 选择告警等级：警告、一般、重要、严重。 规则条件 内置条件 至少配置以下一项条件，每个条件至多添加一次。运算符支持：等于、不等于、正则匹配、正则匹配（不区分大小写） 客户端IP：匹配/不匹配客户端IP，支持IP和子网掩码格式； 请求URL：设置请求URL规则条件，如/get； 请求方法：设置请求方法条件，如GET、POST、PUT……； 请求体：设置请求体条件； HOST：设置HOST条件； UA：设置UA条件； Referer：设置Referer条件； 请求头 配置自定义请求头表达式，如：”ContentType”, ””, ”application/json”。 响应体 输入响应体内容，返回的响应体满足条件时，请求会执行对应动作。 API调用者 指定服务时选择，对指定API调用者生效，支持选择自定义API调用者或提取到的API调用者。 拒绝码 动作选择告警并阻断时填写，返回阻断的拒绝码。 拒绝描述信息 动作选择告警并阻断时填写，配置阻断后返回的信息。 生效时间 可选择任意时间，以及每天、每周、每月指定时间，超出生效时间规则无效。 有效期 可选择永久有效、自定义时间。过期后规则不生效。 4.填写完成后，单击“提交”即可完成访问控制规则新增。

本页介绍天翼云TeleDB数据库实例运行快照。 操作步骤 1. 以用户名和密码登录分布式数据库TeleDB控制台，在左侧导航树单击实例监控 ，选择实例运行快照 页签。 2. 快照设置 1. 单击快照设置 ，弹出实例运行快照策略设置 对话框。 2. 在实例运行快照策略设置 对话框中，打开运行快照开启状态，输入快照开启时间和快照间隔时间，单击确定 完成设置。 3. 手动快照 单击手动快照可立即执行快照。 4. 查询快照列表 可通过设置起始时间和结束时间，单击查询筛选已产生的快照列表。 5. 查看快照详情 单击对应快照记录的详情，可查看该快照的详细信息。 具体内容包括： 数据库状态：节点名称、IP、端口、角色、日志同步状态、运行状态。 数据库核心配置：synchronouscommit、maxpoolsize、autovaccum、maxconnection、workmem、walkeepsegments、vacuumdelta、sharedbuffers的参数值。 数据库连接分析：包括CN和DN的连接情况，如avgconn、avgconnactive、avgconnidle、avgconnlock等。 DataNode节点请求量统计：统计DN节点的增删改查请求量。 数据库检查点：节点的检查点情况，如checkpointstimed、checkpointsreq等。 存储情况分节点统计：节点的存储情况，如totalsize、totaltups。 慢查询TOP 50：慢查询的TOP 50情况。 错误日志情况：包括错误信息、级别。 buffer命中率分析：包括平均、最大和最小情况。 锁分析：最多展示等待时间最长50条。 节点CPU/内存利用率概况：节点CPU/内存利用率统计。 死锁详情：最多展示最近的50条。 回滚详情：最多展示最近的50条。 二阶段残留事务详情：二阶段残留事务详细信息。 6. 快照对比 1. 单击对应快照记录的快照对比，弹出快照对比 对话框。 2. 在快照对比对话框，选择要对比的快照，单击确定 可查看快照对比信息。

介绍WEB端直传媒体存储流程优化实践。 优化实践 在WEB端需要将用户的数据上传到媒体存储，常见的方法通常是让用户通过浏览器先上传文件到用户的应用服务器，然后应用服务器再上传到媒体存储。这种方案上传的中转数据需要经过用户应用服务器，传输效率低，同时在多任务上传的过程，无疑会增加应用服务器的压力。具体的上传流程如下图： 本文将介绍另外一种方案，通过在WEB端直接调用PostObject接口，将用户的文件对象直传给天翼云媒体存储。这种方案，具有传输效率高，降低用户应用服务器压力等优点。 WEB端直传媒体存储流程如下图： 在WEB端直传，我们主要基于媒体存储的post接口，用表单上传的方式，将对象上传到指定的桶里面，所以在上传之前，我们需要先创建桶。同时上传的对象文件，最大不能超过5GB。 利用post接口进行表单直传的详细具体步骤： 1.将post上传接口中基于表单上传需要发送的Policy信息，发送给应用服务器。我们假设发送给应用服务器的Policy信息，如下： {"expiration":"20231228T00:00:00Z","conditions":[{"bucket":"openapihptest"},{"key":"postdog.png"}]} 2.应用服务器收到Policy信息后，对其进行签名，然后返回给用户。 应用服务器，我们可以采用Java,Python,GoLang等语言进行开发，计算post上传的签名信息。 我们假设后端应用服务器是python开发的，使用v2签名，示例代码如下： import base64 import hmac import hashlib import binascii def sign2(key, msg): return hmac.new(bytes(key, encoding'utf8'), msg.encode("utf8"), hashlib.sha1).digest() def getSignatureKey2(key, encodepolicy): signaturebyte sign2(key, encodepolicy) return binascii.b2abase64(signaturebyte) if name "main": SK 'xxxxx' bucketName 'xx' objectKey 'xx' expirationTime "20231228T00:00:00Z" policy "{"expiration": "%s"," ""conditions": [" "{"bucket": "%s" }," "{"key":"%s"}" "]}" % (expirationTime, bucketName, objectKey) print(f"policy:{policy}") encodePolicy bytes.decode(base64.b64encode(policy.encode('utf8'))) print(f"encodePolicy:{encodePolicy}")

介绍新建文件空间具体步骤。 功能说明 媒体存储支持通过控制台创建文件空间，根据资源池不同，具体操作有所不用，请根据您开通的资源池参考相关操作。 天翼云媒体存储提供直连连接模式。直连方式可创建资源后直接连接；支持NFS协议与CIFS协议两种接入方式： NFS协议主要用于Linux系统上的资源接入，支持主流的NFS4，其他版本接入方法类似。 CIFS协议主要用于Windows系统上的资源接入，支持SMB2以上直接接入。 前提条件 已注册天翼云账号。 已订购媒体存储文件存储。 已登录媒体存储控制台。 使用说明 目前媒体存储中的文件存储暂不支持自助订购，如需使用，可联系您的客户经理。 以下操作除天津资源池2区、天津资源池3区适用 1. 进入文件空间菜单页面，在单击【 新建文件系统】 。 2. 录入名称、数量、容量、存储区域、接入网络、连接模式、接入协议等信息，参数具体说明可参考：配置参数说明，点击【 保存】完成操作 。 配置参数说明 参数 填写说明 名称 长度为450个字符，只能含小写字母、数字和短横线（），不能以短横线开头或结尾 数量 须在100以内的整数，大于1时将自动在名称后加后缀,如name01,name02 容量 1GB32TB，仅限整数输入 存储区域 选择创建资源所在的存储区域 接入网络 选择能支持的接入网络 连接模式 支持直连模式 接入协议 支持NFS/CIFS两种协议类型 账号 接入协议选择CIFS，需要填写共享账户名，默认为store，可自行修改 密码 接入协议选择CIFS，需要填写共享账户密码，默认为store，可自行修改 以下操作适用于天津资源池2区、天津资源池3区 1. 选择文件系统文件系统列表菜单页面，点击【创建文件系统】。 2. 选择存储区域、存储类型，输入文件系统名称、总容量、协议类型、接入网络类型以及接入网络等内容。参数具体说明可参考：配置参数说明，点击【确认创建】完成操作。

本章节主要介绍新建DWS连接。 本章节以新建DWS连接为例，介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。 1. 在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。 2. 在创建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、MRS Presto类型的数据连接前，需确保您已创建MRS集群，并且在创建数据链接时已创建选择所需要的组件。 3. 在创建RDS类型的数据连接前，请确保您已创建RDS数据库实例。DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库引擎。 在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 1. 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 2. 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： ①DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。 ②DataArts Studio实例（指DataArts Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见《虚拟私有云》帮助文档中的“添加路由信息”章节，配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组 > 添加安全组规则”章节。 ③此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。

本章节主要介绍如何管理企业项目。 企业项目是一种云资源管理方式。企业管理（Enterprise Management）提供面向企业客户的云上资源管理、人员管理、权限管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式，企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限的管理。 绑定企业项目 在数据仓库服务(DWS) 中，用户可以在创建集群时为集群选择所属的企业项目，从而将数据仓库服务(DWS)集群与企业项目进行关联，详情请参见创建集群。在选择“企业项目”的下拉列表中，将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”，如果用户没有为集群选择企业项目，将使用缺省项目“default”。 在集群创建过程中，如果集群与企业项目绑定成功，则集群创建成功，如果绑定失败，系统会发送告警，集群就会创建失败。 在为数据仓库服务(DWS)集群创建快照时，会同时保存集群与企业项目的关联关系，在恢复集群时，也会恢复企业项目的关联关系。 当删除数据仓库服务(DWS)集群时，数据仓库服务(DWS)集群与企业项目的关联关系就会被自动删除。 查看企业项目 在集群创建成功后，您可以在集群列表和集群基本信息页面查看集群关联的企业项目。用户只能查询到有访问权限的项目下的集群资源。 在集群管理页面的集群列表中，查看集群所属的企业项目。 在集群列表中，找到所需要的集群，然后单击集群名称，进入集群“基本信息”页面，可以查看与集群关联的企业项目。单击企业项目的名称，可以跳转到企业管理的控制台页面对该企业项目进行查看或编辑。 同时，在企业管理的控制台中，查询指定项目中的资源列表时，也可以查询到数据仓库服务(DWS) 服务的资源。

本文主要介绍 消息类问题 Kafka生产消息的最大长度是多少？ 生产消息的最大长度为10M。 为什么Kafka实例常常发生Rebalance，导致消息拉取失败？ 消费组的Rebalance就是对Topic分区的重新分配。 正常情况下消费组内加入新的消费者或老的消费者退出都会导致Rebalance，这种情况是无法避免的。但是某些特殊情况下，消费者会被误认为异常从而被踢出消费组，此时可能会导致消费异常，需要重点关注。 消费者被误认为异常从而被踢出消费组的场景如下： 1. 未能及时发送心跳请求。 消费者以设置的heartbeat.interval.ms为间隔向broker发送心跳请求，如果broker在session.timeout.ms时间内没有收到消费者的心跳请求，broker会认为消费者异常，从而将其从消费组中踢出，然后开始新一轮的Rebalance。 2. 消费者消费时间间隔过长。 消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，时延增加等）导致消费时间增加，在max.poll.interval.ms时间内消费者没有发起下一次消费请求，broker认为消费者不活跃而将其踢出消费组，然后开始新一轮的Rebalance。 解决方法/排查思路 场景一： 未能及时发送心跳请求 解决方法： 建议在消费者客户端将session.timeout.ms值设置为heartbeat.interval.ms值3倍以上。 场景二： 消费者消费时间间隔过长 排查思路： 1. 检查单条消息的处理时间是多久，处理max.poll.records条消息会不会超过max.poll.interval.ms时间。 2. 消息处理流程是否有网络行为，如写数据库、调用后端API等，在发生Rebalance的场景下后端是否正常。 解决方法： 建议在消费者客户端将max.poll.records值减小。

DRS界面信息重叠是什么原因 DRS界面出现信息重叠通常是页面缩放率过小导致的，建议将页面缩放率调整为100%即可显示正常。 MySQL源库设置了global binlogformat ROW没有立即生效 使用DRS进行MySQL的迁移时，必须确保源库的binlogformat是ROW格式的，否则就会导致任务失败甚至数据丢失。在源库设置了global级别的binlogformatROW之后，还需要中断之前所有的业务连接，因为设置之前的连接使用的还是非ROW格式的binlog写入。 安全设置global级binlogformatROW的步骤 步骤 1 通过MySQL官方客户端或者其它工具登录源数据库。 步骤 2 在源数据库上执行全局参数设置命令。 set global binlogformat ROW; 步骤 3 在源数据库上执行如下命令确认上面操作已执行成功。 select @@global.binlogformat; 步骤 4 您可以通过如下两种方式确保修改后的源库binlogformat格式立即生效。 方法一： 1. 选择一个非业务的时间段，中断当前数据库上的所有业务连接。 a. 通过如下命令查询当前数据库上的所有业务连接(所有的binlog Dump连接及当前连接除外)。 show processlist; b. 中断上面查出的所有业务连接。 说明 在上述操作未结束之前，请不要创建或者启动迁移任务，否则会导致数据不一致。 2. 为了避免源库binlogformat格式因为数据库重启失效，请在源库的启动配置文件(my.ini或my.cnf等)中添加或修改配置参数binlogformat并保存。 binlogformatROW 方法二： 3. 为了避免源库binlogformat格式因为数据库重启失效，请在源库的启动配置文件(my.ini或my.cnf等)中添加或修改配置参数binlogformat并保存。 binlogformatROW 4. 确保上述配置参数binlogformat添加或修改成功后，选择一个非业务时间段，重启源数据库即可。

本节介绍了实时同步链路规格说明的相关内容。 注意事项 文中提供的性能指标仅用于提供参考的测试数据，实际环境会受源或目标数据库性能、网络带宽、数据模型、业务模型等因素影响。 规格说明 表 全量同步性能上限 链路名称 全量性能上线（MB/s）参考 MySQL为源链路 50 Oracle为源链路 40 Redis为源链路 30 GaussDB为源链路 40 PostgreSQL为源链路 30 DDM为源链路 20 MongoDB为源链路 20 注意 影响DRS迁移速度的因素很多，当前全量阶段迁移速度为网络和数据库性能无瓶颈、任务为大规格时的测试数据，仅供用户进行参考。 当目标数据库为Oracle或者GaussDB(DWS)时，受限于目标数据库写入机制，全量速度相较于其他类型数据库下降30%~50%。 MongoDB数据库的写入性能会受索引个数影响，单个索引影响58%，索引越多，速度越慢。 实时同步根据同步链路的增量性能上限，定义了六种规格：极小、小、中、大、超大、极大，各个规格的同步性能上限如下表。 表 规格性能上限 规格名称 增量性能上限（行/秒）参考 极小 300 小 3000 中 7500 大 10000 超大 20000 极大 大于20000 说明 规格的线上运行性能受网络环境、源数据库和目标数据库的性能、延迟等因素影响，实际的性能值会有差异，表中性能上限值仅供参考。 DRS规格：DRS为用户提供的不同性能的链路规格，以全量同步（不限速）和增量同步性能为衡量标准。 性能上限（行/秒）：表示每秒同步的事务数，包括BEGIN、COMMIT 、DML语句（INSERT、DELETE、UPDATE）及DDL语句。用户可通过云监控CES5.9.3 查看监控指标获取。 目前，DRS同步仅支持任务类型为单AZ的同步任务升级实例规格，不支持父子任务升级实例规格，不支持降低规格，具体操作及约束限制可参考5.6.6.12 同步规格变更。 对于支持内容对比的链路，如果创建任务时可以选择实例规格，那么仅支持大规格及以上规格进行内容对比。

本章主要介绍翼MapReduce的恢复Hive业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Hive数据。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动Hive的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查Hive备份文件保存路径。 停止Hive的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章介绍天翼云关系型数据库的一些通用常见问题及解决办法。 使用RDS要注意些什么 1. 实例的操作系统，对用户都不可见，这意味着，只允许用户应用程序访问数据库对应的IP地址和端口。 2. 对象存储服务（Object Storage Service，简称OBS）上的备份文件以及关系型数据库服务使用的弹性云服务器（Elastic Cloud Server，简称ECS），都对用户不可见，它们只对关系型数据库服务的后台管理系统可见。 3. 查看实例列表时请确保与购买实例选择的区域一致。 4. 申请关系型数据库实例后，您不需要进行数据库的基础运维（比如高可用、安全补丁等），但是您还需要重点关注以下事情： 1. 关系型数据库实例的CPU、IOPS、空间是否足够，如果不够需要变更规格或者扩容。 2. 关系型数据库实例是否存在性能问题，是否有大量的慢SQL，SQL语句是否需要优化，是否有多余的索引或者缺失的索引等。 什么是RDS实例可用性 关系型数据库实例可用性的计算公式： 实例可用性（1–故障时间/服务总时间）×100% RDS实例是否会受其他用户实例的影响 关系型数据库实例不会受其他用户实例影响，因为每个用户的关系型数据库实例与其他用户的实例是相互独立的，并且有资源隔离，互不影响。 关系型数据库支持跨AZ高可用吗 RDS支持跨AZ高可用。当用户创建实例的时候，选择主备实例类型，可以选择主可用区和备可用区不在同一个可用区（AZ）。 可用区指在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。 关系型数据库服务支持在同一个可用区内或者跨可用区部署数据库主备实例，备机的选择和主机可用区对应情况： 不同（默认），主机和备机会部署在不同的可用区，以提供不同可用区之间的故障转移能力和高可用性。 相同，主机和备机会部署在同一个可用区，出现可用区级故障无法保障高可用性。

本节介绍连接Redis的网络要求。 任何兼容Redis协议的客户端都可以访问DCS的Redis实例，您可以根据自身应用特点选用任何Redis客户端，Redis支持的客户端列表请参见Redis客户端。 客户端连接Redis在不同的连接场景下，需要满足不同的连接约束： 使用同一VPC内客户端访问Redis实例。 安装了客户端的弹性云主机必须与Redis实例属于同一个VPC。Redis 4.0及以上版本的基础版实例，如果实例配置了IP白名单，需将弹性云主机的IP地址加入实例IP白名单，以确保弹性云主机与Redis实例的网络是连通的。 安全组配置，请参考如何选择和配置安全组。白名单配置，请参考配置Redis访问白名单。 客户端与Redis实例所在VPC为相同Region下的不同VPC。 如果客户端与Redis实例不在相同VPC中，可以通过建立VPC对等连接方式连通网络，具体请参考：缓存实例是否支持跨VPC访问。 客户端与Redis实例所在VPC不在相同Region。 如果客户端服务器和Redis实例不在同一Region，支持通过VPN等方式打通网络，请参考VPN。 在跨Region访问Redis实例时，实例域名无法跨Region解析，无法通过域名访问。可以通过在hosts中手动配置域名与IP绑定关系或使用IP进行访问。 公网访问 客户端公网访问Redis 4.0及以上版本实例时，请参考开启Redis公网访问并获取公网访问地址开启实例公网访问。 客户端公网访问Redis 3.0实例时，Redis缓存实例需要配置正确的安全组规则。当SSL加密功能关闭时，Redis实例的安全组入方向规则，必须允许外部地址访问6379端口；当SSL加密功能开启时，则必须允许外部地址访问36379端口。具体配置请参考常见问题：[如何选择和配置安全组](

本节介绍OpenSSL漏洞修复最佳实践。 OpenSSL简介 OpenSSL是一个开放源代码的软件库包，应用程序可以使用这个包来进行安全通信，避免窃听，同时确认另一端连接者的身份。这个包广泛被应用在互联网的网页服务器上，因此需要注重OpenSSL安全漏洞的修复。 OpenSSL用途 加密和解密数据：OPENSSL支持对称和非对称加密算法，可以用于安全的数据加密和解密操作。 数字签名：OPENSSL可以对数据进行数字签名，提高数据的可信度和合法性。还可以验证数字签名和证书的有效性。 SSL/TLS协议实现：OPENSSL支持SSL、TLS等协议，可以用于建立安全的网络连接，对数据进行加密传输，提高网络的安全性。 生成和管理数字证书：OPENSSL可以生成和管理各种类型的数字证书，包括服务器证书、客户端证书等。数字证书是实现安全通信的重要工具之一。 伪随机数生成器：OPENSSL可以生成高质量的伪随机数，用于各种密码算法中的随机数种子。 其他的密码学工作：除了上述主要用途外，OPENSSL还包括了各种密码学工具和库，可以实现密码算法的实现和分析。 依赖OpenSSL的软件或协议 MongoDB 4.4 Nginx KeepAlived Https OpenSSH SSH VPN 电子邮件 OpenSSL漏洞扫描 您可以参考漏洞扫描最佳实践进行漏洞扫描。 OpenSSL常见漏洞 CVE20160705 OpenSSL DSA代码双重释放漏洞 漏洞危害 OpenSSL 1.0.2及更早版本、1.0.1及更早版本解析畸形DSA密钥中存在双重释放漏洞，可导致受影响应用拒绝服务或内存破坏。 影响版本 OpenSSL 1.0.2及更早版本 OpenSSL 1.0.1及更早版本 修复建议 目前厂商已经发布了升级补丁以修复此安全问题，补丁获取链接：< CVE20160799 OpenSSL‘BIOprintf’函数安全漏洞 漏洞危害 OpenSSL 1.0.2及更早版本、1.0.1及更早版本在BIOprintf函数的实现上存在内存破坏漏洞，可导致内存泄露等。 影响版本 OpenSSL 1.0.2及更早版本 OpenSSL 1.0.1及更早版本 修复建议 目前厂商已经发布了升级补丁以修复此安全问题，补丁获取链接：< CVE20162842 OpenSSL doaproutch函数拒绝服务漏洞 漏洞危害 OpenSSL 1.0.1 < 1.0.1s、1.0.2 < 1.0.2g版本，crypto/bio/bprint.c/doaproutch函数未验证某些内存分配结果，这可使远程攻击者造成拒绝服务。 影响版本 OpenSSL 1.0.1 < 1.0.1s OpenSSL 1.0.2 < 1.0.2g 修复建议 目前厂商已经发布了升级补丁以修复此安全问题，补丁获取链接：< CVE20162108 OpenSSL ASN.1编码器内存破坏漏洞 漏洞危害 OpenSSL中的ASN.1解析器在对数据解析时没有正确处理特定标签，当遇到VASN1NEGINTEGER和VASN1NEGENUMERATED标签时，ASN.1解析器也会将其视作ASN1ANY类型，从而解析其中的数据。当数据再次编码序列化时，可能造成数据越界写入，引起内存损坏。 影响版本 OpenSSL Project OpenSSL 1.0.2 OpenSSL Project OpenSSL 1.0.1 不受影响版本 OpenSSL Project OpenSSL 1.0.2c OpenSSL Project OpenSSL 1.0.1o 修复建议 目前厂商已经发布了升级补丁以修复此安全问题，补丁获取链接：<

数据采集时，需要在ECS上安装Agent，当出现安装失败等问题时，请参照本节进行排查处理。 可能原因 Agent安装失败的可能原因如下： 待安装Agent的ECS服务器与存储Agent的OBS桶之间网络不通。 ECS服务器的磁盘空间不足 调用iamtoken请求，获取iamtoken失败 workspaceId校验失败 Agent已经安装，系统仍将重复安装 原因排查及解决方法 待安装Agent的ECS服务器与存储Agent的OBS桶之间网络不通 主机与OBS网络不通： 解决方法 ： （可选）方法一：将ECS主机与OBS的网络连通。 （可选）方法二：手动将安装脚本以及安装包下载到本地后，再将安装包上传到主机的“/opt/cloud”路径下。 1. 登录OBS管理控制台。 2. 在左侧导航栏选择“桶列表”，并单击目标桶名称，进入桶对象管理页面。 3. 单击目标桶对象名称，进入桶对象详情页面后，下载安装脚本和安装包。 4. 通过远程管理工具（如：SecureFX、WinSCP）远程登录目标云服务器。 5. 将安装包上传到主机的“/opt/cloud”路径下。 ECS主机的磁盘空间不足 磁盘空间不足： 解决方法 ： 清理磁盘，预留足够空间。

本文介绍如何将存储在对象存储中的文件复制到其他路径。 使用场景 ZOS提供了一种便捷的方法，让用户可以将存储在ZOS上的对象复制到其他路径下。复制操作将创建一个与原始对象完全相同的副本。 此外，如果用户需要将对象自动复制到其他区域，可以创建跨区域复制规则，以满足异地容灾等需求。详情请参见跨区域复制。 使用方式 使用方式 参考文档 控制台 详情请参见复制文件。 SDK ZOS支持多种SDK，关于SDK的代码示例请参见开发者文档。

1. 登录控制中心。 2. 单击控制中心顶部的，选择“地域”。 3. 单击左侧导航栏“产品服务列表”，选择“计算 >弹性云主机 > 专有宿主机”，进入专有宿主机列表页。您可以查看专有宿主机名称、状态、资源使用量等基本信息。 4. 在专有宿主机列表页，点击专有宿主机名称，即可跳转至该专有宿主机的详情页，可以进一步专有宿主机的详细信息以及当前专有宿主机上的实例列表。 5. 您可以对专有宿主机使用标签、名称或ID进行筛选，也可以对专有宿主机列表进行导出。

参数 参数类型 是否必填 说明 示例 clientToken String 是 客户端存根，用于保证订单幂等性, 长度 1 64 79fa97e3c48bxxxx9f466a13d8163678 regionID String 是 资源池ID 81f7728662dd11ec810800155d307d5b endpointID String 是 终端节点id endpointtmncs8h97b endpointName String 否 终端节点名称 updateit enableWhitelist Boolean 否 白名单开关 True.开启 False.关闭 false enableDns Boolean 否 是否开启dns, true:开启,false:关闭 false whitelist Array of String 否 白名单列表，最多支持同时添加 20 个 ip ["10.150.0.0/24","10.150.0.0/25"] description String 否 支持拉丁字母、中文、数字, 特殊字符：~~!@$%^& ()+ <>?:"{},./;'[]·~~ ！@￥%……& （） —— +{} 《》？：“”【】、；‘'，。、，不能以 http: / https: 开头，长度 0 128

本文介绍公共算力服务的产品优势。 丰富的场景化能力 支持多种异构算力跨地域的大规模调度能力。 实现不同云服务商、裸算力等多方算力并网能力。 灵活的多维度调度 提供业务调度、编排调度、作业调度的能力，满足不同场景的调度需求。 具备统一编排和跨域调度能力，支持可扩展的调度能力。 精细的可视化运营 算力调度、算力资源的精细化运营管理，提供稳定可靠的算力。 拥有完善的平台和规模化的算力运营经验。 开放的合作生态圈 以算力招募的方式接入社会算力。 提供开放兼容的算力并网接入方式和技术标准，打造开放的合作伙伴生态。

本节介绍天翼云手机的产品定义,以便您了解云手机。 天翼云手机是通过虚拟化技术在云端运行的安卓手机实例，手机上的应用可以在云上虚拟手机中运行。作为一款新型应用，云手机对传统手机起到了延伸和拓展作用，畅享移动办公、手机游戏和娱乐，企业客户也可以通过配备的全方位管控能力，实现对云端办公环境的安全管控。云手机目前提供产品版本： 天翼云手机（政企版） 向政府、金融、警务等各行业企业客户，提供安全、可管控、低成本的手机办公解决方案。 产品架构

本文介绍在函数计算中Context的相关概念和使用示例。 上下文 当函数计算运行您的函数时，会将上下文（context.Context）对象传递到执行方法中。该对象包含有关调用、服务、函数和执行环境等信息。 示例 您可以 import gitee.com/ctyunfaas/cfruntimegosdk/fccontext，通过fccontext.FromContext方法获取fccontext。如下示例将输出上下文相关信息： package main import ( "context" "encoding/json" "gitee.com/ctyunfaas/cfruntimegosdk/cf" "gitee.com/ctyunfaas/cfruntimegosdk/fccontext" ) func main() { cf.Start(HandleRequest) } func HandleRequest(ctx context.Context) (string, error) { fctx, : fccontext.FromContext(ctx) res, : json.Marshal(fctx) return string(res), nil }

本页介绍了如何创建数据库账户。 文档数据库服务产品支持在管理控制台直接创建数据库账户。 1. 进入TeleDB数据库控制台。 2. 点击“DDS”>“实例管理”菜单，进入实例列表页。 3. 选择需要创建数据库账户的实例，点击该实例的实例ID，进入实例详情页。 4. 点击“账户管理”进入到账户管理页。 5. 点击左上角的“创建账户”按钮，会弹出“创建账户”弹窗页。 6. 在“创建账户”弹窗页中，用户可以根据实际业务，依次对账户名、认证库、密码、赋予权限等选项进行补充。 7. 需要创建的账户信息确认后，点击弹窗页的“确定”按钮，即可完成数据库账户的创建。

本文介绍了启动RDSPostgreSQL实例的操作。 操作场景 在停止数据库实例后，支持手动重新启动实例。 约束限制 仅支持启动实例状态是“已停止”的实例。 操作步骤 1. 登录天翼云门户。 2. 点击控制中心，进入控制中心后，选择目标资源池。 3. 在产品列表页面中找到【数据库】→【关系数据库PostgreSQL版】，点击进入控制台。 4. 在左侧菜单中点击【PostgreSQL】→【实例管理】，点击进入产品实例管理页。 5. 在“实例管理”页面，选择指定的实例，单击“更多”选择启动操作。 注意 不同资源池因IaaS资源能力等原因，加载版本有所差异，详见

介绍通过XstorBrowser碎片管理的具体操作。 功能说明 登录XstorBrowser，可以通过碎片管理，查看碎片的对象名称、碎片数量、大小等，并对碎片进行删除操作。 文件碎片 文件碎片通常是由于数据上传失败而产生的。文件碎片会占用存储空间，因而按照存储容量计费项进行计费，请及时清理不需要的文件碎片。 操作步骤 1.登录XstorBrowser。 2.选择目标桶，右键鼠标，点击【碎片管理】。 3.进入碎片管理页面，可以对文件碎片进行查看和删除操作。

本页为您介绍数据库专家服务按次计费的资费、方式、周期及场景等。 标准资费中国内地 数据库专家服务的基础服务和保驾护航服务的计费方式为按次计费，标准资费如下表： 产品规格 标准资费（元） 单位 基础服务安装部署 7000 实例 基础服务健康巡检 7000 实例 基础服务应急响应 9000 实例 基础服务性能调优 9000 实例 保驾护航高级专家 15000 天 保驾护航资深专家 20000 天 计费方式 按购买的实例数 单价按次计费，或按购买的服务天数 单价按次计费。 计费周期 订购时一次性收费。 计费场景 适用于客户购买数据库专家服务的基础服务或保驾护航服务场景。

KMS提供两类SDK，分别为服务SDK和客户端加密SDK，您可以根据业务需求选择合适的SDK。 服务SDK 服务SDK对应KMS服务实例的API，当前支持Java语言，详细内容请参见服务SDK。 客户端加密SDK 客户端加密SDK是一个在应用侧集成的密码算法库，通过与密钥管理服务结合使用，提供数据加解密、文件加解密等功能，帮助在应用本地完成大型文件数据的加解密。详细内容请参见客户端加密模块概述。