参数 参数类型 说明 示例 下级对象 statusCode String 状态码 200成功 error String 返回码 CTCSSCN000000 :成功; CTCSSCN000001:失败; CTCSSCN000003：用户未签署协议，安全卫士系统无法正常使用; CTCSSCN000004：鉴权错误; CTCSSCN000005：用户没有付费版配额，功能不可用 CTCSSCN000000 message String 返回信息 成功 returnObj Object 返回对象

本章节为您介绍服务器安全卫士的白名单管理功能。 针对已经添加白名单的告警，您可以在白名单管理中对其进行编辑或删除。 编辑白名单 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“入侵检测 > 白名单管理”，进入白名单管理页面。 展示的字段为告警类型、告警名称、加白规则条件、规则生效范围、添加时间。 3. 可通过服务器名称 、服务器IP 或告警名称搜索白名单规则，选择需要编辑的白名单规则，单击“操作”列的“编辑”按钮。 4. 在弹出的“白名单编辑”对话框中，可编辑白名单规则的加白规则、生效服务器范围 和备注。 5. 在编辑完成后，单击“确认”即可完成白名单规则编辑。 新增白名单规则 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“入侵检测 > 白名单管理”，进入白名单管理页面。 3. 单击“新增规则”即可开始新增白名单规则。 4. 在弹出的对话框中配置白名单规则。 参数 参数说明 告警类型 选择该白名单规则适用的告警类型。 告警名称 选择该白名单规则适用的告警名称。 加白规则 自定义设置加白规则匹配条件。 设置生效范围 可选择“全部服务器”和“自选服务器”。 5. 填写完成后，单击“确定”即可完成白名单规则配置。

对比项 文档数据库服务 自建数据库 服务可用性 99.95% 自行保障，自行搭建主从复制，部署高可用环境等。 数据持久性 99.9999999% 自行保障，自行搭建主从复制，自建RAID等。 系统安全性 防DDoS攻击，及时自动修复各种数据库安全漏洞。 支持审计日志。 需要购买昂贵的硬件设备和软件服务，自行检测和修复安全漏洞等。 需要购买额外审计系统。 数据库备份 支持自动备份，根据业务运行周期设置自动备份策略。 支持随时手动备份数据，手动备份支持物理备份，备份效率提升3倍。 备份文件自动上传到对象存储服务（OBS）保存。 自行搭建设置和后期维护。 开源版本仅支持逻辑备份，备份效率低。 监控告警 已对接云监控服务（CES），监控可视化，可在CES上查看一段时间内的监控指标，以及设置阈值告警。 自行编写监控脚本和告警脚本，保存监控数据和绘制图表。 主机托管 无主机托管费用，即买即用。 自行购买3台服务器设备，托管费用昂贵。 维护成本 无额外运维成本，支持秒级性能监控和设置阈值告警、事件告警。 需要投入大量人力成本，招聘专业的DBA进行维护。 部署扩容 快速部署，即开即用，支持弹性扩容，一键规格变更。 需要购买和原设备匹配的硬件，需托管机房的配合，需部署设备，整体周期较长。 日志转储 支持保留1个月的慢日志和错误日志。 自行转储日志文件，自行导出和查询日志信息。 高可用监控 具备高可用能力，支持秒级Switchover和Failover。 自行部署高可用监控，手工命令行执行主备切换，可能会有数据丢失。

配置项 说明 安全策略名称 策略名称 源地址(IPBlock) 请求的网络层IP，支持单IP（203.0.113.4）或CIDR记法（203.0.113.0/24） remoteIPBlock 通过XForwardedFor头部或者proxy protocol传递过来的请求IP信息，支持单IP（203.0.113.4）或CIDR记法（203.0.113.0/24） HTTP域名(Host) 请求的域名 端口(Port) 请求的目标端口

本文介绍资源共享功能的优势 降低管理复杂度 在一个账号中创建资源实例，并共享给其他账号使用，避免了在每个账号中重复创建和配置资源，降低资源管理的复杂度，减少运营开销。资源所有者可以在资源共享服务中集中管理不同资源类型以及资源实例的共享配置，提升运营效率，且确保了资源配置的一致性。 提高管理安全性 资源共享服务内置了不同资源类型的共享权限，资源使用者只能对资源进行权限内的访问，保证共享资源在满足资源使用者业务诉求的同时，提升资源管理的安全性。 便捷的统一分配能力 用户通过资源共享服务将资源共享给企业中心中的整个组织或批量指定成员账号，并可对共享实例的生命周期统一管理。

本节介绍数据安全中心如何收费。 数据安全中心DSC提供两个服务版本：标准版和专业版，两种扩展包：数据库扩展包和OBS扩展包。 说明 不同版本的扩展包的费用不同，且购买扩展包需要对应版本购买，如标准版的扩展包只能支持标准版的基础套餐，专业版的扩展包只能支持专业版的基础套餐。 您可以根据业务需求选择相应的服务版本和搭配扩展包，服务将根据您选择的计费项目进行收费。详细计费信息见计费说明。 计费项 计费模式 计费项 选择方式 计费说明 包周期（包年/包月） 基础套餐 必选 按购买的版本规格（标准版/专业版）计费。 包周期（包年/包月） 数据库扩展包 可选 按购买个数计费。 包周期（包年/包月） OBS扩展包 可选 按购买个数计费。

本节介绍服务器安全卫士（原生版）配额管理操作指南。 在配额管理页面，可以查看并管理服务器安全卫士（原生版）主机防护的配额。 查看配额统计情况 配额使用统计：展示配额状态为“正常”的配额的使用情况，分使用中和未绑定2种情况。 配额状态统计：包括正常、已过期和已退订3种情况。 配额版本统计：展示已购买的企业版和旗舰版配额数量。 查看配额列表 页面下方是订购配额的详细列表，展示了配额ID、配额规格、配额状态、使用状态、绑定服务器、配额开通时间、配额到期时间。 该列表可以根据配额状态、使用状态、配额版本、配额ID、服务器名称和服务器IP进行查询。

本节介绍网页防篡改（原生版）的产品优势。 方便易用 只需在Web服务器一键安装Agent，简单配置防护策略即可实现防护，全部操作都有可视化界面，方便用户使用。 灵活配置 防护策略支持自定义配置，按需指定防护的进程和文件类型，支持各类网站文件的保护。 安全可靠 产品实现自我保护机制，防止被篡改，采用加密传输与服务端通信，保证数据安全。通过5000+台服务器的运行实践，稳定性高达99.998%，2分钟内离线自动重启机制，保障系统始终处于检测状态。 节约资源 正常的系统负载情况下，CPU占用率<1%，内存占用<40M，消耗极低。在系统负载过高时，Agent会主动降级运行（CPU占用率<1%），严格限制对系统资源的占用，确保业务系统正常运行。

适用场景 包年/包月计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景： 稳定业务需求：对于长期运行且资源需求相对稳定的业务，如企业官网、在线商城、博客等，包年/包月计费模式能提供较高的成本效益。 长期项目：对于周期较长的项目，如科研项目、大型活动策划等，包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 业务高峰预测：如果能预测到业务高峰期，如电商促销季、节假日等，可提前购买包年/包月资源以应对高峰期的需求，避免资源紧张。 数据安全要求高：对于对数据安全性要求较高的业务，包年/包月计费模式可确保资源的持续使用，降低因资源欠费而导致的数据安全风险。 适用计费项 根据所选购买区域，计费项略有不同： 在“一类节点”区域，通过数据库审计版本、数据盘扩容量大小进行计费： 计费项 说明 数据库审计版本 购买的数据库审计版本，目前可选标准版、高级版、企业版和旗舰版。 数据盘扩容 购买数据盘扩容的存储大小。 在“二类节点”区域，通过数据库审计实例个数、配套的云主机进行计费： 计费项 说明 数据库审计实例个数 购买的数据库审计实例个数。 云主机 开通数据库审计需要同步开通云主机，涉及购买云主机的规格、系统盘及数据盘。 在购买云服务页面底部，您将看到所需费用的明细。

本小节介绍服务器安全卫士的升级步骤。 升级步骤 登录云平台，进入控制中心“服务器安全卫士”界面，点击需要升级订单对应的“升级”按钮。 当该订单规格为基础版时，点击“升级”，弹出开通服务界面，规格默认“企业版”，可切换规格为“旗舰版”。 当该订单规格为企业版时，点击“升级”，弹出开通服务界面，规格只能选择“旗舰版”。 当该订单规格为旗舰版时，旗舰版为最高版本，不可再升级。 选择升级规格，提交订单。 注意 只能从基础版升级到企业版或旗舰版，或从企业版升级到旗舰版，不支持降级（比如从旗舰版降为企业版）。 升级页面 当前版本为基础版： 升级页面当前版本为企业版：

本节主要介绍DeleteAccountLoginSecurityPolicy。 此操作用来将IAM用户登录安全策略恢复为默认值。默认值为： PeriodWithLoginFailures：15分钟。 LoginFailedTimes：5次。 LockoutDuration：15分钟。 AllowSingleUsersSimultaneousLogin：true。 SessionDuration：30分钟。 请求参数 名称 描述 是否必须 ::: Action DeleteAccountLoginSecurityPolicy。 是 Version 请求版本。 取值：20100508。默认值为20100508。 否 请求示例 将IAM用户登录安全策略恢复为默认值。 POST / HTTP/1.1 Host: ooscniam.ctyunapi.cn Connection: KeepAlive xamzcontentsha256: UNSIGNEDPAYLOAD Authorization: SignatureValue XAmzDate: 20211214T024410Z ContentType: application/octetstream ContentLength: 58 ActionDeleteAccountLoginSecurityPolicy&Version20100508 响应示例 HTTP/1.1 200 OK xamzrequestid: 8f0b0ec76d984417 Date: Tue, 14 Dec 2021 02:44:12 GMT ContentType: text/xml;charsetUTF8 ContentLength: 161 Server: CTYUN 8f0b0ec76d984417

本章节主要介绍重置密码。 普通用户重置密码，请参考《数据仓库服务用户开发指南》中“管理数据库安全>管理用户及权限>设置安全策略>设置用户密码”章节。 重置密码 1.登录DWS 管理控制台。 2.单击“集群管理”。 3.在指定集群的“操作”列，选择“更多 > 重置密码”，弹出“重置密码”页面。 4.填写并确认新密码，单击“确定”。 密码复杂度要求如下： 密码长度为8～32个字符。 不能与用户名或倒序的用户名相同。 密码至少包含大写字母、小写字母、数字和特殊字符四类中的三类，其中可输入的特殊字符为：(~!?,.:;'"(){}[]/<>@%^&+)。 弱口令检查。 新密码不能与当前密码或当前密码的倒序相同。 不能将历史密码重复使用。 说明 若集群默认数据库管理员用户被删除或者重命名，将导致重置密码操作失败。

参数名称 取值范围 说明 appendfsync no,always,everysec 操作系统的fsync函数刷新缓冲区数据到磁盘。 Redis支持三种不同的调用fsync的方式： no：不调用fsync，由操作系统决定何时刷新数据到磁盘，性能最高。 always：每次写AOF文件都调用fsync，性能最差，但数据最安全。 everysec：每秒调用一次fsync。兼具数据安全和性能。 appendonly yes,no 指定是否在每次更新操作后进行日志记录（即持久化功能），Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。 有以下取值供选择： yes: 开启。 no: 关闭。 hashmaxziplistentries 1~10000 当hash表中只有少量记录时，使用有利于节约内存的的数据结构来对hashes进行编码。 hashmaxziplistvalue 1~10000 当hash表中最大的取值不超过预设阈值时，使用有利于节约内存的的数据结构来对hashes进行编码。 latencymonitorthreshold 0~86400000 延时监控的采样时间阀值（最小值），单位为毫秒。 阀值设置为0：不做监控，也不采样； 阀值设置为大于0：将记录执行耗时大于阀值的操作。 可以通过LATENCY等命令获取统计数据和配置、执行采样监控 luatimelimit 100~60000 Lua脚本的最长执行时间，单位为毫秒。 maxclients 1000~50000 最大同时连接的客户端个数。 maxmemorypolicy volatilelru,allkeyslru,volatilelfu,allkeyslfu,volatilerandom,allkeysrandom,volatilettl,noeviction 在达到内存上限（maxmemory）时实例将如何选择要删除的内容。有8个取值供选择： volatilelru：根据LRU算法删除设置了过期时间的键值。 allkeyslru：根据LRU算法删除任一键值。 volatilerandom：删除设置了过期时间的随机键值。 allkeysrandom：删除一个随机键值。 volatilettl：删除即将过期的键值，即TTL值最小的键值。 noeviction：不删除任何键值，只是返回一个写错误。 volatilelfu: 根据LFU算法删除设置了过期时间的键值。 allkeyslfu: 根据LFU算法删除任一键值。 protomaxbulklen 1048576~536870912 Redis协议中的最大的请求大小，单位为字节。 listcompressdepth 0~65535 列表中两端不被压缩的节点个数，取值范围0~65535。 0：默认值，表示都不压缩。 1~65535：表示list两端各有1~65535个节点不压缩，中间的节点压缩。 replbacklogsize 16384~1073741824 用于增量同步的复制积压缓冲区大小（单位为字节）。这是一个用来在从节点断开连接时，存放从节点数据的缓冲区，当从节点重新连接时，如果丢失的数据少于缓冲区的大小，可以用缓冲区中的数据开始增量同步。 replbacklogttl 0~604800 从节点断开后，主节点释放复制积压缓冲区内存的秒数。值为0时表示永不释放复制积压缓冲区内存。 repltimeout 30~3600 主从同步超时时间，单位为秒 setmaxintsetentries 1~10000 当一个集合仅包含字符串且字符串为在64位有符号整数范围内的十进制整数时，使用有利于节约内存的的数据结构对集合进行编码。 slowloglogslowerthan 0~1000000 用于设置Redis慢查询日志的阈值，单位是微秒。 slowlogmaxlen 100~10000 慢查询记录的条数。注意慢查询记录会消耗额外的内存。可以通过执行SLOWLOG RESET命令清除慢查询记录。 timeout 0~7200 客户端空闲N秒（timeout参数的取值）后将关闭连接。当N0时，表示禁用该功能。 zsetmaxziplistentries 1~10000 有序集合中只有少量记录时，使用有利于节约内存的的数据结构对有序序列进行编码。 zsetmaxziplistvalue 1~10000 当有序集合中的最大取值不超过预设阈值时，使用有利于节约内存的的数据结构对有序集合进行编码。 isopenflashback yes,no 是否开启闪回 isopendangercmdswitch yes,no 危险命令开关 hz 1~500 设置Redis后台任务执行频率，例如清除过期键任务。取值范围为1~500，默认值为10，即每秒执行10次。 aoftimestampenabled yes,no aof记录时间戳开关 activedefrag yes,no 自动清理内存碎片开关 activedefragignorebytes 104857600~10737418240 内存碎片占用空间达到设定值的时候开始清理 activedefragthresholdlower 10~100 内存碎片率大于设定值的时候开始清理 activedefragcyclemin 1~25 内存碎片清理所占用CPU时间的比例不低于设定值(%) activedefragcyclemax 1~25 内存碎片清理所占用CPU时间的比例不高于设定值(%) autoaofrewriteminsize 67108864~34359738368 设置自动重写AOF文件的最小值。注，当前运行值随规格变化，可不用关注默认值。

项目 描述 根结点 拓扑图的根节点，与存储池名称相同。点击右键，可以选择添加存储池节点或移除存储池节点。 机房类型节点 以选择添加节点到存储池或移除存储池内的节点。 将鼠标放至节点上，可以查看下列信息： 机房类型节点 名称 节点名称。 机房类型节点 类型 节点类型：机房。 机房类型节点 健康状态 节点健康状态： 健康：可正常读写。 警告：可读。 错误：无法访问。 机房类型节点 描述信息 节点描述信息。 机架类型节点 可以选择添加节点到存储池或移除存储池内的节点。 将鼠标放至节点上，可以查看下列信息： 机架类型节点 名称 节点名称。 机架类型节点 类型 节点类型：机架。 机架类型节点 健康状态 节点健康状态： 健康：可正常读写。 警告：可读。 错误：无法访问。 机架类型节点 描述信息 节点描述信息。 服务器节点 以选择添加节点到存储池或移除存储池内的节点。 将鼠标放至节点上，可以查看下列信息： 服务器节点 名称 节点名称。 服务器节点 服务器ID 服务器ID。 服务器节点 类型 节点类型：服务器。 服务器节点 健康状态 数据服务的健康状态： 健康：故障域下面的所有数据服务全部都是健康状态。 警告：故障域下面的数据服务部分是警告或错误状态。 错误：故障域下面的所有数据服务全部都是错误状态。 服务器节点 服务器ID 服务器ID。 服务器节点 业务IP 业务IP。 服务器节点 集群IP 集群IP。 服务器节点 数据目录容量 服务器上所有数据目录所在磁盘使用率的平均值。 服务器节点 数据目录已用容量 服务器上所有数据目录所在磁盘的总容量。 服务器节点 服务器状态 服务器状态： 已连接。 未连接。 移除中。 服务器节点 描述信息 节点描述信息。 数据目录节点 可以移除存储池内的节点。 将鼠标放至节点上，可以查看下列信息： 数据目录节点 名称 节点名称，即数据目录路径。 数据目录节点 类型 节点类型：数据目录。 数据目录节点 服务器ID 数据目录所属的服务器ID。 数据目录节点 数据目录容量 数据目录所在磁盘的容量。 数据目录节点 数据目录已用容量 数据目录所在磁盘已用容量。 数据目录节点 容量配额 HBlock的容量配额。 数据目录节点 已用容量配额 HBlock已使用的容量配额。 数据目录节点 健康状态 数据目录的健康状态： 健康：数据目录可正常读写，且数据目录所在磁盘使用率未超过阈值（系统默认值为95%）。 警告：数据目录可读，但存在以下情况的任意一种：慢盘；数据目录所在磁盘使用率超过阈值（系统默认值为95%）；磁盘剩余空间不足1GiB；HBlock对这个目录停写；数据目录配额使用率超过阈值（系统默认值为95%）；数据目录配额为0。 错误：数据目录无法访问，原因可能是：所在磁盘出现I/O错误导致无法读写，数据目录未正确挂载等。 数据目录节点 管理状态 数据目录管理状态： 已添加。 移除中。 数据目录节点 管理子状态 如果数据目录正在移除中，会显示移除详情，包括故障域信息（健康、警告、错误的个数）、数据状态（安全、待重建、故障域个数不足、单副本及损坏的数据比例）及相应告警信息。 数据目录节点 健康详情 数据目录的健康详情： 如果“健康状态”为“健康”，此列为空。 如果“健康状态”为“警告”或“错误”，显示警告或错误的详细信息。

本文主要介绍权限管理 如果您需要在云上购买的APM资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制APM资源的访问。 通过IAM，您可以在云帐号中给员工创建IAM用户，并使用策略来控制员工对APM资源的访问范围。例如您的员工中有负责软件开发的人员，您希望开发人员拥有APM的使用权限，但是不希望开发的人员拥有删除服务发现规则等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用服务发现规则，但是不允许删除服务发现规则的权限策略，控制服务对服务发现规则资源的使用范围。 如果帐号已经能满足您的使用需求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用APM的其它功能。 IAM是提供权限管理的基础服务，无需付费即可使用，您只需要为您帐号中的资源进行付费。 APM权限 默认情况下，管理员创建的IAM用户没有任何权限，您需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对APM进行操作。 APM是全局级服务，在授予用户APM权限时，默认对APM支持的所有区域生效。APM资源是租户隔离的，当前租户下所有子用户共享资源，如果需要隔离资源，可以通过企业项目实现。 APM部署时不区分物理区域，为全局级服务。授权时，在“企业 > 项目管理”中设置权限，访问APM时，不需要切换区域。 如表所示，包括了APM的所有系统权限。 表 APM系统权限 角色名称 描述 类别 APM FullAccess 应用性能管理服务的所有执行权限。 系统策略 APM ReadOnlyAccess 应用性能管理服务的只读权限。 系统策略 下表列出了APM常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。 表 常用操作与系统权限的关系 操作 APM FullAccess APM ReadOnlyAccess 获取告警列表 √ √ 获取告警详情 √ √ 获取告警通知详情 √ √ 获取应用配置 √ √ 创建应用配置 √ x 删除应用配置 √ x 修改应用配置 √ x 获取标签 √ √ 新增标签 √ x 删除标签 √ x 修改标签 √ x 查询告警模板 √ √ 添加告警模板 √ x 删除告警模板 √ x 修改告警模板 √ x 获取通知 √ √ 删除通知 √ x 添加通知 √ x 修改通知 √ x 获取URL跟踪 √ √ 删除URL跟踪 √ x 添加URL跟踪 √ x 修改URL跟踪 √ x 获取URL跟踪视图 √ √ 获取URL跟踪列表 √ √ 获取全局拓扑 √ √ 获取子应用 √ √ 获取环境配置 √ √ 添加环境配置 √ x 删除环境配置 √ x 修改环境配置 √ x 获取实例 √ √ 删除实例 √ x 修改实例 √ x 获取监控项 √ √ 修改监控项 √ x 获取采集状态 √ √ 获取自定义告警策略 √ √ 删除自定义告警策略 √ x 修改自定义告警策略 √ x 添加自定义告警策略 √ x 获取环境拓扑 √ √ 获取指标视图 √ √ 获取调用链列表 √ √ 获取调用链详情 √ √ 获取采集器信息 √ √ 获取访问密钥 √ √ 修改访问密钥 √ x 删除访问密钥 √ x 添加访问密钥 √ x 获取通用配置 √ √ 修改通用配置 √ x

介绍Kafka消费者poll的优化。 优化背景 Kafka是一个高吞吐量、低延迟的分布式消息系统，常用于构建实时数据流处理和大规模数据集的消费。在Kafka中，消费者通过调用 poll()方法从Broker拉取消息进行消费。 优化Kafka消费者的 poll()方法可以带来以下几个方面的好处： 1. 提高消费者的吞吐量：通过调整 poll()方法的参数和优化策略，可以减少网络通信的次数和延迟，提高消费者的消息处理速度，从而提高整体的吞吐量。 2. 减少消费者的资源占用：消费者在调用 poll()方法时会占用一定的CPU、内存和网络资源。通过优化 poll()方法，可以减少消费者的资源占用，提高资源的利用率，从而节省成本和提高系统的可扩展性。 3. 提高消息的实时性：优化 poll()方法可以减少消息的处理延迟，使得消息能够更快地被消费和处理。这对于实时数据流处理和需要快速响应的应用场景非常重要。 4. 提高系统的稳定性：通过优化 poll()方法，可以减少消费者的阻塞时间和等待时间，减少消息堆积和延迟，从而提高系统的稳定性和可靠性。 总之，优化Kafka消费者的 poll()方法可以提高消费者的吞吐量、降低延迟、节省资源、提高实时性和增强系统的稳定性。这对于大规模数据处理和实时数据流应用非常重要，能够提升系统的性能和用户体验。 优化方案 优化Kafka消费者的 poll()方法可以通过以下几个方面来实现： 1. 批量拉取消息：通过调整 max.poll.records参数，一次性拉取更多的消息，减少网络通信的次数，提高消费者的吞吐量。需要根据实际场景和消费者的处理能力进行合理的调整。 2. 控制拉取间隔：通过调整 poll()方法的调用频率，控制消费者的拉取速度。拉取间隔过小会增加网络开销，间隔过大会导致消息堆积和延迟。根据实际场景和消费者的处理能力，找到合适的拉取间隔，平衡吞吐量和消息的实时性。 3. 并行处理：使用多线程或多进程方式并行处理拉取到的消息，提高消费者的并发处理能力，加快消息的处理速度。确保消息处理逻辑线程安全，避免并发访问问题。 4. 提前预取：通过设置 fetch.min.bytes参数，提前预取下一批消息，减少 poll()方法的等待时间。根据实际场景和消费者的处理能力，找到合适的预取大小，平衡吞吐量和内存开销。 5. 异步提交偏移量：将 enable.auto.commit参数设置为 false，手动异步提交偏移量，减少 poll()方法的阻塞时间。提高消费者的吞吐量和性能。 6. 使用消费者组：将多个消费者组绑定到同一个主题，实现消息的并行消费。每个消费者组可以独立地消费消息，提高整体的消费能力。 7. 合理配置消费者参数：根据实际需求和系统资源，合理配置消费者的参数，如 max.poll.interval.ms、session.timeout.ms等，以避免消费者在处理消息时出现超时或重平衡的情况。 需要根据具体的应用场景和需求，结合实际的性能测试和优化策略，选择合适的优化方案来提高Kafka消费者的 poll()方法的效率和性能。

本章节主要介绍通用操作类问题 DRS界面信息重叠是什么原因 DRS界面出现信息重叠通常是页面缩放率过小导致的，建议将页面缩放率调整为100%即可显示正常。 目标库读写设置是实例级还是库级 配置迁移任务时，目标数据库实例可以选择设置为“只读”或者“读写”状态。 只读：目标数据库整个实例 将转化为只读、不可写入的状态，迁移任务结束后恢复可读写状态，此选项可有效的确保数据迁移的完整性和成功率，推荐此选项。 读写：目标数据库可以读写，但需要避免操作或接入应用后会更改迁移中的数据（注意：无业务的程序常常也有微量的数据操作），进而形成数据冲突、任务故障、且无法修复续传，充分了解要点后可选择此选项。 只读保护优点是避免用户对正在迁移的数据库或表进行DDL或DML误操作，造成数据不一致，可提高迁移完整性和数据一致性。 任务启动后，DRS不支持修改目标数据库状态。 待所有设置该目标库为“只读”状态的迁移任务结束后，可恢复读写。 MySQL源库设置了global binlogformat ROW没有立即生效 使用DRS进行MySQL的迁移时，必须确保源库的binlogformat是ROW格式的，否则就会导致任务失败甚至数据丢失。在源库设置了global级别的binlogformatROW之后，还需要中断之前所有的业务连接，因为设置之前的连接使用的还是非ROW格式的binlog写入。 安全设置global级binlogformatROW的步骤 步骤 1 通过MySQL官方客户端或者其它工具登录源数据库。 步骤 2 在源数据库上执行全局参数设置命令。 set global binlogformat ROW; 步骤 3 在源数据库上执行如下命令确认上面操作已执行成功。 select @@global.binlogformat; 步骤 4 您可以通过如下两种方式确保修改后的源库binlogformat格式立即生效。 方法一： 1. 选择一个非业务的时间段，中断当前数据库上的所有业务连接。 a. 通过如下命令查询当前数据库上的所有业务连接(所有的binlog Dump连接及当前连接除外)。 show processlist; b. 中断上面查出的所有业务连接。 2. 为了避免源库binlogformat格式因为数据库重启失效，请在源库的启动配置文件(my.ini或my.cnf等)中添加或修改配置参数binlogformat并保存。 binlogformatROW 方法二： 1.为了避免源库binlogformat格式因为数据库重启失效，请在源库的启动配置文件(my.ini或my.cnf等)中添加或修改配置参数binlogformat并保存。 binlogformatROW 2.确保上述配置参数binlogformat添加或修改成功后，选择一个非业务时间段，重启源数据库即可。 binlogrowimage参数设置为FULL没有立即生效 使用DRS进行MySQL迁移时，必须确保源库的binlogrowimage参数设置为FULL，否则就会导致任务失败。在源库设置了binlogrowimageFULL之后，只对新的session生效，为了关闭旧的session，需选择一个非业务时间段，重启源数据库并重置任务即可。

本节主要介绍使用DCS控制台进行数据迁移时迁移失败的问题排查和解决。 在使用控制台进行数据迁移时，如果出现迁移方案选择错误、在线迁移源Redis没有放通SYNC和PSYNC命令、源Redis和目标Redis网络不连通等问题，都会导致迁移失败。 排查步骤 步骤 1 查看迁移日志。 出现如下错误，表示迁移任务底层资源不足，需要联系技术支持处理。 create migration ecs failed, flavor 出现如下错误，表示在线迁移时，源Redis没有放通SYNC和PSYNC命令，需要联系技术支持放通命令。 source redis unsupported command: psync 步骤 2 检查迁移方案。Redis实例间迁移，高版本不支持迁移到低版本。 步骤 3 检查源Redis是否放通SYNC和PSYNC命令，迁移任务底层资源与源Redis、目标Redis网络是否连通。 如果是在线迁移，才涉及该操作。 在线迁移，必须满足源Redis和目标Redis的网络相通、源Redis已放通SYNC和PSYNC命令这两个前提，否则，会迁移失败。 网络 检查DCS的源Redis、目标Redis、迁移任务所需虚拟机是否在同一个VPC，如果不在同一个VPC，则需要建立VPC对等连接，打通网络。关于创建和使用VPC对等连接，请参考《虚拟私有云用户指南》的“对等连接”文档说明。 如果是同一个VPC，则检查安全组（Redis 3.0实例）或白名单（Redis 4.0/5.0/6.0实例）是否放通端口和IP，确保网络是连通的； 源Redis和目标Redis必须允许迁移任务底层虚拟机访问。 源Redis和目标Redis属于不同的云厂商时，需使用云专线服务打通网络。 命令 默认情况下，一般云厂商都是禁用了SYNC和PSYNC命令，如果要放通，需要联系云厂商运维人员放通命令。 DCS内部进行迁移： 自建Redis迁移至DCS，默认没有禁用SYNC和PSYNC命令； DCS服务之间进行迁移，如果是同一帐号相同Region进行在线迁移，在执行迁移时，会自动放通SYNC和PSYNC命令； 如果是不同Region或相同Region不同帐号进行在线迁移，不会自动放通SYNC和PSYNC命令，无法使用控制台上的在线迁移功能。推荐使用备份文件导入方式迁移。 其他云厂商迁移到DCS服务： 一般云厂商都是禁用了SYNC和PSYNC命令，如果使用在线迁移功能，需要联系源端的云厂商运维人员放通此命令。如果使用离线迁移，推荐使用备份文件导入的方式。 如果不需要增量迁移，可以参考使用Redisshake工具在线全量迁移其他云厂商Redis进行全量迁移，该方式不依赖于SYNC和PSYNC。 步骤 4 检查源Redis是否存在大Key。 如果源Redis存在大key，建议将大key打散成多个小key后再迁移。 步骤 5 检查目标Redis的规格是否大于迁移数据大小、是否有其他任务在执行。 如果目标Redis的实例规格小于迁移数据大小，迁移过程中，内存被占满，会导致迁移失败。 如果目标Redis存在正在执行的主备切换，建议联系技术支持关闭主备切换后，重新执行数据迁移。待迁移完成后，重新开启主备切换。 步骤 6 检查迁移操作是否正确。 检查填写的IP地址、实例密码是否正确。 步骤 7 排查白名单。 步骤 8 如果无法解决，请联系技术支持。

参数 参数类型 说明 示例 下级对象 error String 返回码 CTCSSCN000000：成功 CTCSSCN000001：失败 CTCSSCN000003：用户未签署协议，安全卫士系统无法正常使用 CTCSSCN000004：鉴权错误 CTCSSCN000005：用户没有付费版配额，功能不可用 CTCSSCN000000 message String 返回信息 success returnObj Object 返回对象 returnObj traceId String traceId 211111111111111111111 statusCode String 状态码 200成功 200 表 returnObj

参数 参数类型 说明 示例 下级对象 error String 返回码 CTCSSCN000000：成功 CTCSSCN000001：失败 CTCSSCN000003：用户未签署协议，安全卫士系统无法正常使用 CTCSSCN000004：鉴权错误 CTCSSCN000005：用户没有付费版配额，功能不可用 CTCSSCN000000 message String 返回信息 success returnObj Object 返回对象 returnObj traceId String traceId asaadasd11111 statusCode String 状态码 200成功 200 表 returnObj

本文档提供了服务器安全卫士（原生版）和网页防篡改（原生版）API的描述、语法、参数说明及示例等内容。

参数 参数类型 说明 示例 下级对象 error String 返回码 CTCSSCN000000：成功 CTCSSCN000001：失败 CTCSSCN000003：用户未签署协议，安全卫士系统无法正常使用 CTCSSCN000004：鉴权错误 CTCSSCN000005：用户没有付费版配额，功能不可用 CTCSSCN000000 message String 返回信息 success returnObj Object 返回对象 returnObj traceId String traceId 211111111111111111111 statusCode String 状态码 200成功 200 表 returnObj

容器镜像服务是一种支持容器镜像生命周期管理的服务, 提供简单易用、安全可靠的镜像管理功能,帮助用户快速部署容器化服务。

步骤 步骤说明 参考链接 1.资产识别 资产管理主要对全网资产进行统一梳理和统计，主要包括数据库资产管理、元数据管理、接口资产管理等。 资产管理 2.风险分析 敏感数据链路刻画模块用于展示数据源、应用系统、访问源之间的访问链接图谱。 风险分析 3.监测预警 监测预警功能是对平台接收的原始日志与告警日志进行查询检索以进行风险分析溯源。 查询分析 4.响应处理 可对告警分析、安全事件、风险隐患、工单管理等进行管理。 运营处置

for i in range(0, 10000): producer.sendlogs(logproject, logunit, logitem) time.sleep(5) 安全关闭producer producer.safeclose() except Exception as ex: print(ex) if name "main": main() 4. 服务代码示例同步上传 同步上传每调用一次发送日志的方法，就会进行一次https请求发送日志，然后返回日志发送结果。同步上传对于需求简单，发送频率不高，发送量不大的场景比较适用。虽然是同步发送，但是可以将多条日志合在一起，一次性发送，减少API请求次数。 4.1. 关于Client的操作 client的默认配置，里面包含如下参数。 参数 参数类型 描述 是否必须 endpoint string 域名 是 accesskey string 用户信息凭证，简称ak 是 secretkey string 用户信息凭证，简称sk 是 logproject string 日志项目编码 是 requesttimeout int http请求超时时间，默认30s 否 compresstype string 日志压缩算法，默认“lz4” 否 useragent string ltssdkpython/ 否 retries int 日志上传失败的重试次数 否 noretrystatuscode list 不进行重试的响应状态码 否 示例代码：初始化Client plaintext clientconfig ClientConfig(endpoint, accesskey, secretkey) 可对默认配置进行变更 clientconfig.requesttimeout 30 Clientconfig.retries 3 logclient LogClient(clientconfig) 或者使用默认配置 logclient LogClient(endpointendpoint, accesskeyaccesskey, secretkeysecretkey) 4.2. 关于Log的操作 日志上传只能上传LogItem格式的日志，logitems是一个数组类型，里面包含若干条LogItem日志，格式如下： 参数 类型 描述 是否必须 logitems []LogItem LogItem格式的数组，将多份日志组合起来发送 是 配置一个或多个logitem，然后放入logitems下的数组，作为参数传递，这就是要传入的日志信息，LogItem类型需要的参数如下。 参数 类型 描述 是否必须 logtimestamp int 时间戳，单位纳秒 是 originmsg string 原始日志内容 是 contents dict 日志内容，分词后的内容 否 labels dict 自定义标签 否 注意：单条日志最大1MB，单个包最大5MB，其中contents和labels的key的长度不超过64字符，仅支持数字、字母、下划线、连字符()、点(.)，且必须以字母开头。value类型最好使用字符串（string）和数字类型（int,double），其他类型建议先转为字符串类型，并且value值不能为空或空字符串。 示例代码：组装生成10条日志 plaintext logitems [] logitem LogItem() currtime getcurrenttimestamp(3) logitem.setlogtimestamp(currtime) logitem.setoriginmsg("Python sdk test oriMessage") logitem.contentspushback("contentInt", currtime) logitem.contentspushback("level", "info") logitem.contentspushback("area：", 3.1415926) logitem.contentspushback("unitid", 123145) for i in range(1, 10): logitems.append(logitem) 当然，对于dict 类型的contents 和labels 类型，也可以用set方法进行赋值，减少pushback()操作。 plaintext contents {"contentInt": 123456,"contentString": "string content"} logitem.setcontents(contents)

for i in range(0, 10000): producer.sendlogs(logproject, logunit, logitem) time.sleep(5) 安全关闭producer producer.safeclose() except Exception as ex: print(ex) if name "main": main() 4. 服务代码示例同步上传 同步上传每调用一次发送日志的方法，就会进行一次https请求发送日志，然后返回日志发送结果。同步上传对于需求简单，发送频率不高，发送量不大的场景比较适用。虽然是同步发送，但是可以将多条日志合在一起，一次性发送，减少API请求次数。 4.1. 关于Client的操作 client的默认配置，里面包含如下参数。 参数 参数类型 描述 是否必须 endpoint string 域名 是 accesskey string 用户信息凭证，简称ak 是 secretkey string 用户信息凭证，简称sk 是 logproject string 日志项目编码 是 requesttimeout int http请求超时时间，默认30s 否 compresstype string 日志压缩算法，默认“lz4” 否 useragent string ltssdkpython/ 否 retries int 日志上传失败的重试次数 否 noretrystatuscode list 不进行重试的响应状态码 否 示例代码：初始化Client plaintext clientconfig ClientConfig(endpoint, accesskey, secretkey) 可对默认配置进行变更 clientconfig.requesttimeout 30 Clientconfig.retries 3 logclient LogClient(clientconfig) 或者使用默认配置 logclient LogClient(endpointendpoint, accesskeyaccesskey, secretkeysecretkey) 4.2. 关于Log的操作 日志上传只能上传LogItem格式的日志，logitems是一个数组类型，里面包含若干条LogItem日志，格式如下： 参数 类型 描述 是否必须 logitems []LogItem LogItem格式的数组，将多份日志组合起来发送 是 配置一个或多个logitem，然后放入logitems下的数组，作为参数传递，这就是要传入的日志信息，LogItem类型需要的参数如下。 参数 类型 描述 是否必须 logtimestamp int 时间戳，单位纳秒 是 originmsg string 原始日志内容 是 contents dict 日志内容，分词后的内容 否 labels dict 自定义标签 否 注意：单条日志最大1MB，单个包最大5MB，其中contents和labels的key的长度不超过64字符，仅支持数字、字母、下划线、连字符()、点(.)，且必须以字母开头。value类型最好使用字符串（string）和数字类型（int,double），其他类型建议先转为字符串类型，并且value值不能为空或空字符串。 示例代码：组装生成10条日志 plaintext logitems [] logitem LogItem() currtime getcurrenttimestamp(3) logitem.setlogtimestamp(currtime) logitem.setoriginmsg("Python sdk test oriMessage") logitem.contentspushback("contentInt", currtime) logitem.contentspushback("level", "info") logitem.contentspushback("area：", 3.1415926) logitem.contentspushback("unitid", 123145) for i in range(1, 10): logitems.append(logitem) 当然，对于dict 类型的contents 和labels 类型，也可以用set方法进行赋值，减少pushback()操作。 plaintext contents {"contentInt": 123456,"contentString": "string content"} logitem.setcontents(contents)

CCE权限管理是在统一身份认证服务（IAM）与Kubernetes的角色访问控制（RBAC）的能力基础上，打造的细粒度权限管理功能，支持基于统一身份认证（IAM）的细粒度权限控制和IAM Token认证，支持集群级别、命名空间级别的权限控制，帮助用户便捷灵活的对租户下的IAM用户、用户组设定不同的操作权限。 如果您需要对已购买的CCE集群及相关资源进行精细的权限管理，例如限制不同部门的员工拥有部门内资源的细粒度权限，您可以使用CCE权限管理提供的增强能力进行多维度的权限管理。 本章节将介绍CCE权限管理机制及其涉及到的基本概念。如果当前帐号已经能满足您的要求，您可以跳过本章节，不影响您使用CCE服务的其它功能。 CCE支持的权限管理能力 CCE的权限管理包括“集群权限”和“命名空间权限”两种能力，能够从集群和命名空间层面对用户组或用户进行细粒度授权，具体解释如下： 集群权限：是基于IAM系统策略的授权，可以通过用户组功能实现IAM用户的授权。用户组是用户的集合，通过集群权限设置可以让某些用户组操作集群（如创建/删除集群、节点、节点池、模板、插件等），而让某些用户组仅能查看集群。 集群权限涉及CCE非Kubernetes API，支持IAM细粒度策略、企业项目管理相关能力。 命名空间权限：是基于Kubernetes RBAC能力的授权，通过权限设置可以让不同的用户或用户组拥有操作不同Kubernetes资源的权限。同时CCE基于开源能力进行了增强，可以支持基于IAM用户或用户组粒度进行RBAC授权、IAM token直接访问API进行RBAC认证鉴权。 命名空间权限涉及CCE Kubernetes API，基于Kubernetes RBAC能力进行增强，支持对接IAM用户/用户组进行授权和认证鉴权，但与IAM细粒度策略独立。 注意：“集群权限”仅针对与集群相关的资源（如创建/删除集群、节点、节点池、模板、插件等）有效，您必须确保同时配置了“命名空间权限”，才能有操作Kubernetes资源（如工作负载、Service等）的权限。 统一身份认证服务（IAM） 统一身份认证（Identity and Access Management，简称IAM）是提供权限管理的基础服务，可以帮助您安全地控制服务和资源的访问权限。 IAM的优势：对资源可进行精细访问控制 您注册后，系统自动创建帐号，帐号是资源的归属以及使用计费的主体，对其所拥有的资源具有完全控制权限，可以访问所有的云服务。 如果您在购买了多种资源，例如弹性云主机、云硬盘、裸金属服务器等，您的团队或应用程序需要使用您在中的资源，您可以使用IAM的用户管理功能，给员工或应用程序创建IAM用户，并授予IAM用户刚好能完成工作所需的权限，新创建的IAM用户可以使用自己单独的用户名和密码登录。IAM用户的作用是多用户协同操作同一帐号时，避免分享帐号的密码。 Kubernetes的角色访问控制（RBAC） Kubernetes基于角色的访问控制（RoleBased Access Control，即”RBAC”）使用”rbac.authorization.k8s.io” API Group实现授权决策，允许管理员通过Kubernetes API动态配置策略。详情请参见命名空间权限。

存量子账号登陆凭证重置 在割接完成后，子用户的登陆入口由原先的CDN+IAM切换至天翼云CTIAM。您无需特意记住登陆入口，在访问媒体存储产品控制台时，后台会根据您当前的登陆凭证自动切换主、子账号的控制台。但存量子用户在首次登陆时，需要由主账号在CTIAM重置子用户的登陆凭证。具体操作步骤如下： 1. 主账号登录访问天翼云统一身份认证IAM控制台。 2. 存量子用户会被迁移至CTIAM。您在登陆CTIAM后，可以在【用户】列表看到很多新增的子用户数据。由于CDN+IAM支持多个平行的工作区，而CTIAM无对应的映射关系，因此在CDN+IAM所有平行工作区的所有子用户都将被迁移至CTIAM。 3. 您需要在【用户】列表找到需要重置身份的子用户，点击右侧操作栏的【编辑】按钮（注意不是【重置密码】）。 4. 在弹出的【修改用户】窗体，您可以对【用户名】、【邮箱】、【手机号】进行修改完善。从CDN+IAM迁移过来的用户，邮箱会被初始化填入一个类似xxxxx@1000xxxx.vipctcdn.cn的虚拟邮箱。该虚拟邮箱是子用户在原CDN+IAM的登陆凭证。您可以修改为新的邮箱，但请注意保持全局唯一性（即该邮箱在天翼云账号体系中未被使用过，无论是作为主、子账号身份凭证。）同时，在【手机号】栏会有一个初始化的虚拟手机号码，该号码并非该子用户的真实号码，因此无法接收到来自于天翼云的各类通知短信。您可以将其修改为真实的手机号码，但请注意保持组织内唯一性（即该手机号码在当前组织内体系中未被使用过，无论是作为主、子账号身份凭证。）在完成身份凭证修改后，点击【确定】即可。 5. 【本步骤可选】在【用户】列表找到需要刚才重置身份的子用户，点击右侧操作栏的【重置密码】按钮。在弹出的窗口中，使用主账号的手机号码，对子用户的初始密码进行重置。由于IAM迁移过程不能迁移密码，因此在迁移完成后子用户的初始密码未知，子用户无法使用原先在CDN+IAM的密码登陆。 6. 【本步骤可选】如果需要重置密码的子用户数量较多，您可以在第四步完成手机号码重置之后，在子账号首次登陆时，通过忘记密码的流程对子用户密码进行重置。 在登陆窗口选择【账号登陆】，点击【忘记密码】。 输入第四步重置的账号信息，建议输入手机号码。 如果您使用邮箱作为登陆凭证，需要确保割接时使用的虚拟邮箱已被替换成真实的邮箱地址，否则可能接收不到验证信息，导致重置流程失效。 如果您的手机号在天翼云注册过多个主、子账号身份，您需要在接下来的界面选择根据脱敏信息匹配当前组织的子账号身份。 在接下来的步骤中输入符合安全规则的密码，即可完成密码重置。

本文将为您介绍天翼云短信服务的变量规范。 变量命名 短信模版需明确表述短信发送的实际内容，禁止发送一切有关黄赌毒、党政军、诈骗等违法内容。 短信模版可以包含变量，变量前后需加文字说明，以体现模版使用者的商业意图，不支持仅为变量或多个变量的组合，如： 你好：${content} 你好：${name}，${content} 变量表示实际发送短信时，用户希望自定义变化的内容，固定格式如：${name}、${content}等，中间字母应代表变量名字。 {}内变量命名规则：首字母必须为英文字母、只支持字母、数字和下划线组成，不能为纯数字等。 变量规范 短信模板可以包含变量，变量表示实际发送短信时，用户希望自定义变化的内容。变量前后需加文字说明，以体现模板使用者的商业意图，公众号、小程序、App、链接等产品内容需置于变量外。 类别 说明 :: 变量格式 ${name}、${content}等，中间字母应代表变量属性。 变量名称 变量限制为1~25个字符，首字母必须为英文字母，只支持字母、数字和下划线组成，不能为纯数字，同时不能为email、mobile、id、nick、site等。 说明：如果变量超过25字符，您需要升级为企业用户，然后提交工单申请解除变量限制，由专员对新提交的短信模板进行评估。变量个数不做限制，但是模板长度有限，您需要将模板总长度（含变量信息）控制在500字符内。 其他规范 通知模板可以添加链接但需固定内容：不支持设置变量链接，如www.${site}.cn 个人和企业用户如果选择模板类型 为短信通知 ，且模板内容 中设置了变量时，必须指定变量属性。变量属性的设置规范如下： 变量属性 变量名称 规范 ::: 电话号码 自定义，建议设置为phone等。 长度为5~11位。 支持国内标准手机号、固定电话号码。 其他号码 自定义，建议根据编号类型设置，例如code、order、ordersn、password等。 订单号等数字或编码，主要用于订单号、密码、随机密钥等数字组成的编号。 不支持手机号、QQ号、微信号、URL等联系方式。 变量限制为1~25个字符。 仅包含大小写字母、数字和字符组合。 时间 自定义，建议根据时间类型设置，例如time、date、day、year、month等。 变量限制为1~25个字符。 需要符合时间的表达方式，例如20210315、20210315、2021/03/15等。 说明：不支持下划线等特殊符号。 金额 自定义，建议设置为money等有意义的变量名称。 变量限制为1~25个字符。 仅支持传入能够正常表达金额的数字或中文，例如壹、贰、叁、肆等。 注意：变量中仅支持传入数字或中文，￥$等货币符号需要放在模板中。 其他（名称、账号、地址等） 自定义，建议根据变量类型设置一个有意义的变量名称。 变量限制为1~40个字符。（个人认证客户限制为125个字符） 可以设置为公司、产品、地址、姓名、内容、账号、会员名等。 不允许设置为QQ号、微信号（公众号）、手机号、网址、座机号等联系方式。如果有特殊需要，请把联系方式放入模板中。 注意：人民币、元、￥、$等货币符号需要放在模板中表达。 其他（如名称、账号、地址等） 长度限制：140位（个人认证客户限制为125位）。 安全规则：公司/产品/地址/姓名/内容/账号/会员名等；不允许出现QQ号/微信号（公众号）/手机号/网址/座机号等联系方式，如确有需要，请放入模板中表达。

审计日志 操作类型 操作 ClickHouse审计日志 维护管理 授权 收回权限 认证和登录信息 ClickHouse审计日志 业务操作 创建数据库/表 插入、删除、查询、执行数据迁移任务 DBService审计日志 维护管理 备份恢复操作 HBase审计日志 DDL（数据定义）语句 创建表 删除表 修改表 增加列族 修改列族 删除列族 启用表 禁用表 用户信息修改 修改密码 用户登录 HBase审计日志 DML（数据操作）语句 put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） HBase审计日志 权限控制 给用户授权 取消用户授权 HDFS审计日志 权限管理 文件/文件夹访问权限 文件/文件夹owner信息 HDFS审计日志 文件操作 创建文件夹 创建文件 打开文件 追加文件内容 修改文件名称 删除文件/文件夹 设置文件时间属性 设置文件副本个数 多文件合并 文件系统检查 文件链接 Hive审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Hive审计日志 数据维护 向表中加载数据 向表中插入数据 Hive审计日志 权限管理 创建/删除角色 授予/回收角色 授予/回收权限 Hue审计日志 服务启动 启动Hue Hue审计日志 用户操作 用户登录 用户退出 Hue审计日志 任务操作 创建任务 修改任务 删除任务 提交任务 保存任务 任务状态更新 KrbServer审计日志 维护管理 修改kerberos帐号密码 添加kerberos帐号 删除kerberos帐号 用户认证 LdapServer审计日志 维护管理 添加操作系统用户 添加组 添加用户到组 删除用户 删除组 Loader审计日志 安全管理 用户登录 Loader审计日志 元数据管理 查询connector 查询framework 查询step Loader审计日志 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 Loader审计日志 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录 查询作业最近执行记录 提交作业 停止作业 Mapreduce审计日志 程序运行 启动Container请求 停止Container请求 Container结束，状态为成功 Container结束，状态为失败 Container结束，状态为中止 提交任务 结束任务 Oozie审计日志 任务管理 提交任务 启动任务 kill任务 暂停任务 恢复任务 重新运行任务 Spark2x审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Spark2x审计日志 数据维护 向表中加载数据 向表中插入数据 Storm审计日志 Nimbus 提交拓扑 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Storm审计日志 UI 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Yarn审计日志 任务提交 提交作业到队列相关的操作 Zookeeper审计日志 权限管理 设置ZNODE访问权限 Zookeeper审计日志 ZNODE操作 创建ZNODE 删除ZNODE 设置ZNODE数据

本章节主要介绍翼MapReduce服务如何导入导出数据。 用户通过“文件管理”页面可以在分析集群进行文件夹创建、删除，文件导入、导出、删除操作，暂不支持文件创建功能。流式集群暂不支持在界面使用“文件管理”功能。开启Kerberos认证的集群中，根目录下的文件夹有权限限制，如需对其进行读写，请参考创建角色内容添加拥有对应文件夹权限的角色，再请参考相关任务修改提交作业用户所属的用户组，将新增的组件角色加入到该用户组中。 背景信息 MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS即对象存储服务，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于管理控制台Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 用户创建作业前需要将本地数据上传至OBS系统，MRS使用OBS中的数据进行计算分析。当然MRS也支持将OBS中的数据导入至HDFS中，使用HDFS中的数据进行计算分析。数据完成处理和分析后，您可以将数据存储在HDFS中，也可以将集群中的数据导出至OBS系统。需要注意，HDFS和OBS也支持存储压缩格式的数据，目前支持存储bz2、gz压缩格式的数据。 导入数据 MRS目前只支持将OBS上的数据导入至HDFS中。上传文件速率会随着文件大小的增大而变慢，适合数据量小的场景下使用。 支持导入文件和目录，操作方法如下： 1. 登录MRS管理控制台。 2. 选择“集群列表 > 现有集群”，选中一集群并单击集群名进入集群信息页面。 3. 单击“文件管理”，进入“文件管理”页面。 4. 选择“HDFS文件列表”。 5. 进入数据存储目录，如“bdapp1”。 “bdapp1”目录仅为示例，可以是界面上的任何目录，也可以通过“新建”创建新的文件夹。 新建文件夹时需要满足以下要求： 文件夹名称小于等于255字符。 不允许为空。 不能包含 : /:?"<>;&,'!{}[]$%+特殊字符。 不能以“.”开头或结尾。 开头和末尾的空格会被忽略。 6. 单击“导入数据”，正确配置HDFS和OBS路径。配置OBS或者HDFS路径时，单击“浏览”并选择文件目录，然后单击“是”。 OBS路径 必须以“obs://”开头。 不支持导入KMS加密的文件或程序。 不支持导入空的文件夹。 目录和文件名称可以包含中文、字母、数字、中划线和下划线，但不能包含;&>, ,<'$?:特殊字符。 目录和文件名称不能以空格开头或结尾，中间可以包含空格。 HDFS全路径长度小于等于255字符。 7. 单击“确定”。 文件上传进度可在“文件操作记录”中查看。MRS将数据导入操作当做Distcp作业处理，也可在“作业管理”中查看Distcp作业是否执行成功。

本章节主要介绍如何创建自定义拓扑集群。 MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程，无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。如需自定义集群部署方式，可在创建集群时的“集群类型”选择“自定义”，实现用户自主定义集群的进程实例在集群节点中的部署方式。仅MRS 3.x及之后版本支持创建自定义拓扑集群。 自定义集群可实现以下功能： 管控分离部署，管理角色和控制角色分别部署在不同的Master节点中。 管控合设部署，管理角色和控制角色共同部署在Master节点中。 ZooKeeper单独节点部署，增加可靠性。 组件分开部署，避免资源争抢。 MRS集群中角色类型： 管理角色：Management Node(MN)，安装Manager，即MRS集群的管理系统，提供统一的访问入口。Manager对部署在集群中的节点及服务进行集中管理。 控制角色：Control Node(CN)，控制监控数据角色执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能。 MRS的控制节点包括HMaster、HiveServer、ResourceManager、NameNode、JournalNode、SlapdServer等。 数据角色：Data Node(DN)，执行管理角色发出的指示，上报任务状态、存储数据，以及执行数据节点的公共功能。MRS的数据节点包括DataNode、RegionServer、NodeManager等。 创建自定义集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“自定义创建”页签。 4.参考下列参数说明配置集群软件信息，参数详细信息请参考创建自定义集群章节中的MRS集群软件配置表。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 集群版本：目前仅MRS 3.x版本支持。 集群类型：选择“自定义”并根据需要勾选对应组件。 5.单击“下一步”，并配置硬件信息。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：选择“自动创建”。 弹性公网IP：选择“暂不绑定”。 CPU架构：默认即可。MRS 3.x版本无该参数。 常用模板：具体说明请参见下方“自定义集群模板说明”。 实例规格：单击配置实例规格、系统盘和数据盘存储类型和存储空间。 实例数量：请根据业务量调整集群实例数量。具体可参考下方“MRS自定义集群节点部署方案”。 拓扑调整：若常用模板中的部署方式不满足需求或者需要手动安装部分默认安装不部署的实例或者需要手动安装部分实例时，请设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见下方“自定义集群拓扑调整说明”。 6.单击“下一步”进入高级配置页签。 参数说明请参见创建自定义集群章节中的“高级配置（可选）”。 7.单击“立即创建”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 8.单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。