Nacossdkgo Nacossdkgo是Nacos的Go语言客户端，它实现了服务发现和动态配置的功能 使用限制 支持Go>v1.15版本 支持Nacos>2.x版本 安装 安装开源SDK go get github.com/nacosgroup/nacossdkgo/v2 快速使用 ClientConfig constant.ClientConfig{ TimeoutMs uint64 // 请求Nacos服务端的超时时间，默认是10000ms NamespaceId string // ACM的命名空间Id CacheDir string // 缓存service信息的目录，默认是当前运行目录 UpdateThreadNum int // 监听service变化的并发数，默认20 NotLoadCacheAtStart bool // 在启动的时候不读取缓存在CacheDir的service信息 UpdateCacheWhenEmpty bool // 当service返回的实例列表为空时，不更新缓存，用于推空保护 Username string // Nacos服务端的API鉴权Username Password string // Nacos服务端的API鉴权Password LogDir string // 日志存储路径 RotateTime string // 日志轮转周期，比如：30m, 1h, 24h, 默认是24h MaxAge int64 // 日志最大文件数，默认3 LogLevel string // 日志默认级别，值必须是：debug,info,warn,error，默认值是info } ServerConfig constant.ServerConfig{ ContextPath string // Nacos的ContextPath，默认/nacos，在2.0中不需要设置 IpAddr string // Nacos的服务地址 Port uint64 // Nacos的服务端口 Scheme string // Nacos的服务地址前缀，默认http，在2.0中不需要设置 GrpcPort uint64 // Nacos的 grpc 服务端口, 默认为 服务端口+1000, 不是必填 } 我们可以配置多个ServerConfig，客户端会对这些服务端做轮询请求 服务发现 注销实例：DeregisterInstance success, err : namingClient.DeregisterInstance(vo.DeregisterInstanceParam{ Ip: "${ipAddr}", Port: 8848, ServiceName: "demo.go", Ephemeral: true, Cluster: "clustera", // 默认值DEFAULT GroupName: "groupa", // 默认值DEFAULTGROUP }) 获取服务信息：GetService services, err : namingClient.GetService(vo.GetServiceParam{ ServiceName: "demo.go", Clusters: []string{"clustera"}, // 默认值DEFAULT GroupName: "groupa", // 默认值DEFAULTGROUP }) 获取所有的实例列表：SelectAllInstances services, err : namingClient.GetService(vo.GetServiceParam{ ServiceName: "demo.go", Clusters: []string{"DEFAULT"}, // 默认值 GroupName: "groupa", // 默认值DEFAULTGROUP }) 获取实例列表 ：SelectInstances // SelectInstances 只返回满足这些条件的实例列表：healthy${HealthyOnly},enabletrue 和weight>0 instances, err : namingClient.SelectInstances(vo.SelectInstancesParam{ ServiceName: "demo.go", GroupName: "groupa", // 默认值DEFAULTGROUP Clusters: []string{"clustera"}, // 默认值DEFAULT HealthyOnly: true, }) 获取一个健康的实例（加权随机轮询）：SelectOneHealthyInstance // SelectOneHealthyInstance将会按加权随机轮询的负载均衡策略返回一个健康的实例 // 实例必须满足的条件：healthtrue,enabletrue and weight>0 instance, err : namingClient.SelectOneHealthyInstance(vo.SelectOneHealthInstanceParam{ ServiceName: "demo.go", GroupName: "groupa", // 默认值DEFAULTGROUP Clusters: []string{"clustera"}, // 默认值DEFAULT }) 监听服务变化：Subscribe // Subscribe keyserviceName+groupName+cluster // 注意:我们可以在相同的key添加多个SubscribeCallback. err : namingClient.Subscribe(vo.SubscribeParam{ ServiceName: "rccdemo", GroupName: "DEFAULTGROUP", // 默认值DEFAULTGROUP Clusters: []string{"clustera"}, // 默认值DEFAULT SubscribeCallback: func(services []model.Instance, err error) { log.Printf("nn callback return services:%s nn", utils.ToJsonString(services)) }, })

本章主要介绍API网关的概述。 API网关（API Gateway）是为您提供高性能、高可用、高安全的API托管服务，帮助您轻松构建、管理和部署任意规模的API。借助API网关可以简单、快速、低成本、低风险地实现内部系统集成、业务能力开放及业务能力变现。 若您想快速体验开放API和调用API的操作流程，请参考开放API和调用API。这里以APP认证类型的简易认证举例，端到端操作快速上手。 使用流程 使用API网关进行API的托管流程如下图所示。 API提供者在API网关中开放自己的API服务，API调用者从API网关中获取并调用API。 开发API 企业或开发者通过API网关开放自身的服务与数据，实现业务能力变现。 图 开放API基本流程 1. 创建实例 实例是一个独立的资源空间，所有的操作都是在实例内进行，不同实例间的资源相互隔离。 2. 创建API分组 每个API都归属到某一个API分组下，在创建API前应提前创建API分组。 3. 绑定域名 在开放API前，您需要为API分组绑定一个独立域名，供API调用者访问API使用。 在绑定独立域名前，您可以使用系统为API分配的调试域名进行API调试，每天最多可以访问调试域名1000次。 4. 创建API 把已有后端服务封装为标准RESTFulAPI，并对外开放。 API创建成功后，您可根据业务需求对API设置访问策略： 传统策略 流控控制 流量控制可限制单位时间内API的被调用次数，保护后端服务。 访问控制 访问API的IP地址和账户，您可以通过设置IP地址或账户的黑白名单来拒绝/允许某个IP地址或账户访问API。 签名密钥 签名密钥用于后端服务验证API网关的身份，在API网关请求后端服务时，保障后端服务的安全。 插件策略 跨域资源共享策略说明 跨域资源共享策略为跨域访问提供指定预检请求头和响应头、自动创建跨域预检请求API的扩展能力，可快速、灵活的实现API的跨域访问。 HTTP响应头管理策略说明 您可以自定义HTTP响应头，在返回的API响应中指定您配置的响应头。 流量控制2.0策略说明 您可以限制单位时间内API的被调用次数，支持参数流控、基础流控和基于基础流控的特殊流控。 Kafka日志推送策略说明 Kafka日志推送策略提供了把API的详细调用日志推送到Kafka的能力，方便用户获取API的调用日志信息。 断路器策略说明 断路器是API网关在后端服务出现性能问题时保护系统的内置机制。 第三方认证策略说明 您可以通过第三方认证策略配置自己的鉴权服务为API的访问进行认证。 5. 调试API 验证API服务的功能是否正常可用。 6. 发布API 把API发布到环境中，API只有在发布到环境后，才支持被调用。

本节介绍FileSystem功能操作能力。 FileSystem 是 AIuse 云电脑面向 Agent 和自动化系统提供的文件操作能力，用于在云电脑环境中读取、写入、搜索、移动和管理文件。 能力概述 FileSystem 当前规划和技术方案覆盖以下能力： 能力 说明 读取文件 支持按路径读取文件内容，可按偏移量和长度读取片段 写入文件 支持覆盖写入、追加写入和新建写入模式 创建目录 支持创建目录，并可自动补齐父目录 移动文件 支持文件或目录移动，也可用于重命名 搜索文件 支持按通配符、正则或精确文件名搜索 获取文件信息 支持获取文件大小、类型、路径等元数据 下载文件 大文件或二进制文件可通过临时地址传输，具体能力以发布版本为准 设计目标 FileSystem 能力的目标是为 Agent 提供统一、可控的文件系统语义。 典型场景 读取应用生成的日志、报表或结果文件。 将 Agent 生成的内容写入云电脑工作目录。 查找指定目录下的文件。 将文件移动到指定目录，完成任务归档。 配合 Computer Use 完成“操作软件生成文件，再读取文件内容”的闭环任务。 示例流程 1. 通过 Computer Use 操作桌面软件生成文件。 2. 使用 FileSystem 搜索输出目录。 3. 读取目标文件内容。 4. 将结果返回业务系统或 Agent。

Logstash部署在弹性云主机上时导入数据 当Logstash部署在同一VPC的弹性云主机时，导入数据的流程说明如下图所示。 Logstash部署在弹性云主机上时导入数据示意图 1.确保已部署Logstash的弹性云主机与待导入数据的集群在同一虚拟私有云下，已开放安全组的9200端口的外网访问权限，且弹性云主机已绑定弹性IP。 说明 如果同一个VPC内有多台服务器，只要其中一台绑定了弹性IP，其他的服务器可以不需要绑定弹性IP。通过绑定弹性IP的节点跳转到部署Logstash的节点即可 。 如果有专线或者VPN，也不需要绑定弹性IP。 2.使用PuTTY登录弹性云主机。 例如此服务器中存储了需要导入的数据文件“access20181029log”，文件存储路径为“/tmp/accesslog/”，此数据文件中包含的数据如下所示： All Heap used for segments 18.6403 MB All Heap used for doc values 0.119289 MB All Heap used for terms 17.4095 MB All Heap used for norms 0.0767822 MB All Heap used for points 0.225246 MB All Heap used for stored fields 0.809448 MB All Segment count 101 All Min Throughput indexappend 66232.6 docs/s All Median Throughput indexappend 66735.3 docs/s All Max Throughput indexappend 67745.6 docs/s All 50th percentile latency indexappend 510.261 ms 3.执行如下命令在Logstash的安装目录下新建配置文件logstashsimple.conf。 cd / / vi logstashsimple.conf 在配置文件logstashsimple.conf中输入如下内容。 input { 数据所在的位置 } filter { 数据的相关处理 } output { elasticsearch{ hosts > " "} } input：指明了数据的来源。实际请根据用户的具体情况来设置。 filter：对日志进行了提取和处理，将非结构化信息转换为结构化信息。 output：指明了数据的目的地址。 为集群中节点的内网访问地址和端口号。 当集群包含多个节点时，为了避免节点故障，建议将上述命令中 替换为该集群中多个节点的内网访问地址和端口号，多个节点的内网访问地址和端口号之间用英文逗号隔开，填写格式请参见如下示例。 hosts > ["192.168.0.81:9200","192.168.0.24:9200"] 当集群只包含一个节点时，填写格式请参见如下示例。 hosts > "192.168.0.81:9200" 以步骤2中“/tmp/accesslog/”的数据文件为例，输入数据文件从首行开始，且过滤条件保持为空，即不做任何数据处理操作。需导入数据的集群，其节点内网访问地址和端口号为“192.168.0.81:9200”。导入数据的索引名称为“myindex”。配置文件的示例如下所示，配置文件按实际数据情况修改完成后，输入“:wq”保存。 input { file{ path > "/tmp/accesslog/" startposition > "beginning" } } filter { } output { elasticsearch { hosts > "192.168.0.81:9200" index > "myindex" documenttype > "mytype" } } 如果集群开启了安全模式，则需要先下载证书。 a. 在集群基本信息页面下载证书。 详见下图：下载证书 b. 将下载的证书存放到部署logstash服务器中。 c. 修改配置文件logstashsimple.conf。 以步骤2中“/tmp/accesslog/”的数据文件为例，输入数据文件从首行开始，且过滤条件保持为空，即不做任何数据处理操作。跳转主机的公网IP和端口号为“192.168.0.227:9200”。导入数据的索引名称为“myindex”，证书存放路径为“/logstash/logstash6.8/config/CloudSearchService.cer”。配置文件的示例如下所示，配置文件按实际数据情况修改完成后，输入“:wq”保存。 input{ file { path > "/tmp/accesslog/" startposition > "beginning" } } filter { } output{ elasticsearch{ hosts > [" index > "myindex" user > "admin" password > "" cacert > "/logstash/logstash6.8/config/CloudSearchService.cer" } } 说明 password：登录安全集群的密码 。 4.执行如下命令将Logstash收集的弹性云主机的数据导入到集群中。 ./bin/logstash f logstashsimple.conf 5.登录云搜索服务管理控制台。 6.在左侧导航栏中，选择“集群管理”，进入集群列表页面。 7.在集群列表页面中，单击待导入数据的集群“操作”列的“Kibana”。 8.在Kibana的左侧导航中选择“Dev Tools”，单击“Get to work”，进入Console界面。 9.在已打开的Kibana的Console界面，通过搜索获取已导入的数据。 在Kibana控制台，输入如下命令，搜索数据。查看搜索结果，如果数据与导入数据一致，表示数据文件的数据已导入成功。 GET myindex/search

对微服务引擎的创建、升级、删除、变更等操作会在后台运行，您可以在列表中查看任务执行状态。 操作步骤 步骤 1 登录ServiceStage控制台，选择“微服务引擎 CSE”。 步骤 2 单击专享版的微服务引擎名称，进入微服务引擎的“基本信息”页面。 步骤 3 选择“其他操作”页签，单击指定的操作类型名称，查看操作日志详情。

本章节主要介绍管理维度表。 维度表与维度一一对应，通过丰富维度中的属性信息构建形成。维度表的生命周期（包括新建、发布、编辑、下线操作）通过维度进行管理，在维度发布成功后，系统会自动创建并发布对应的维度表。 查看维度表发布历史 1. 在数据架构控制台，选择“模型设计 > 维度建模”，进入维度建模页面。 2. 单击“维度表”页签，进入维度表页面。 3. 在列表中，找到所需要的维度表，在右侧单击“发布历史”，将显示“发布历史”页面。 4. 在“发布历史”中，您可以查看维度表的发布历史、版本对比信息以及发布日志。 如果“发布日志”中有错误日志，说明发布失败。您可以单击“重新同步”进行重试，将表同步到DataArts Studio的其他模块中。 查看预览SQL 1. 在数据架构控制台，选择“模型设计 > 维度建模”，进入维度建模页面。 2. 单击“维度表”页签，进入维度表页面。 3. 在维度表列表中，找到所需要的维度表，在右侧单击“预览SQL”，弹出“预览SQL”对话框。 4. 在“预览SQL”中，您可以查看SQL语句，也可以复制SQL。 同步维度表 当您新建或编辑维度后，对维度进行发布，如果同步状态中存在失败，可以对维度表手动进行同步。 说明 同步时，系统将根据“配置中心 > 功能配置”页面中的“数据表更新方式”执行相应的同步操作，详情请参见 功能配置。 1. 在数据架构控制台，选择“模型设计 > 维度建模”，进入维度建模页面。 2. 单击“维度表”页签，进入维度表页面。 3. 在维度表列表中，勾选需要同步的维度表，单击列表左上方的“同步”按钮，系统弹出“批量同步”对话框。 4. 确认无误后，单击“确认提交”，完成后界面将显示同步结果。 同步后，您可以在维度表列表中，查看维度表的同步状态。单击列表右上方的刷新按钮，可以刷新状态。

参考赋权语句 sql GRANT SELECT ON mysql. TO '同步账号'@'%'; GRANT SELECT, EXECUTE, EVENT, TRIGGER ON 待同步的库. TO '同步账号'@'%'; GRANT RELOAD, PROCESS, LOCK TABLES, REPLICATION SLAVE, REPLICATION CLIENT, SHOW VIEW, SHOWROUTINE ON . TO '同步账号'@'%'; 注意 如果待迁移对象包含用户自定义function，则在满足上述权限的基础上，目标端数据库同时需将logbintrustfunctioncreators参数设置为1，参考语句如下： set global logbintrustfunctioncreators 1; 数据库配置 MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为3天。 源数据库expirelogsdays参数值为0，可能会导致迁移失败。 增量迁移时，必须设置MySQL源数据库的server－id。如果源数据库版本小于或等于MySQL5.6，server－id的取值范围在2－4294967296之间；如果源数据库版本大于或等于MySQL5.7，server－id的取值范围在1－4294967296之间。 源数据库GTID状态建议为开启状态，源数据库实例没有开启GTID的情况下DTS不支持主备HA切换，因为DTS任务会因为位点不续接而中断导致无法恢复。

本章节进行网格安全能力概述 概述 单体应用发展成微服务架构带来了诸多便利，业务迭代更加敏捷，扩展性更好，同时为服务架构也带了新的安全考虑，如： 微服务之间通信安全问题，如何防止中间人攻击。 微服务之间的访问控制问题，对于敏感服务和信息，如何限制微服务之间的访问。 微服务之间访问频繁且关系复杂，如何追溯服务之间的调用情况，需要具备审计能力。 服务网格的安全机制提供了零信任的安全机制，很好地解决了以上问题。 服务网格安全架构 服务身份及证书管理 身份是安全的基础，只有给每个服务赋予一个身份才能在服务相互访问时对各方的身份进行认证以及对操作进行鉴权。服务网格使用证书作为网格内工作负载的身份标识，服务网格负载网格内工作负载的身份证书颁发、轮换等，为网格安全提供基础能力。 身份认证 服务网格提供两种认证机制： 对等身份认证：用于sidecar代理之间通信时的身份认证，解决sidecar之间身份认证和通信加密问题，支持基于工作负载证书的mTLS双向认证。 请求身份认证：用于外部请求进入网格内的身份认证，支持JWT及OIDC的认证方式。 授权 在微服务通信中，确定了双方的身份之后，我们还需要对客户端是否有权限访问服务端的资源进行权限检查。当前服务网格支持全局、命名空间和工作负载级别的授权策略控制，同时支持集成外部授权服务能力。

入参 $1: 0表示成功，1表示失败 无返回值 RESULTFILE在agentfunc.sh中进行了定义 function ExitWithResult() { Log "[INFO]:Freeze result is $1." echo $1 > ${RESULTFILE} chmod 666 ${RESULTFILE} exit $1 } function Main() { Log "" Log "[INFO]:Begin to freeze appexample." 查找appexample是否存在，如果appexample不存在，则返回0，退出 在冻结IO步骤中，Agent程序会依次调用每个冻结脚本，如果一个失败，总体就会失败。所以为了防止干扰其他程序的冻结过程，找不到appexample时，应返回0 which appexample if [ $? ne 0 ] then Log "[INFO]:appexample is not installed." ExitWithResult 0 fi 调用实际的冻结命令 appexample freeze if [ $? ne 0 ] then Log "[INFO]:appexample freeze failed." 冻结失败，记录结果并退出 ExitWithResult 1 fi Log "[INFO]:Freeze appexample success." 冻结成功，记录结果并退出 ExitWithResult 0 } Main 开发解冻脚本 appexampleunfreeze.sh示例如下： !/bin/sh AGENTROOTPATH$1 Agent程序调用脚本时，传入的的根目录，日志函数等会使用此变量，请不要改名 PID$2 Agent程序调用脚本时，传入的PID数字，用于结果的输出，请不要改名 . "${AGENTROOTPATH}/bin/agentfunc.sh" 引用脚本框架，提供了日志，加解密等功能 结果处理函数，用于将结果写入到文件中，供脚本调用者获取返回值。

3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到网络包乱序动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的应用提供服务平均响应时间指标。 2、业务应用验证： 观察运行在目标节点上的业务 Pod 与其他 Pod 或外部服务通信时，是否出现性能下降、卡顿或功能异常。 某些对数据包顺序敏感的应用层协议（如HTTP/2的部分场景、实时音视频流）可能会出现解析错误或连接中断。 检查应用日志，确认是否有因超时或数据完整性问题而产生的错误。

用户在执行质量作业时提示无MRS权限怎么办？ 用户在执行质量作业时报错，查看质量作业的日志，提示“ The current user does not exist on MRS Manager. Grant the user sufficient permissions on IAM and then perform IAM user synchronization on the Dashboard tab page. !” 此类问题一般是由于用户不具备MRS集群操作权限导致的。 对于租户下新增的用户，需要在MRS集群列表的界面找到对应的MRS集群实例，手动单击同步。 操作如下： 1. 进入MRS控制台，查看现有集群，单击对应的集群名称进入概览页。 2.在“IAM用户同步”处，单击同步。 3.在操作日志处查看操作结果。 4.如果经过上述步骤，账号已同步。但还是提示Mrs权限不足的话，则需要登录到Manger管理页面中创建一个与当前主账号同名的账号。 注意 在步骤4中，需要创建一个与当前主账号同名的账号。

本页介绍了文档数据库服务定位慢请求的方法与解决方法。 文档数据库服务慢请求定位方法与解决方法: 1. 每个实例都有对应的详情，可以在详情里面切换标签【慢日志】，定位使用过程哪些语句产生慢请求。 2. 使用explain()来查看慢日志中的sql执行计划。 连接上对应文档数据库服务： db.collection.find({"field": "value" }).explain("executionStats") 3. 慢请求一般解决方法。 1. 创建适当的索引：根据执行计划的结果，如果发现某个查询未使用索引或使用了不合适的索引，可以根据查询的字段和访问模式来创建合适的索引。 2. 优化查询条件：检查慢查询的查询条件，确保使用了适当的查询操作符和索引键。避免全表扫描和不必要的数据加载。 3. 监控系统资源：在【监控图表】查询执行慢请求时各个监控指标是否异常，因为慢查询可能与系统资源相关，例如CPU使用率、内存消耗和磁盘I/O等。使用【监控图表】功能来检测系统资源的使用情况，查看是否存在资源瓶颈。 4. 优化硬件和网络配置：确保MongoDB运行在性能良好的硬件上，并且网络连接稳定。优化硬件和网络配置可以改善整体性能。

下载SWR软件包失败 问题描述 创建tomcat应用时，界面显示创建失败。经查后台tomcat日志，原因为下载swr中的软件包时认证失败。手工下载swr中的软件包，报401。 解决方法 把镜像设置为公开即可，私有包会导致因权限问题无法被拉取。

名称 类型 描述 name String 基础服务名称： mdm：元数据管理服务。 ls：日志服务。 cs：协调服务。 status String 基础服务的状态： Up：可用。 Down：不可用。 Migrating：正在迁移。 Unkown：未知。 metaDir String 存储基础服务数据的数据目录。

名称 类型 描述 name String 基础服务名称： mdm：元数据管理服务。 ls：日志服务。 cs：协调服务。 status String 基础服务的状态： Up：可用。 Down：不可用。 Migrating：正在迁移。 Unkown：未知。 metaDir String 存储基础服务数据的数据目录。

本节主要介绍操作日志 创建、升级、删除等操作会在后台运行，您可以在列表中查看任务执行状态。 操作步骤 1、进入微服务引擎页面，单击左侧菜单栏的“引擎列表”。 2、单击专享版的引擎名称，进入微服务引擎的详情页面。 3、单击“其它操作”页签，查看引擎的创建、升级等操作历史。 4、单击指定“操作类型”下的操作，可查看指定操作任务的详情。

本文带您了解什么是一体化计算加速平台·异构计算产品。 一体化计算加速平台·异构计算是提供高性能计算、存储、网络服务的智能计算加速平台，可提供异构算力的管理与调度，计算与存储间的高效互联，跨域监控和故障感知，一键自助诊断及智能加速套件等能力，通过本平台可大幅提升数据加载、训练和推理效率。 一体化计算加速平台·异构计算底层主要由高性能计算、存储和网络组成： 计算侧支持多种规格的高性能裸金属，实现灵活、稳定、易用的高性能计算。 存储侧支持高性能并行文件存储搭配RDMA无损网络，存储用户读写数据时延低至亚毫秒。 网络侧支持TCP/IP和RDMA等多种通信协议，支持单服务器上连多个leaf交换机的组网方式，出现连接故障可自动切换。单机最大带宽可达3.2T，实现超大规模、高效并行通信。 本平台提供万卡级别异构算力管理和调度，支持全栈国产化。 一体化计算加速平台·异构计算包括资源管理、系统运维监控和加速套件等多个部分： 资源管理部分，标准资源组提供基于GPU物理机和GPU云主机的集群化开通与管理，扩展资源组在标准资源组基础上提供全托管和高可用控制面板的标准Kubernetes集群服务，支持以计算节点作为Kubernetes集群的工作节点。支持一键提交训练任务、日志查看、支持主流训练框架（如：PyTorch、TensorFlow等）。 系统运维监控，提供从服务器检测、RDMA性能检测到集合通讯库性能检测的全方位一键式环境健康检测，以及多维度资源使用情况的实时监控。 加速套件，支持数据及通信层面的加速能力。例如，支持高性能Checkpoint框架CTFlashCkpt，将训练阻塞时间降低到最小；支持高性能通讯库CTCCL，基于天翼云网络进行深度的定制优化。

参数 描述 数据流动方向 选择入云。 源数据库引擎 选择MySQL数据库引擎。 目标数据库引擎 选择MySQL数据库引擎。 网络类型 选择公网网络。建议您开启SSL安全连接，SSL约降低2030%的迁移性能，但保证了数据的安全性。 目标数据库实例 选择您所创建的目标MySQL实例。 目标库读写设置 此处以只读设置为示例。 只读迁移中，目标数据库将转化为只读、不可写入的状态，迁移任务结束后恢复可读写状态，此选项可有效的确保数据迁移的完整性和成功率，推荐此选项。 读写迁移中，目标数据库可以读写，但需要避免操作或接入应用后会更改迁移中的数据（注意：无业务的程序常常也有微量的数据操作），进而形成数据冲突、任务故障、且无法修复续传，充分了解要点后可选择此选项。 迁移模式 此处以全量+增量模式为示例。 全量：该模式为数据库一次性迁移，适用于可中断业务的数据库迁移场景，全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库，包括：表、视图、存储过程等。说明：如果用户只进行全量迁移时，建议停止对源数据库的操作，否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 全量+增量：该模式为数据库持续性迁移，适用于对业务中断敏感的场景，通过全量迁移过程中完成的目标端数据库的初始化后，增量迁移阶段通过解析日志等技术，将源端和目标端数据库保持数据持续一致。 说明 选择“全量+增量”迁移模式，增量迁移可以在全量迁移完成的基础上实现数据的持续同步，无需中断业务，实现迁移过程中源业务和数据库继续对外提供访问。

本节主要介绍OOS的功能特性。 在使用OOS之前，建议您先了解存储桶（Bucket）、对象/文件（Object）、地域（Region）、访问域名（Endpoint）、对象存储网络其他区域及等基本概念，以便更好地使用OOS的功能。OOS主要提供以下功能： 功能名称 功能描述 各区域支持 功能名称 功能描述 对象存储网络区域 港澳台及海外 其他地域 存储类别 OOS提供了标准存储、低频访问型存储两种存储类别，满足不同场景下客户对存储性能和成本的不同诉求。 √ √ √ 存储桶管理 OOS提供创建、列举、查看、删除等基本功能，帮助您便捷的进行存储桶管理。 √ √ √ 文件管理 OOS提供上传、下载、复制、移动、删除、分享、列举、搜索、断点续传、多段操作等基本功能，满足您各个场景的文件管理需求。 √ √ √ 生命周期管理 OOS可针对某个存储桶下具体前缀或者所有文件设置删除或者转储规则。 √ √ √ 静态网站托管 您可以将静态网站文件上传至OOS存储桶中，并对存储桶赋予匿名用户可读权限，然后将该存储桶配置成静态网站托管模式，以实现在OOS上托管静态网站。 √ √ √ 跨域资源共享 跨域资源共享（CORS）是由W3C标准化组织提出的一种网络浏览器的规范机制，定义了一个域中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中，由于同源安全策略（Same Origin Policy，SOP）的存在，不同域之间的网站脚本和内容是无法进行交互的。OOS支持CORS规范，允许跨域请求访问OOS中的资源。 √ √ √ 防盗链 为了防止用户在OOS的数据被其他人盗链，OOS支持基于HTTP Header中表头字段Referer的防盗链方法，同时支持访问白名单和访问黑名单的设置。 √ √ √ 日志 日志功能可以帮助您记录所有object级别的操作记录， 您可以通过控制台日志功能页面“开启”/“不开启”用户日志功能，同时还可以通过设置目标存储桶和路径来指定日志的存储位置。 √ √ √ 合规保留 OOS支持WORM特性，允许用户以“不可删除、不可篡改”方式保存和使用数据。 √ √ x 清单配置 通过OOS存储桶清单功能可以获取Bucket中指定文件（Object）的大小、存储类型等信息。相对于GET Bucket (List Objects)接口，存储桶清单可以按每天或者每周以CSV的形式输出指定文件的相关信息，且不会影响存储桶的请求速率。在需要列举海量文件的场景中，推荐使用存储桶清单功能。 √ √ x 访问权限控制 OOS支持灵活的授权、鉴权机制，您可以通过以下方式控制OOS资源的访问权限： ACL：通过访问控制列表（ACL）给存储空间和文件授予访问权限，包括公共读写、公共读、私有。 Bucket Policy：通过Bucket Policy功能授权其他用户访问您的OOS资源，例如向特定用户授予访问权限，以及向匿名用户授予带特定IP条件限制的访问权限。 IAM Policy：通过IAM Policy来控制存储空间和文件的访问权限。通过用户、用户组、策略的组合，实现精准的资源权限控制。 STS临时授权：通过STS（Security Token Service）给第三方应用或用户授予一个自定义时效的临时访问凭证。 √ √ x （IAM Policy和STS暂不支持） 数据位置选择 您可以按需选择存储桶中数据的存储位置，并且支持后期修改。 √ √ x 文件速率和连接数控制 OOS支持单链接限速功能，您可以使用单链接限速功能在上传、下载、拷贝文件时进行流量和并发连接数控制，以保证您其他应用的网络带宽。 √ √ √ 获取文件元数据信息 OOS支持仅获取文件的元数据信息，而不返回数据本身，有效提升响应速度。 √ √ √ 设置HTTP头 OOS支持设置文件的HTTP头，您可以通过设置HTTP头来自定义HTTP请求的策略。例如，缓存策略、文件强制下载策略等。 √ √ √ 图片处理 您可以使用图片处理功能对存放在OOS中的图片进行瘦身、剪切、缩放、增加水印、转换格式等操作，并且可以快速获取到处理后的图片。 √ √ √ 统计分析 OOS支持查询指定存储桶的使用情况、指定数据域的使用情况。用户可以根据统计分析数据，采取对应的措施。 √ √ x（不支持Bucket维度的统计） 操作跟踪 您可以通过操作跟踪记录OOS账户的管理事件，并将产生的跟踪日志保存到指定的OOS存储桶中持久存储。 √ √ x API访问 OOS提供了REST（Representational State Transfer）风格API，支持您通过HTTP/HTTPS请求调用，实现创建、修改、删除存储桶，上传、下载、删除文件等操作。 √ √ √ 控制台访问 OOS提供可视化控制台页面，方便用户使用。 √ √ √ 工具访问 OOS提供迁移工具以及支持第三方工具（S3Browser、S3cmd等），满足不同场景下数据迁移和数据管理需求。 √ √ √ SDK访问 OOS提供多种开发语言的SDK，帮助您轻松实现二次开发。目前支持：Java、Python、C、JS、Android、IOS、PHP、Go。 √ √ √（不支持PHP和Go）

FLV FLV 是FLASH VIDEO的简称，FLV流媒体格式是随着Flash MX的推出发展而来的视频格式。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等问题。 HLS HLS（HTTP Live Streaming）是Apple的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。包括一个m3u(8)的索引文件，TS媒体分片文件和key加密串文件。 WebRTC WebRTC（Web RealTime Communication）是Google，Mozilla和Opera推广的一种浏览器端实时音视频通信协议，通过浏览器自带的API，不需要下载插件，支持点对点（P2P）和端到端（E2E）的通信，能够实现低延迟和高清晰度的音视频传输。 IPC IPC是网络摄像机（Internet Protocol Camera）的缩写。 NVR NVR是网络硬盘录像机（Network Video Recorder）的缩写。 视频流 在网络上，视频数据按时间先后次序传输和播放的连续视频数据流。 推流 推流是指利用推流客户端或者推流工具，通过推流地址将RTMP协议的视频流推送到智能视图服务平台上。 拉流 拉流是指通过互联网环境，将视频流从指定平台或IP地址获取到视频观看客户端或设备。 IAM IAM（Identity and Access Management，身份识别与访问管理），具有单点登录、强大的认证管理、基于策略的集中式授权和审计、动态授权、企业可管理性等功能。

查看训练任务 1. 待训练任务状态变为“运行中”时进入训练任务详情页查看对应的日志和监控 2. 训练任务正常结束后状态会变为“成功”。

查看是否有关联告警 5.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”中查看是否存在告警“ALM14002 DataNode磁盘空间使用率超过阈值”。 是，执行步骤6。 否，执行步骤8。 6.参考“ALM14002 DataNode磁盘空间使用率超过阈值”进行处理，查看对应告警是否清除。 是，执行步骤7。 否，执行步骤8。 7.等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤8。 对DataNode进行扩容 8.对DataNode进行扩容。 9.在FusionInsight Manager首页，等待5分钟后，查看本告警是否清除。 是，处理完毕。 否，执行步骤10。 收集故障信息 10.在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 11.在“服务”中勾选待操作集群的“HDFS”。 12.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟，单击“下载”。 13.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 DataNode JVM参数配置规则 DataNode JVM参数“GCOPTS”默认值为： Xms2G Xmx4G XX:NewSize128M XX:MaxNewSize256M XX:MetaspaceSize128M XX:MaxMetaspaceSize128M XX:+UseConcMarkSweepGC XX:+CMSParallelRemarkEnabled XX:CMSInitiatingOccupancyFraction65 XX:+PrintGCDetails Dsun.rmi.dgc.client.gcInterval0x7FFFFFFFFFFFFFE Dsun.rmi.dgc.server.gcInterval0x7FFFFFFFFFFFFFE XX:OmitStackTraceInFastThrow XX:+PrintGCDateStamps XX:+UseGCLogFileRotation XX:NumberOfGCLogFiles10 XX:GCLogFileSize1M Djdk.tls.ephemeralDHKeySize2048 集群中每个DataNode实例平均保存的Blocks HDFS Block 3÷DataNode节点数，单个DataNode实例平均Block数量变化时请修改默认值中的“Xms2G Xmx4G XX:NewSize128M XX:MaxNewSize256M”。参考值如下表所示。 DataNode JVM配置 单个DataNode实例平均Block数量 参考值 2,000,000 Xms6G Xmx6G XX:NewSize512M XX:MaxNewSize512M 5,000,000 Xms12G Xmx12G XX:NewSize1G XX:MaxNewSize1G Xmx内存值对应DataNode节点块数阈值，每GB对应500000块数，用户可根据需要调整内存值。

概念 说明 云资源池 云资源池是指中国电信采用虚拟化技术将计算、存储、网络等IT基础资源虚拟化成相应的逻辑资源池。 公有云 公有云是指云资源池被公众用户通过订阅使用云资源服务，云资源服务可以包括计算、存储、网络、应用程序和服务。 AI云电脑管理平台 提供整套AI云电脑管理平台软件，包含虚拟化、存储管理等组件，具备AI云电脑的开通、管理、监控、运维等能力。 电脑实例 可提供给用户电脑服务的最小单位，一台电脑实例包括vCPU、内存、电脑操作系统和系统盘等基础计算组件。 资源包 AI云电脑所需资源的总和，包括AI云电脑计算包、存储资源包和网络资源包。 单实例订购 直接选定AI云电脑规格并订购开通AI云电脑实例的一种AI云电脑订购方式。以单实例方式订购AI云电脑后，如有数据盘及上网带宽需求，数据盘及带宽服务需单独订购。 资源包订购 先订购资源包，再开通AI云电脑实例、数据盘及上网带宽的一种AI云电脑订购方式。资源包开通后，企业管理员可对AI云电脑、数据盘及上网带宽进行自助管理。 计算包 可供用户开通AI云电脑（vCPU、内存和系统盘）的资源总和。订购AI云电脑计算包后，企业管理员可自助开通、删除及管理AI云电脑，可开通的最大AI云电脑总数为用户订购计算包大小。 存储包 可供用户开通AI云电脑的数据盘的资源总和。订购存储包后，企业管理员可自助为AI云电脑添加数据盘、扩容数据盘，可开通的最大数据盘总容量为用户订购存储包容量大小。 网络包 可供用户开通AI云电脑上网带宽的资源总和。订购网络包后，企业管理员可自助开通、删除及配置带宽，可开通的最大上网带宽总和为用户订购网络包带宽大小。 AI云电脑升级/降级 升级/降级已购买的AI云电脑，如从2核4G内存升级至4核8G内存。 续订 延长AI云电脑及数据盘的订购可使用时间。 数据盘扩容 增加AI云电脑的已购数据盘容量，如从100GB扩容至2000GB。 管理员 管理员即为租户，具有对资源池下的资源进行订购、分配的权限。也可对租户下的用户进行创建、删除、分配桌面等操作。 用户 AI云电脑终端用户，AI云电脑（政企版）管理台支持两种创建用户方式： 管理员激活：输入用户账号和密码，即可生成用户账号。 邮件通知激活：输入用户通知邮箱和用户账号。账号信息会发送至用户通知邮箱，用户完成账号认证，即可使用该账号。 桌面池 桌面池是一批桌面集合，管理员提对桌面池桌面进行统一管理和运维。桌面池包含池化桌面、并发桌面两种类型。 池化桌面：可以创建一定数量的AI云电脑，与桌面池关联的用户通过先到先得的排队方式使用桌面池中的电脑资源。池化桌面数量和用户数量最高支持 1:3 配比，若池化桌面已使用完，用户需排队等待。 并发桌面：开通多个桌面，每个桌面只属于单个用户。根据并发桌面比例或数量进行相应的资源扣减。但每个桌面只属于单个用户，每次最多可在线使用的桌面数量占总并发桌面数量的一定比例。 基础策略 基础策略是为桌面配置的一组关于USB重定向、文件重定向读写权限、剪切板读写权限、水印、客户端自动重连间隔、画面显示等的安全规则集合，用于控制用户终端与AI云电脑之间的数据传输和外设接入权限。 移动终端 移动终端是指在移动设备上安装AI云电脑的客户端，使用户能通过该设备接入AI云电脑，该移动设备即称为移动终端。目前AI云电脑（政企版）支持移动终端包含了：iOS手机、iPad、安卓手机、安卓pad。 电脑终端 电脑终端是指在PC设备上安装AI云电脑的客户端，使用户能通过该设备接入AI云电脑，该PC设备即称电脑终端。目前AI云电脑（政企版）支持电脑终端包含了：Windows、Mac、Ubuntu瘦终端、安卓瘦终端、国产化终端。 触屏式 用户通过手指触碰显示屏，就能实现对移动端的AI云电脑进行操作。 鼠标式 用户通过在显示屏上移动鼠标指针，实现对移动端的AI云电脑进行操作。 虚拟键盘 可以在移动端的AI云电脑内进行文字输入、表格修改等其他操作的键盘。 组合键 将普通键盘的常用快捷键，以按钮的形式展现在移动端的AI云电脑内进行操作。

参数 参数类型 说明 示例 下级对象 installPath String 安装路径 /var/ctcss user String 运行账号 ctcss chown String 运行权限 755 confPath String 配置文件路径 /var/ctcss/etc/ctcss.yml logPath String 日志路径 /var/ctcss/logs/ctcssagentd.log processNames Array of Strings 相关进程 ["ctcssagentd", "eShieldmodules"] 表 guardStatus

2.1 服务配置 2.1.1 调度参数配置 编辑/home/vllm/srundeepseek.sh，如果是2台或者3台，需修改N后面的数值： plaintext !/bin/bash SBATCH N 4 ... 2.1.2 模型参数配置 编辑/home/vllm/node.sh： plaintext export MODELDIR/mnt/data/hfcache/DeepSeekR1 export MODELNAMEDeepSeekR1 export VLLMIMAGEvllmopenaiv0.8.1.sif export VLLMAPIKEY"password" 其中: MODELDIR为模型具体位置 MODELNAME为显示的模型名称 VLLMIMAGE为使用的vllm apptainer容器 VLLMAPIKEY为模型密钥，默认为password 2.2 DeepSeek服务启动 plaintext cd /home/deepseek sbatch srundeepseek.sh 输出示例：Submitted batch job 403 查看日志目录下的err文件，当出现如下信息时，表示服务启动： plaintext INFO: Started server process [409] INFO: Waiting for application startup. INFO: Application startup complete. 2.3 查看DeepSeek状态 可通过slurm命令squeue，查看作业运行信息： plaintext $ squeue JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 403 batch DSL40S root R 8:19 4 compute[0104] 注意 可在/home/deepseek/log目录中查看当前作业的日志文件。 2.4 DeepSeek服务停止 上述示例中，DeepSeek服务的JOB ID为403，如果需停止DeepSeek服务，命令为： plaintext scancel 403 或 scancel me

3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到网络丢包动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的HTTP请求错误数、HTTP状态码统计指标 2、业务应用验证： 观察运行在目标节点上的业务 Pod 与其他 Pod 或外部服务通信时，是否出现响应延迟增加或请求超时。 对于依赖 UDP 的服务（如DNS查询、部分音视频流），确认是否出现了功能异常或数据丢失。 检查应用日志，确认是否有因超时或重传而产生的错误。 确认 Kubernetes 的 liveness/readiness 探针是否因丢包而探测失败，导致 Pod 被重启。

3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到网络丢包动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的HTTP请求错误数、HTTP状态码统计指标 2、业务应用验证： 观察运行在目标节点上的业务 Pod 与其他 Pod 或外部服务通信时，是否出现响应延迟增加或请求超时。 对于依赖 UDP 的服务（如DNS查询、部分音视频流），确认是否出现了功能异常或数据丢失。 检查应用日志，确认是否有因超时或重传而产生的错误。 确认 Kubernetes 的 liveness/readiness 探针是否因丢包而探测失败，导致 Pod 被重启。

服务器安全卫士如何拦截暴力破解？ 服务器安全卫士暴力破解基本原理如下： 1、获取登录数据 Linux：通过查看系统日志，获取登录成功、失败、登出等行为。 登录日志（/var/log/secure） Windows：查看安全日志中的登录事件，4624（成功）、4625（失败），没有登出 2、判断是暴力破解的条件 说明 时间周期 N 相同IP下同一用户名登录N次 1分钟 30 相同IP下不同的用户名登录N次 5分钟 10 较长时间内重试达到指定N次 10分钟 50 3、封停原理 暴力破解自动封停存在开关，默认关闭，且仅对外网IP进行自动封停功能。 4、暴力破解封停功能的实现 Linux通过TCPWrappers实现封停功能，主要通过/etc/hosts.allow和/etc/hosts.deny完成的。 Windows通过Windows Filtering Platform（和windows防火墙一套的底层API），这套API用于支持对网络相关的处理能力。 5、封停状态变化 6、封停失败排查 封禁需要满足三个条件： openssh版本是否在7.8版本以下，7.8及以上不支持，6.6版本开始不再支持tcpwrappers，因此若直接回退版本需退到6.6版本。 ldd $(which sshd) grep wrap 命令是否有输出，没有则不支持wrap。 是否存在/etc/hosts.deny文件。 步骤： 1.执行 ps ef grep /usr/sbin/sshd ，找到sshd的主进程pid。 2.执行 cat /proc/962/maps grep libwrap ，若没有回显表示不支持。 临时解决方法是把openssh降到允许使用tcpwapper的版本。

创建委托 1. 登录IAM服务控制台。 2. 选择“委托 > 创建委托”。 3. 设置“委托名称”。例如：DataArts Studioagency。 4. “委托类型”选择“云服务”，在“云服务”中选择数据治理中心DataArts Studio，将操作权限委托给DataArts Studio，让DataArts Studio以您的身份使用其他云服务，代替您进行一些资源运维工作。 5. “持续时间”选择“永久”。 6. 在“权限选择”区域中，单击“配置权限”。 7. 在弹出页面中搜索“Tenant Administrator”策略，勾选“Tenant Administrator”策略并单击“确定”，如下图所示。 − 因Tenant Administrator策略具有除统一身份认证服务IAM外，其他所有服务的所有执行权限。所以给委托服务DataArts Studio配置Tenant Administrator，可访问周边所有服务。 − 若您想达到对权限较小化的安全管控要求，Tenant Administrator可不配置，仅配置OBS OperateAccess权限（因作业执行过程中，需要往obs写执行日志信息，因此需要添加 OBS OperateAccess权限。）。然后再根据作业中的节点类型，配置不同的委托权限。例如某作业仅包含Import GES节点，可配置GES Administrator权限和OBS OperateAccess权限即可。详细方案请参考配置权限。 8. 单击“确定”完成委托创建。 配置权限 将帐号的操作权限委托给DataArts Studio服务后，需要配置委托身份的权限，才可与其他服务进行交互。 为实现对权限较小化的安全管控要求，可根据作业中的节点类型，以服务为粒度，参见下表配置相应的服务Admin权限。 也可精确到具体服务的操作、资源以及请求条件等。根据作业中的节点类型，以对应服务API接口为粒度进行权限拆分，满足企业对权限最小化的安全管控要求。参见下表进行配置。例如包含Import GES节点的作业，您只需要创建自定义策略，并勾选ges:graph:getDetail（查看图详情），ges:jobs:getDetail（查询任务状态），ges:graph:access（使用图）这三个授权项即可。 须知 MRS相关的节点（MRS Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce），以及通过直连方式的（MRS Spark SQL、MRS Hive SQL）节点，由于部分MRS集群不支持委托方式提交作业，所以这类作业不能配置委托。 支持委托方式提交作业的MRS集群如下： 非安全集群 安全集群，集群版本大于2.1.0，并且安装了MRS 2.1.0.1及以上版本的补丁。 配置服务级Admin权限 因作业执行过程中，需要往obs写执行日志信息，因此粗粒度授权时，所有作业都需要添加 OBS OperateAccess权限。 配置相关节点的admin权限 节点名称 系统权限 权限描述 CDM Job DAYU Administrator 数据治理中心服务的所有执行权限。 Import GES GES Administrator 图引擎服务的所有执行权限。该角色有依赖，需要在同项目中勾选依赖的角色：Tenant Guest、Server Administrator。 MRS Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce MRS Spark SQL、MRS Hive SQL（通过MRS API方式连接MRS集群的） MRS Administrator KMS Administrator MRS Administrator：MapReduce服务的所有执行权限。该角色有依赖，需要在同项目中勾选依赖的角色：Tenant Guest、Server Administrator。 KMS Administrator：数据加密服务加密密钥的管理员权限。 MRS Spark SQL、MRS Hive SQL、MRS Kafka、Kafka Client（通过代理方式连接集群） DAYU Administrator KMS Administrator DAYU Administrator：数据治理中心服务的所有执行权限。 KMS Administrator：数据加密服务加密密钥的管理员权限。 DLI Flink Job、DLI SQL、DLI Spark DLI Service Admin 数据湖探索的所有执行权限。 DWS SQL、Shell、RDS SQL（通过代理方式连接数据源） DAYU Administrator KMS Administrator DAYU Administrator：数据治理中心服务的所有执行权限。 KMS Administrator：数据加密服务加密密钥的管理员权限。 CSS DAYU Administrator Elasticsearch Administrator DAYU Administrator：数据治理中心服务的所有执行权限。 Elasticsearch Administrator：云搜索服务的所有执行权限。该角色有依赖，需要在同项目中勾选依赖的角色：Tenant Guest、Server Administrator。 Create OBS、Delete OBS、OBS Manager OBS OperateAccess 查看桶、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限 SMN SMN Administrator 消息通知服务的所有执行权限。 配置细粒度权限（根据各服务支持的授权项，创建自定义策略。） 创建自定义策略的详细操作请参见统一身份认证用户指南中的有关“创建自定义策略”的章节。 说明 作业执行过程中，需要向OBS中写入执行日志。当采取精细化授权方式时，任何类型的作业均需要添加OBS的如下授权项： obs:bucket:GetBucketLocation obs:object:GetObject obs:bucket:CreateBucket obs:object:PutObject obs:bucket:ListAllMyBuckets obs:bucket:ListBucket CDM Job节点隶属于DataArts Studio模块，DataArts Studio不支持细粒度授权。因此包含这几类节点的作业，给服务配置权限仅支持DataArts Studio Administarator。 CSS不支持细粒度授权，且需要通过代理执行。因此包含这类节点的作业，需要配置DataArts Studio Administarator和Elasticsearch Administrator权限。 SMN不支持细粒度授权，因此包含这类节点的作业，需要配置SMN Administarator权限。 自定义策略 节点名称 授权项 Import GES ges:graph:access ges:graph:getDetai ges:jobs:getDetail MRS Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce MRS Spark SQL、MRS Hive SQL（通过MRS API方式连接MRS集群的） mrs:job:delete mrs:job:stop mrs:job:submit mrs:cluster:get mrs:cluster:list mrs:job:get mrs:job:list kms:dek:crypto kms:cmk:get MRS Spark SQL、MRS Hive SQL、MRS Kafka、Kafka Client（通过代理方式连接集群） kms:dek:crypto kms:cmk:get DataArts Studio Administarator(角色) DLI Flink Job、DLI SQL、DLI Spark dli:jobs:get dli:jobs:update dli:jobs:create dli:queue:submitjob dli:jobs:list dli:jobs:listall DWS SQL、Shell、RDS SQL（通过代理方式连接数据源） kms:dek:crypto kms:cmk:get DataArts Studio Administarator(角色) Create OBS、Delete OBS、OBS Manager obs:bucket:GetBucketLocation obs:bucket:ListBucketVersions obs:object:GetObject obs:bucket:CreateBucket obs:bucket:DeleteBucket obs:object:DeleteObject obs:object:PutObject obs:bucket:ListAllMyBuckets obs:bucket:ListBucket

灰度规则 内容灰度参数名称 内容灰度参数含义 协议类型 Spring Cloud：需要设置path。 Dubbo：需要选择服务和方法。 条件模式 选择同时满足下列条件或满足下列任一条件。 条件列表 Spring Cloud：可根据Cookie、Header或Parameter类型设置具体的参数。 Dubbo：根据应用实际的参数、参数值获取表达式设置。 流量灰度参数名称 流量灰度参数含义 流量比例 流量会按配置的比例被转发到当前的灰度版本的实例。 泳道灰度参数名称 泳道灰度参数含义 泳道名称 自定义泳道灰度策略名称。 泳道组 选择已创建的泳道组。 泳道 选择已创建的泳道。 设置完以上内容后，点击右下角发布按钮，进入到发布单详情界面。等待发布单完成初始化后再点击发布按钮进行应用发布。应用开始发布后，可点击应用实例发布单，查看应用发布具体信息。 发布单执行完成后，可到应用实例详情页面查看应用是否发布成功。 左侧导航栏，选择容器应用实例 > 应用发布 > 应用实例。在应用实例列表点击发布的应用实例，进入应用实例详情页面，通过点击事件和日志按钮，查看应用事件和日志。确认应用是否正常启动。

3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到Broker宕机动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 在演练运行详情 页的监控指标 页签，观测存活节点数、 节点存活状态指标。 2、业务应用验证： 检查您的生产者和消费者应用的日志，确认是否存在因连接被拒绝、找不到领导者（No Leader available）、请求超时等原因导致的错误。 确认您的业务监控系统是否成功捕获到 Kafka 集群异常或客户端错误，并触发了相应的告警。 验证您的客户端重试和故障转移逻辑是否按预期工作。

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在金融、交通、互联网、医疗、能源和政府部门等行业均可以使用翼MR服务进行大数据处理。 批量数据处理场景 HDFS服务负责存储海量日志数据。 YARN服务负责调度离线平台上运行的所有任务。 Hive、Spark、Trino等主流计算框架从数据加工、数据挖掘到数据分析，快速获取数据洞察力。 分析后的数据回写进HDFS服务，为上层数据可视化等产品提供数据支撑。 离线数据分析场景 将海量数据通过导入或者外表等形式引入到OLAP分析引擎里，例如，Trino提供高效、实时和灵活的数据分析能力。 满足用户画像、人群圈选、位置服务、BI报表和业务分析等一系列的业务场景。 流式数据处理场景 基于Flink流式计算框架，对各类业务日志或者消息等实时数据进行分析处理。 相应分析结果同步进HDFS存储服务中。 在线查询场景 基于Web和移动应用程序等生成的PB级别的结构化、半结构化或非结构化数据进行在线分析。 方便客户的Web应用或者数据可视化产品获取分析结果进行实时展示。