本章节介绍自适应配置分发的适用场景及使用方法 功能介绍 自适应配置推送优化通过自动收集envoy的accesslog的方式，自动分析应用间的调用依赖，为数据平面的工作负载应用Sidecar资源来实现配置推送优化。自适应配置推送优化特点如下： 1. 自适应配置推送优化功能将自动、自适应地为您选中的工作负载应用Sidecar资源。您无需对Sidecar资源进行手动的应用或更新操作。当服务的依赖关系发生变化时，也无需进行Sidecar资源的重新推荐。开启自适应配置推送优化功能后，Sidecar资源将会根据集群中被选中的工作负载自动生成。 2. 自适应配置推送优化功能不需要您开启使用日志服务采集数据平面的访问日志。 3. 自适应配置推送优化功能初始仅对sidecar推送istiosystem和meshoperator命名空间下的配置。控制面新增部署一个globalsidecar组件，该组件保存全量配置，当数据面请求产生时，如果没有查到对端的配置信息，会由该组件兜底转发流量。当数据面应用产生初次访问后，会自动更新Sidecar资源给发起方应用。 关于自适应配置推送优化的更多信息，请参考自适应配置分发优化效果。 适用场景 自适应配置推送优化功能将自适应地为您的工作负载创建Sidecar资源，无需预先梳理应用间的调用关系。适用于不熟悉Sidecar资源及配置推送优化的相关概念的管理者。 自适应配置推送优化功能在控制面进行日志上报以及服务依赖计算。开启该功能后，可能在短时间内为您网格的数据面流量及控制面资源带来多余的负担，因此建议您在负载较低的时段开启此功能。

方案介绍 当将Logstash与Kafka结合使用时，可以采用以下方案： 1. 使用Kafka输入插件：Logstash提供了Kafka输入插件，可以从Kafka主题中消费数据。通过配置Kafka输入插件，指定Kafka集群的地址、主题名称、消费者组等参数，Logstash可以从Kafka中获取数据。 2. 配置过滤器插件：在Logstash的配置文件中，可以添加各种过滤器插件来对从Kafka中消费的数据进行处理和转换。例如，可以使用grok插件进行日志解析，使用mutate插件进行字段操作，使用date插件进行日期格式转换等。根据实际需求，选择合适的过滤器插件并进行相应的配置。 3. 配置输出插件：在Logstash的配置文件中，需要添加输出插件的配置，用于将处理后的数据发送到目标位置。可以选择将数据发送到Elasticsearch、MySQL、文件系统等目标位置。对于与Kafka对接，可以选择Kafka输出插件，将处理后的数据发送回Kafka主题中。 4. 配置Logstash集群：为了实现高可用性和负载均衡，可以配置Logstash集群。可以使用负载均衡器（如Nginx）将请求分发到多个Logstash节点上，或者使用Kafka的分区机制将数据分发到不同的Logstash节点上。通过配置多个Logstash节点，可以提高系统的性能和可靠性。 5. 监控和故障排查：在使用Logstash对接Kafka时，需要监控Logstash和Kafka的运行状态，并及时发现和解决问题。可以使用监控工具（如Elasticsearch、Prometheus等）对Logstash和Kafka进行监控，收集关键指标和日志，并设置警报机制。此外，还可以使用Logstash的调试模式和日志输出功能，帮助排查故障和调试配置。 需要注意的是，在配置Logstash与Kafka对接时，需要确保Logstash和Kafka集群之间的网络连接正常，并且配置文件中的参数设置正确。此外，还需要根据实际情况进行性能测试和优化，以确保数据的高效处理和传输。

功能 说明 配置 进入该节点的“节点属性”页面。 删除 支持删除一个节点或同时删除多个节点。 单节点删除：右键单击画布中的节点图标，选择删除或按快捷键 Delete 。 多节点删除：按下键盘中的 Ctrl ，单击画布中需要删除的节点图标，在当前作业画布空白处单击右键，选择删除或按快捷键 Delete 。 复制 支持复制一个或多个节点至任意作业中： 单节点复制：右键单击画布中的节点图标，选择复制或按快捷键 Ctrl+C ，在作业画布空白处粘贴节点或按快捷键 Ctrl+V ，复制后的节点携带原节点的配置信息。 多节点复制：按下键盘中的 Ctrl ，单击画布中需要复制的节点图标，在当前作业画布空白处单击右键选择复制或按快捷键 Ctrl+C ，在目标作业画布空白处粘贴或按快捷键 Ctrl+V 。复制后的节点携带原节点的配置信息，但不包含节点间的连接关系。 测试运行 测试运行该节点。 从当前节点测试运行 仅在批作业下显示该选项。选择“从当前节点测试运行”，则测试运行当前节点以及后续节点。 添加/删除连线 可以选择为两个不同的节点添加或删除连线， 编辑CDM作业 仅CDM Job节点显示该选项。选择CDM集群和作业后，可以跳转到CDM作业编辑页面，进行作业修改。 查看CDM作业日志 仅CDM Job节点显示该选项。当CDM作业运行后，右键选中CDM Job节点，单击“查看CDM日志”，可以跳转到作业监控页面，查看作业日志打印的详细信息，帮助开发者定界定位作业运行异常原因。 编辑脚本 仅关联了脚本的节点显示该选项。跳转到脚本编辑页面，对关联的脚本进行编辑。 添加便签 为该节点添加便签，每个节点可以有多个便签。

本章节主要介绍Spark作业相关问题中有关作业运维报错的问题。 Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 问题现象 Spark程序访问OBS数据时上报如下错误。 Caused by: com.obs.services.exception.ObsException: Error message:Request Error.OBS servcie Error Message. ResponseCode: 403, ResponseStatus: Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。具体访问方式可以参考上方：通用队列操作OBS表如何设置AK/SK。 有访问OBS对应的桶的权限，但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 请排查“全局配置 > 作业配置” 对应OBS桶是否被设置为了DLI日志桶。 日志桶不能用于DLI的其他业务功能中。 Spark作业运行大批量数据时上报作业运行超时异常错误 Spark作业程序访问大批量数据，如访问DWS大批量数据库数据时，建议设置并发数，启动多任务的方式运行，避免作业运行超时。 使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 Spark作业不支持访问sftp。 建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 执行作业的用户数据库和表权限不足导致作业运行失败 问题现象 Spark作业运行报数据库权限不足，报错信息如下： org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Permission denied for resource: databases.xxx,action:SPARKAPPACCESSMETA) 解决方案 需要给执行作业的用户赋数据库的操作权限，具体操作参考如下： 1. 在DLI管理控制台左侧，单击“数据管理”>“库表管理”。 2. 单击所选数据库“操作”栏中的“权限管理”，将显示该数据库对应的权限信息。 3. 在数据库权限管理页面右上角单击“授权”。 4. 在“授权”弹出框中，选择“用户授权”或“项目授权”，填写需要授权的用户名或选择需要授权的项目，选择相应的权限。 5. 单击“确定”，完成授权。

本文主要介绍 创建无状态负载(Deployment) 。 操作场景 在运行中始终不保存任何数据或状态的工作负载称为“无状态负载 Deployment”，例如nginx。您可以通过控制台或kubectl命令行创建无状态负载。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有可用集群，请参照购买CCE集群中内容创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已创建负载均衡实例。 说明 单个实例（Pod）内如果有多个容器，请确保容器使用的端口不冲突 ，否则部署会失败。 通过控制台创建 步骤 1 登录CCE控制台。 步骤 2 单击集群名称进入集群，在左侧选择“工作负载”，在右上角单击“创建负载”。 步骤 3 配置工作负载的信息。 基本信息 负载类型：选择无状态工作负载Deployment。工作负载类型的介绍请参见工作负载概述。 负载名称：填写工作负载的名称。 命名空间：选择工作负载的命名空间，默认为default。您可以单击后面的“创建命名空间”，命名空间的详细介绍请参见创建命名空间。 实例数量：填写实例的数量，也就是Pod的数量。 容器运行时：CCE集群默认使用普通运行时。 时区同步：选择是否开启时区同步。开启后容器与节点使用相同时区（时区同步功能依赖容器中挂载的本地磁盘，请勿修改删除），时区同步详细介绍请参见时区同步。 容器配置 容器信息Pod中可以配置多个容器，您可以单击右侧“添加容器”为Pod配置多个容器。 基本信息：容器基本信息 生命周期：设置容器生命周期 健康检查：设置容器健康检查 环境变量：设置环境变量 数据存储：存储概述 安全设置：对容器权限进行设置，保护系统和其他容器不受其影响。请输入用户ID，容器将以当前用户权限运行。 容器日志：使用ICAgent采集容器日志 说明 负载实例数大于1时，不支持挂载云硬盘类型的存储。 镜像访问凭证：用于访问镜像仓库的凭证，默认取值为defaultsecret，使用defaultsecret可访问SWR镜像仓库的镜像。defaultsecret详细说明请参见defaultsecret。 GPU显卡：默认为不限制。当集群中存在GPU节点时，工作负载实例可以调度到指定GPU显卡类型的节点上。 服务配置 服务（Service）是用来解决Pod访问问题的。每个Service有一个固定IP地址，Service将访问流量转发给Pod，而且Service可以给这些Pod做负载均衡。 您也可以在创建完工作负载之后再创建Service，Service的概念和使用方法请参见Service概述。 高级配置 升级策略：工作负载升级配置 调度策略：调度策略（亲和与反亲和） 容忍策略：容忍策略与节点的污点能力配合使用，允许（不强制）负载调度到带有与之匹配的污点的节点上，也可用于控制负载所在的节点被标记污点后负载的驱逐策略，详情请参见容忍度（ Toleration ）。 步骤 3 单击右下角“创建工作负载”。

天翼云提供产品使用手册，请您点击下载查看。 专属云计算独享型用户使用手册.pdf

本文介绍了如何配置RDSPostgreSQL安全组。 RDSPostgreSQL开通后，您连接访问前需要对实例进行安全组相关设置，具体指引如下： 操作场景 安全组是一个逻辑上的分组，为同一个虚拟私有云内具有相同安全保护需求，并相互信任的弹性云服务器和RDSPostgreSQL实例提供访问策略。 为了保障数据库的安全性和稳定性，在使用RDSPostgreSQL实例之前，您需要设置安全组，开通需访问数据库的IP地址和端口。 通过弹性公网IP连接RDSPostgreSQL实例时，需要为RDSPostgreSQL所在安全组配置相应的入方向规则。 注意事项 因为安全组的默认规则是在出方向上的数据报文全部放行，同一个安全组内的弹性云服务器和RDSPostgreSQL实例可互相访问。安全组创建后，您可以在安全组中定义各种访问规则，当RDSPostgreSQL实例加入该安全组后，即受到这些访问规则的保护。 为一个安全组设置过多的安全组规则会增加首包延时，因此，建议一个安全组内的安全组规则不超过50条。 当需要从安全组外访问安全组内的RDSPostgreSQL实例时，需要为安全组添加相应的入方向规则。 源地址默认的IP地址0.0.0.0/0是指允许所有IP地址访问安全组内的RDSPostgreSQL实例。 操作步骤 1. 登录天翼云门户。 2. 点击【控制中心】，选择对应资源池，例如“华东1”。 3. 在页面中找到【网络】>【虚拟私有云】，并点击进入。 4. 在左侧导航树选择“访问控制 > 安全组”。 5. 在安全组界面，单击“安全组名称”列对应的安全组，进入安全组详情界面。 6. 根据实际情况，选择“入方向规则”或者“出方向规则”。 7. 在安全组详情界面，单击“添加规则”，弹出添加规则窗口。 8. 根据界面提示配置安全组规则。 9. 单击“确定”。

本文介绍动态授权的适用场景和配置方法。 功能介绍 动态授权基于零信任永不信任持续验证的理念，会根据用户访问行为和环境的不断变化而作出新的策略。基于终端的设备基线、安全风险、数据风险、合规风险、行为基线、地理位置、时间等因素对终端进行动态可信分析，提供对风险人员、风险终端告警通知、阻断内网访问、注销登录等处置能力。系统内置多个动态授权配置模板，您可以通过引用现有的策略或者进行调整后的自定义策略，来实现对办公场景的管控。 持续动态评估：基于零信任多维度综合分析引擎，根据采集和上报的不同指标数据，对用户访问行为进行可信评估并实时联动处置。 阻断恶意访问：零信任网关能将内网请求和用户身份进行绑定，根据用户的访问可信评分和综合分析引擎下发的处置动作，实时阻断恶意的内网访问，可通过配置策略，配置处置动作进行处置。 可视化处置能力：通过上方点击威胁事件数tab，企业可查看当前被处置中的异常账号和异常设备记录，并提供检测详情协助企业管理员对处置事件进行审计追溯 ，满足企业管理员可视化处置管理需求。具体功能说明见处置记录。 操作步骤 1. 登录边缘安全加速控制台。 2. 在左侧导航栏AOne零信任安全动态授权，查看动态授权的配置和管理。 3. 可根据业务需求进行相关配置。

本章节介绍数据库治理的基本详情 概述 数据库治理针对开发运维人员访问、使用数据库时的常见场景，提供SQL访问审计、数据库稳定性治理、数据流量治理三个方面的能力。MSE提供了SQL监控统计、SQL流量防护、连接池治理、数据库灰度、数据库读写路由等功能，可以从数据库服务维度进行开发提效和性能优化。 基本详情 基本详情页提供应用SQL访问流量和应用资源的实时统计数据。根据数据库相关的应用实时指标，可以及时发现由数据库访问引起的应用性能下降问题，并定位高并发或高RT的SQL以及异常的数据库连接，从而支撑后续SQL语句优化、SQL接口流量防护和连接池配置等系统调优操作。 功能入口 1. 登录微服务治理控制台。 2. 在控制台左侧导航栏中选择应用治理。 3. 在应用治理页面的应用卡片页签单击目标应用卡片。 4. 在左侧导航栏选择数据库治理，在基本详情页签下可以查看应用的SQL流量概览、应用事件、Top SQL洞察和Druid连接池统计数据。 SQL流量概览 可以查看应用在一定时间内SQL流量的通过QPS、限流QPS、异常QPS指标、RT、并发数据。 应用事件 可以查看SQL请求触发的应用防护事件。 Top SQL洞察 可以查看相对高RT的SQL语句及其QPS、RT和并发数据，快速定位SQL对应用业务的具体影响。并且可以通过单击操作下方的SQL防护，管理和配置SQL接口的流量控制和并发隔离规则。

介绍分布式消息服务RabbitMQ查看虚拟主机操作内容。 场景描述 在RabbitMQ中，虚拟主机（Virtual Host）是一个逻辑隔离的消息代理环境，用于分隔不同应用或不同团队之间的消息流。当需要查看虚拟主机的信息时，可能有以下场景描述： 管理员查看虚拟主机配置：管理员需要查看虚拟主机的配置信息，包括虚拟主机的名称、权限设置、连接数限制等。这可以帮助管理员了解当前系统的虚拟主机情况，进行配置管理和优化。 开发人员查看虚拟主机队列信息：开发人员需要查看虚拟主机中队列的信息，包括队列的名称、消息数量、消费者数量等。这可以帮助开发人员了解当前队列的状态，监控消息的流动情况，进行故障排查和性能调优。 运维人员查看虚拟主机连接信息：运维人员需要查看虚拟主机的连接信息，包括连接的客户端IP、连接数、协议等。这可以帮助运维人员监控连接的使用情况，检测异常连接，进行资源管理和安全审计。 操作步骤 （1）在虚拟主机管理页面，点击目标虚拟主机名称，即可参看虚拟主机详情。 （2）查看虚拟主机概览，主要展示最近时间段各类型消息数量和消息tps统计。 （3）参看用户配置权限及读写权限信息。 （4）查看用户主题权限信息。

监控通知将为您提供云监控平台相关通知消息，为避免您日常使用受到影响，建议你及时关注监控通知消息。 操作场景 监控通知功能便于您及时了解监控平台推送您的重要通知消息。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击右上角“监控通知”按钮，即可查看云监控平台推送的通知消息。 说明 在监控通知抽屉页，您可点击消息右上角“标为已读”按钮，确认您已知晓消息内容。 “监控概览”/“监控面板”页面，监控通知按钮右上角数值，表示用户未读消息数目。 在4.0资源池，监控通知功能在“监控概览”、“监控面板”页面均显示；在3.0资源池，监控通知功能在“监控面板”页面显示。 注意 “监控通知”功能仅在云监控平台根据业务需求，向您推送相关通知信息后，控制台才显示相关功能。

本文介绍余额不足的提示规则及提醒方式。 如果用户的账户余额不足，天翼云会有提示机制。 提示规则 在以下两种情况下会有提示： 第一种是账户余额低于用户设置的阈值，会有通知。为了避免余额不足的情况产生，可以通过在天翼云官网账户的可用额度进行预警设置，当用户可用额度小于设定阈值时，会 每天给联系人发送短信和邮件提醒，最多连续提醒3天 。 第二种是账户余额小于0时，会有短信/邮件通知。 操作步骤如下： 1. 登录天翼云账户。 2. 单击右上角。 3. 单击【费用中心】。 4. 打开【可用额度预警】开关，修改预警阈值，当用户的余额低于阈值，系统会发送短信提醒。 提醒方式 天翼云将以邮件和短信方式告知用户，请及时关注短信及邮件。

本节介绍了如何获取天翼云提供的CNAME,并将域名或者业务的DNS解析指向天翼云提供的CNAME,这样访问的请求才能转发到边缘云节点上,达到安全防护效果。 前提条件 您已经完成添加服务域名，如果您未添加，请参考添加服务域名。 操作步骤 1. 在控制台【安全与加速】—【域名管理】中复制域名对应的CNAME。 2. 前往您的域名解析(DNS)服务商(如万网、阿里云解析、DNSPod、新网、腾讯云解析、route 53、godaddy等)，添加该CNAME记录。 以DNSPod操作界面为例，配置如下 3. 验证服务是否生效。配置CNAME后，不同的服务商CNAME生效的时间也不同，一般新增的CNAME记录会立即生效，修改的CNAME记录会需要较长时间生效；您可以 ping 或 dig 您所添加的加速域名，如果被指向.ctyun.cn，即表示CNAME配置已经生效，功能也已生效。 注意: 配置CNAME完毕，CNAME配置生效后，边缘安全加速平台—安全与加速服务生效。 CNAME配置生效时间：新增CNAME记录会实时生效，而修改CNAME记录需要最多72小时生效时间。 添加时如遇添加冲突，可参考以下“解析记录互斥规则” 调整记录。 在提示冲突的时候，说明已经有对应的记录，不允许重复添加或者说不能添加对应的记录，提供如下说明： 在RR值（Resource Records，资源记录）相同的情况下，同一条线路下，在几种不同类型的解析中不能共存( X 为不允许)。 X：在相同的 RR 值情况下，同一条线路下，不同类型的解析记录不允许共存。如：已经设置了 www.ctyun.cn 的 A 记录，则不允许再设置 www.ctyun.cn 的 CNAME 记录。 无限制：在相同的 RR 值情况下，同一条线路下，不同类型的解析记录可以共存。如：已经设置了 www.ctyun.cn 的 A 记录，则还可以再设置 www.ctyun.cn 的 MX 记录。 可重复： 指在同一类型下，同一条线路下，可设置相同的多条 RR 值。如：已经设置了 www.ctyun.cn 的 A 记录，还可以再设置 www.ctyun.cn 的 A 记录。

本文带您快速熟悉如何获取访问密钥(AK/SK)。 访问密钥即AK/SK（Access Key ID/Secret Access Key），是您通过开发工具（API、SDK）访问部分云服务平台时的身份凭证，不能登录控制台。系统通过AK识别访问用户的身份，通过SK进行签名验证，通过加密签名验证可以确保请求的机密性、完整性和请求者身份的正确性。 获取AKSK操作说明 1. 通过实名认证的账号登录天翼云。 2. 进入天翼云账号中心。 3. 点击【安全设置】进入安全设置中心 4. 在用户AccessKey模块，可创建AKSK，或直接查看已生成的AKSK。

本文介绍视频直播流量包邮件提醒通知的相关说明。 当前天翼云视频直播资源包仅支持流量包订购，在视频直播流量包用尽或有效期到期前，系统会通过邮件的方式向用户发送邮件提醒。本文介绍视频直播流量包邮件提醒通知的相关说明。 背景说明 以下两种维度，任何一种都会触发资源包提醒通知： 邮件触发维度 邮件提醒频率 用量维度 用量用尽前70%、90%、100%。 时间维度 有效期到期前1天、3天、7天。 注意事项 订购视频直播流量包之前需要先开通视频直播的按需流量计费。所有流量包用量用尽或有效期到期后，会自动转按需计费模式。

通过任务中心，可以查看您所创建的数据导出任务，并下载相关数据文件到本地。 操作场景 在产品监控列表页创建数据导出任务，可以在任务中心下载数据文件到本地。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 查看任务中心 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控服务”，进入监控概览页面。 4. 选择“任务中心”菜单，即可任务中心列表页面。

本节主要介绍云存储网关与OOS之间关系。 云存储网关作为本地与天翼云对象存储（经典版）I型（ObjectOriented Storage，OOS）之间的桥梁，通过标准 iSCSI 协议提供块存储服务，帮助用户将全量数据自动同步到OOS中，实现存储空间的弹性扩展。

本环节为您介绍数据迁移服务迁移时长相关问题。 我如何能知道迁移任务的进度？ 一般情况，对象存储服务的迁移速度的参考值是1020TB每天。由于迁移速度受源端对象个数、大小以及公网传输距离影响，建议用户创建一个实际数据的迁移任务来测试实际迁移速度，实际最大迁移速度为单个任务平均速度的5倍（单个Region内并发任务数最大为5）。 单个迁移任务速度可以在“迁移任务”界面中查看实时任务迁移速度。 若您在创建迁移任务时选择使用SMN消息通知功能，迁移任务结果也将通过电子邮件、短信以及自定义URL等方式发送给您。 迁移带宽由什么决定？ 以下三点中最小带宽为准： 数据源出口带宽。 目标端入口带宽。 如何确定任务是否卡死 查看数据迁移工具当前阶段速率展示（迁移速率、核查个数）是否正常。 l 查看源端迁移日志，如果日志信息长时间未刷新，可能是任务异常。 为什么迁移速率有时远远低于带宽大小？ 出现这种现象的原因，一般但不限于以下场景： 大文件多 稀疏文件多

3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到网络延迟动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的应用提供服务平均响应时间指标。 2、业务应用验证： 观察运行在目标节点上的业务 Pod 与其他 Pod 或外部服务通信时，是否出现响应延迟增加或请求超时。 检查应用日志，确认是否有因超时而触发的重试、熔断或降级逻辑。 确认 Kubernetes 的 liveness/readiness 探针是否因网络延迟而探测超时，导致 Pod 被重启。

本文为您介绍如何使用Logstash组件将数据导入至天翼云云搜索服务Elasticsearch实例。 Logstash是一个开源的服务器端实时数据处理工具，支持从多个数据源中提取数据，经过处理后将数据导入到Elasticsearch中。它非常适合处理流数据，如日志、监控数据和指标数据。 适用场景 日志数据、监控数据、流数据等。 前提条件 已经开通天翼云云搜索Elasticsearch实例。 已经部署Logstash且打通和Elasticsearch实例之间的网络。 Logstash配置 Logstash可以接收很多数据源，可以根据实际的需求配置。 这里使用Filebeat作为Logstash的输入。 配置yourlogstash.conf管道文件。 Logstash需要接收Filebeat的输出并进行处理，示例配置如下： input { beats { port > 5044 } } 对数据进行处理。 filter { mutate { removefield > ["@version"] } } output{ elasticsearch{ Elasticsearch实例的访问地址。 hosts > [" " " 访问Elasticsearch实例的用户名和密码，如无安全机制可不配置。 user > "" password > "" 配置写入的索引名,示例如下。 index > "filebeatlogstashes%{+YYYY.MM.dd}" } } 启动Logstash导入数据 可以使用下面的命令在命令行来启动Logstash导入数据： ./bin/logstash f yourlogstash.conf

本章节主要介绍翼MapReduce的配置监控指标数据转储操作。 操作场景 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件，并以FTP或SFTP的形式上传到指定的服务器中。 使用该功能前，管理员需要在FusionInsight Manager页面进行相关配置。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“系统 > 对接 > 监控数据上传”。 3. 单击“监控数据上传”右边的开关。 “监控数据上传”默认为不启用，开关显示为表示启用。 4. 根据下表所示的说明填写上传参数： 上传配置参数 参数名称 参数说明 FTP IP地址模式 必选参数，指定服务器IP地址模式，可选择“IPV4”或“IPV6”。 FTP IP地址 必选参数，指定监控指标数据对接后存放监控文件的FTP服务器。 FTP端口 必选参数，指定连接FTP服务器的端口。 FTP用户名 必选参数，指定登录FTP服务器的用户名。 FTP密码 必选参数，指定登录FTP服务器的密码。 保存路径 必选参数，指定监控文件在FTP服务器保存的路径。 转储时间间隔（秒） 必选参数，指定监控文件在FTP服务器保存的周期，单位为秒。 转储模式 必选参数，指定监控文件发送时使用的协议。可选协议为“SFTP”和“FTP”。建议使用基于SSH v2的SFTP模式，否则可能存在安全风险。 SFTP服务公钥 可选参数，指定FTP服务器的公共密钥，“转储模式”选择“SFTP”时此参数生效。 5. 单击“确定”，设置完成。 说明 选择转储模式为SFTP，当SFTP服务公钥为空时，先进行安全风险提示，确定安全风险后再保存配置。

本章节主要介绍翼MapReduce组件Spark使用的常见问题。 问题说明 使用Spark SQL 访问Hive 表的一个表分区，但是运行速度却很慢。 分析样例： select x,y from test where x1 （其中x是test表的 Partition 字段） 原因分析 按照spark 源码逻辑，在解析逻辑计划时候回去调用 getPartitionsByFilter方法 去hive中只提取 x1 分区信息。 但是由于一些原因，导致getPartitionsByFilter 的谓词下推失败，从而去全表扫描所有test的分区信息，并返回。 例如，我们x字段是String类型，但是我们的SQL中不是 where x’1’ ，而是where x1 ，这就导致了谓词下推失败。 出现hive分区表谓词下推失败的情况，我们可以做如下处理： 我们需要去检查sql中的写法是否正确。 可以关闭SQL逻辑计划解析过程中的谓词下推逻辑。 处理步骤 关闭SQL逻辑计划解析过程中的谓词下推逻辑，具体是Spark SQL默认开启基于分区统计信息的执行计划优化，相当于自动执行Analyze Table（默认开启的设置方法为spark.sql.statistics.fallBackToHdfstrue，可通过配置为false关闭）。 开启后，SQL执行过程中会扫描表的分区统计信息，并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放在内存中广播到各个节点上，进行join操作，大大节省shuffle时间。 此开关对于Join场景有较大的性能优化，但是会带来 获取分区表信息RPC请求 的增加。 在SparkSQL中设置以下参数后再运行： set spark.sql.statistics.fallBackToHdfsfalse; 或者在启动之前使用conf设置这个值为false： conf spark.sql.statistics.fallBackToHdfsfalse

本章节主要介绍翼MapReduce服务配置角色实例参数。 操作场景 用户可以根据实际业务场景，在MRS Manager中快速查看及修改角色实例默认的配置。支持导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 操作步骤 修改角色实例参数 1. 单击“服务管理”。 2. 单击服务列表中指定的服务名称。 3. 单击“实例”页签。 4. 单击角色实例列表中指定的角色实例名称。 5. 单击“实例配置”页签。 6. 在“参数类别”选择“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7. 在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 8. 单击“保存配置”，勾选“重启角色实例”并单击“确定”，重启角色实例。 界面提示“操作成功。”，单击“完成”，角色实例成功启动。 导出角色实例配置参数 1. 单击“服务管理”。 2. 选中某项服务。 3. 选中某角色或单击“实例”。 4. 选择指定主机上某角色实例。 5. 单击“实例配置”。 6. 单击“导出实例配置”，导出指定角色实例配置数据并选择一个位置保存。 导入角色实例配置参数 1. 单击“服务管理”。 2. 选中某项服务。 3. 选中某角色或单击“实例”。 4. 选择指定主机上某角色实例。 5. 单击“实例配置”。 6. 单击“导入实例配置”，导入指定角色实例配置数据。 7. 单击“保存配置”，勾选“重启角色实例。”并单击“确定”。 界面提示“操作成功。”，单击“完成”，角色实例成功启动。

本章节主要介绍翼MapReduce服务退服和入服务角色实例。 操作场景 某个Core或Task节点出现问题时，可能导致整个集群状态显示为“异常”。MRS集群支持将数据存储在不同Core节点，用户可以在MRS Manager指定角色实例退服，使退服的角色实例不再提供服务。在排除故障后，可以将已退服的角色实例入服。 支持退服、入服的角色实例包括： HDFS的DataNode角色实例 Yarn的NodeManager角色实例 HBase的RegionServer角色实例 Kafka的Broker角色实例 限制： 当DataNode数量少于或等于HDFS的副本数时，不能执行退服操作。例如HDFS副本数为3时，则系统中少于4个DataNode，将无法执行退服，Manager在执行退服操作时会等待30分钟后报错并退出执行。 Kafka Broker数量少于或等于副本数时，不能执行退服。例如Kafka副本数为2时，则系统中少于3个节点，将无法执行退服，Manager执行退服操作时会失败并退出执行。 已经退服的角色实例，必须执行入服操作启动该实例，才能重新使用。 操作步骤 在MRS Manager，单击“服务管理”。 1.单击服务列表中相应服务。 2.单击“实例”页签。 3.勾选指定角色实例名称前的复选框。 4.选择“更多 > 退服”或“入服”执行相应的操作。 说明 实例退服操作未完成时在其他浏览器窗口重启集群中相应服务，可能导致MRS Manager提示停止退服，实例的“操作状态”显示为“已启动”。实际上后台已将该实例退服，请重新执行退服操作同步状态。

本章节主要介绍翼MapReduce的静态服务资源操作。 简介 集群分配给各个服务的资源是静态服务资源，这些服务包括Flume、HBase、HDFS和Yarn。每个服务的计算资源总量固定，不与其他服务共享，是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。 静态服务池 静态服务池用来指定服务资源的配置。 在服务级别上，静态服务池对各服务可使用的资源进行统一管理： 限制服务使用的资源总量，支持配置Flume、HBase、HDFS和Yarn在部署节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离，可将集群中的服务与其他服务隔离，使一个服务上的负载对其他服务产生的影响有限。 调度机制 静态服务资源支持基于时间的动态调度机制，可以在不同时间段为服务配置不同的资源量，优化客户业务运行环境，提高集群的效率。 在一个复杂的集群环境中，多种服务共享使用集群资源，但是各服务的资源使用周期可能会有比较大的区别。 例如以下业务场景，对于一个银行客户： 在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致： 白天查询服务的资源不够用，分析服务的资源空闲。 晚上分析服务的资源不够用，查询服务的资源空闲。 集群资源利用率不高，而且服务能力也打了折扣。因此： 白天多配置HBase服务资源。 晚上多配置Hive服务资源。 这种基于时间的动态调度机制可以更高效的利用资源，运行任务。

本章节主要介绍翼MapReduce的切换调度器操作。 操作场景 新安装的MRS集群默认即使用了Superior调度器，如果是历史版本升级的集群，管理员可以根据以下指导，将Yarn的调度器从Capacity调度器一键式切换到Superior调度器。 前提条件 确保集群网络通畅，网络环境安全，Yarn服务状态正常。 在切换调度器期间，不允许做添加、删除、修改租户，以及启停服务等操作。 对系统的影响 调度器切换过程中，由于要重启Resource Manager，因此切换期间向Yarn提交任务会失败。 调度器切换过程中，正在Yarn上面执行的Job的Task任务会继续执行，但不会启动新的Task。 调度器切换完成后，在Yarn上面执行的任务有可能会失败进而导致业务中断。 调度器切换完成后，在租户管理中将使用Superior的相关参数。 调度器切换完成后，Capacity调度器中“资源容量”为“0”的租户队列在Superior调度器中分配不到资源，提交到该租户队列的任务会执行失败。建议在Capacity调度器中不要将租户队列的“资源容量”配置为“0”。 调度器切换完成后，在观察期内，不允许对资源池、Yarn节点标签（Label）和租户做添加、删除的操作。若添加或者删除了资源池、Yarn节点标签（Label）或租户，将不支持回退到Capacity调度器。 说明 切换调度器观察期建议为一周，如果对资源池、Yarn节点标签（Label）或租户做了添加、删除的操作，将视为观察期结束。 回退可能会丢失部分或者所有的Yarn任务信息。

网络检测 如需检测本地到AI云电脑的网络情况，设置可点击“检测网络”功能。 网络代理 设置点击“网络代理”，可选择代理类型：不使用代理、HTTP及SOCKS5三种类型，支持IP地址和端口连通性测试功能。（适用于使用HTTP或SOCKS5代理服务器登录场景） 其他客户端 设置点击“其他客户端”，扫描二维码下载体验天翼AI云电脑其他客户端：Windows/Mac/iPhone/iPad/安卓手机/安卓Pad/安卓瘦终端。 关于我们 设置点击“关于我们”，可以查看“版本更新”、“版本日志”、“用户协议”、“隐私政策”等。 最小化、关闭 登录页右上角最小化、关闭功能仅支持Windows系统客户端、Mac客户端、国产化客户端。 Ubuntu瘦终端，安卓瘦终端（安卓盒子、一体机、云笔电）为全屏模式显示，不支持最小化和关闭功能。

psql host192.168.6.141 port5432 dbnamemydb usernameroot c "select controltablespace('alter', 'tbspc1', 'user1');" plaintext Password for user root: controltablespace alter tablespace tbspc1 successfully. (1 row) 如授权不成功，详细信息请查看该实例错误日志。 结束 删除表空间 步骤 1 以root用户连接数据库，并删除表空间。 psql host port usernameroot dbname c "select controltablespace('drop', ' ');" 表 参数说明 参数 说明 RDSADDRESS RDS实例的IP地址。 DBPORT RDS数据库实例的端口。 DBNAME 数据库名称。 TABLESPACENAME 表空间名称。 步骤 2 根据提示输入root用户密码。 示例如下： psql host192.168.6.141 port8635 dbnamemydb usernameroot c "select controltablespace('drop', 'tbspc1');" plaintext Password for user root: controltablespace drop tablespace tbspc1 successfully. (1 row) 删除表空间之前请确认该表空间已为空。如删除不成功，详细信息请查看该实例错误日志。 结束

本节介绍FileSystem功能操作能力。 FileSystem 是 AIuse 云电脑面向 Agent 和自动化系统提供的文件操作能力，用于在云电脑环境中读取、写入、搜索、移动和管理文件。 能力概述 FileSystem 当前规划和技术方案覆盖以下能力： 能力 说明 读取文件 支持按路径读取文件内容，可按偏移量和长度读取片段 写入文件 支持覆盖写入、追加写入和新建写入模式 创建目录 支持创建目录，并可自动补齐父目录 移动文件 支持文件或目录移动，也可用于重命名 搜索文件 支持按通配符、正则或精确文件名搜索 获取文件信息 支持获取文件大小、类型、路径等元数据 下载文件 大文件或二进制文件可通过临时地址传输，具体能力以发布版本为准 设计目标 FileSystem 能力的目标是为 Agent 提供统一、可控的文件系统语义。 典型场景 读取应用生成的日志、报表或结果文件。 将 Agent 生成的内容写入云电脑工作目录。 查找指定目录下的文件。 将文件移动到指定目录，完成任务归档。 配合 Computer Use 完成“操作软件生成文件，再读取文件内容”的闭环任务。 示例流程 1. 通过 Computer Use 操作桌面软件生成文件。 2. 使用 FileSystem 搜索输出目录。 3. 读取目标文件内容。 4. 将结果返回业务系统或 Agent。

菜单/按键 说明 运行状态 展示实例运行状态。 成功：表示实例运行成功。 失败：表示实例运行失败。 运行中：表示实例正在运行中。 运行结果 展示实例运行是否正常结束。 正常：表示实例正常结束，且执行结果符合预期。 告警：表示实例正常结束，但执行结果不符合预期。 异常：表示实例未正常结束。 ：表示实例正在运行中，无执行结果。 重跑 再次运行业务场景实例。 运行日志 查看规则实例的详细运行日志信息。 更多>处理问题 对当前业务场景实例进行进一步处理。支持填写处理意见，关闭问题和移交他人。 如果实例的处理人是当前登录用户则可以对业务场景实例进行处理操作，包括填写意见和转交给他人处理。 更多>处理日志 可查看历史处理记录。

3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到停止节点动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录注册配置中心控制台，观测实例节点状态。 2、业务应用验证： 查看依赖RCC的分布式应用日志，确认是否存在服务注册/发现失败、配置获取超时等临时错误，判断错误出现及消失时间是否与节点故障、集群自愈时间匹配，验证错误是否在集群自愈后自动消除。 验证应用的容错机制是否生效（如请求重试、多节点冗余调用），避免因单个RCC节点故障导致业务中断。

类型 值 描述 通用（General） 通配符，表示该资源能进行的所有操作。 通用（General） Get 表示该资源能进行的所有的获取操作。 通用（General） Put 表示该资源能进行的所有的设置操作。 通用（General） List 表示该资源能进行的所有的列举操作。 桶（Bucket） DeleteBucket 删除桶。 桶（Bucket） ListBucket 列举桶内对象，获取桶元数据。 桶（Bucket） ListBucketVersions 列举桶内多版本对象。 桶（Bucket） ListBucketMultipartUploads 列举多段上传任务。 桶（Bucket） GetBucketAcl 获取桶ACL的相关信息。 桶（Bucket） PutBucketAcl 设置桶ACL。 桶（Bucket） GetBucketCORS 获取桶CORS配置的相关信息。 桶（Bucket） PutBucketCORS 设置桶CORS。 桶（Bucket） GetBucketVersioning 获取桶多版本的相关信息。 桶（Bucket） PutBucketVersioning 设置多版本。 桶（Bucket） GetBucketLocation 获取桶位置。 桶（Bucket） GetBucketLogging 获取桶日志记录的相关信息。 桶（Bucket） PutBucketLogging 设置桶日志记录。 桶（Bucket） GetBucketWebsite 获取桶的静态网站配置的相关信息。 桶（Bucket） PutBucketWebsite 设置桶的静态网站托管。 桶（Bucket） DeleteBucketWebsite 删除桶的静态网站托管配置。 桶（Bucket） GetLifecycleConfiguration 获取桶生命周期规则。 桶（Bucket） PutLifecycleConfiguration 设置桶生命周期规则。