本节介绍分布式消息服务Kafka的产品规格，以便您正确理解和使用。 Kafka实例规格 （1）以下规格适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 节点 注意 通用型规格已调整为白名单特性，如需了解该规格参数请联系技术支持。 单机版实例面向用户体验和业务测试场景，无法保证性能和高可用。如果需要在生产环境使用Kafka实例，建议购买集群版实例。 集群版 Intel计算增强型 实例规格 代理个数 单个代理TPS 单个代理分区上限 单个代理建议主题数 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格（MB/S） kafka.2u4g.cluster 350 30000 250 250 20 2000 300500000GB 100 kafka.4u8g.cluster 350 100000 500 500 100 4000 300500000GB 200 kafka.8u16g.cluster 350 150000 1000 1000 150 4000 300500000GB 375 kafka.12u24g.cluster 350 200000 1500 1500 200 4000 300500000GB 625 kafka.16u32g.cluster 350 250000 2000 2000 200 4000 300500000GB 750 kafka.24u48g.cluster 350 250000 2000 2000 200 4000 300500000GB 1125 kafka.32u64g.cluster 350 250000 2000 2000 200 4000 300500000GB 1500 kafka.48u96g.cluster 350 250000 2000 2000 200 4000 300500000GB 2250 kafka.64u128g.cluster 350 250000 2000 2000 200 4000 300500000GB 3000

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。

本文介绍如何使用云搜索Elasticsearch、Kibana、Logstash实例搭建日志分析平台。 使用ELK Stack（Elasticsearch、Logstash、Kibana、Beats）进行日志管理是一种流行的开源解决方案，用于集中式日志收集、存储、分析和可视化。ELK Stack可以从分布式系统中采集和聚合日志，帮助运维和开发人员更好地理解系统的运行状态、排查问题并监控关键业务指标。 本文将使用Filebeat、Logstash、Elasticsearch、Kibana搭建一个简单的日志分析平台，其中需要自行部署Filebeat并且打通和天翼云云搜索Elasticsearch、Kibana以及Logstash实例之间的网络。 ELK Stack组件 Elasticsearch 是一个分布式搜索引擎，作为ELK堆栈的核心，它负责存储和索引日志数据。Elasticsearch提供强大的全文搜索、过滤和分析功能，可以快速处理大规模数据并允许实时查询。 Logstash 是一个数据处理管道工具，负责从各种输入源收集数据，进行过滤、处理并将其输出到 Elasticsearch。Logstash 支持多种数据源（如文件、数据库、消息队列），并且能够通过过滤器对数据进行处理，比如解析、格式转换等。 Kibana 是一个数据可视化和分析工具，允许用户在浏览器中直观地查询和展示Elasticsearch 中存储的日志数据。Kibana提供多种图表、仪表盘和地图，可以帮助用户监控系统、分析日志、生成报表等。 Beats是一组轻量级数据收集器，用于将各种类型的数据发送到Elasticsearch或Logstash进行索引和分析。其中Filebeat是 ELK Stack 中的一个轻量级日志数据收集器，用于收集日志文件数据。它监视指定的日志文件或位置，并将其发送到Elasticsearch或Logstash以进行存储和分析。

本文主要介绍节点重启后消费者如何重连分布式消息服务RabbitMQ。 本章节以Java中使用的RabbitMQ客户端amqpclient为例介绍节点重启后消费者如何重连。 amqpclient自带重连机制，但是自带的重连机制只会重试一次，一次连不上后就不会再执行了，这时如果消费者没有做额外的重试机制，那么这个消费者就彻底丧失的消费能力。 amqpclient在节点断连后，根据与通道建立的节点不同，产生不同的错误。 如果通道连接的是队列所在的节点，消费者就会收到一个shutdown信号，这时amqpclient的重连机制就会生效，尝试重新连接服务端。如果连上了，这个通道就会继续连接消费。如果连不上，就会执行channel.close方法，关闭这个通道。 如果通道连接的不是队列所在的节点，消费者不会触发关闭动作，而是由服务端发送的一个取消动作，这个动作对amqpclient来说并不是异常行为，所以日志上不会有明显的报错，但是连接最终还是会关闭。 amqpclient出现上面两种错误时，会分别回调handleShutdownSignal以及handleCancel方法，您可以通过重写这两种方法，在回调时执行重写的重连逻辑，就能在通道关闭后重新创建消费者的新通道继续消费。 以下提供一个简单的代码示例，此示例能够解决上面的两种错误，实现消费者的持续消费。 package rabbitmq; import com.rabbitmq.client.; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.concurrent.TimeoutException; public class RabbitConsumer { public static void main(String... args) throws IOException, TimeoutException { ConnectionFactory factory new ConnectionFactory(); factory.setHost("100.00.000.000"); factory.setPort(5672); factory.setUsername("name"); factory.setPassword("password"); Connection connection factory.newConnection(); createNewConnection(connection); } public static void createNewConnection(Connection connection) { try { Thread.sleep(1000); Channel channel connection.createChannel(); channel.basicQos(64); channel.basicConsume("queue01", false, new CustomConsumer(channel, connection)); } catch (Exception e) { // e.printStackTrace(); createNewConnection(connection); } } static class CustomConsumer implements Consumer { private final Channel channel; private final Connection connection; public CustomConsumer(Channel channel, Connection connection) { channel channel; connection connection; } @Override public void handleConsumeOk(String consumerTag) { } @Override public void handleCancelOk(String consumerTag) { } @Override public void handleCancel(String consumerTag) throws IOException { System.out.println("handleCancel"); System.out.println(consumerTag); createNewConnection(connection); } @Override public void handleShutdownSignal(String consumerTag, ShutdownSignalException sig) { System.out.println("handleShutdownSignal"); System.out.println(consumerTag); System.out.println(sig.getReason()); createNewConnection(connection); } @Override public void handleRecoverOk(String consumerTag) { } @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println(" [x] Received '" + message + "'"); channel.basicAck(envelope.getDeliveryTag(), false); } } }

参数 说明 管道名称 自定义管道名称，实例内不可重复 管道描述 作业管道的描述信息，非必填 管道工作线程数 并行执行管道的Filters和Outputs阶段的工作线程数。 管道批处理大小 每个批次处理的最大事件数量 管道批处理延迟 当管道批处理大小不满足时，每个批次最大的等待时间，单位为毫秒 队列类型 用于事件缓冲的排队模型，可选值为： memory：基于内存的队列 persisted：基于磁盘的持久化队列 队列最大字节数 当选择 persisted 队列类型时，队列中可存放的最大字节数量，需确保该值小于实例单节点的磁盘容量 队列检查点写入数 当选择 persisted 队列类型时，在强制执行检查点时已写入的最大的事件数量，若设置为0，则表示无限制

一键自动修复 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 勾选漏洞列表中所有需要修复的漏洞，单击漏洞列表左上角的“批量修复”，一键批量修复漏洞。 4. 在修复对话框中，确认待修复的漏洞数量和影响资产数量、选择修复所需软件源。 您可以在修复对话框中查看修复命令、查看影响服务器数量。软件源支持清华软件源、华为云软件源、阿里云软件源，也可以自配置软件源。若选择自配置软件源，请务必确认已在服务器上配置好对应操作系统发行版的软件源（如 yum、zypper、aptget 或 emerge 等包管理工具对应的软件源）。 5. 单击“确定”，开始自动修复漏洞。 6. 修复完成后，建议您立即重新扫描漏洞，验证修复结果。 手动修复漏洞 您可以参考漏洞详情页面的修复建议，登录服务器手动修复漏洞。 说明 漏洞修复完成后需要手动重启服务器，否则系统仍可能为您推送漏洞消息。 不同的漏洞请根据修复建议依次进行修复。 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 单击“漏洞名称”链接、或操作列的“查看详情”，跳转至漏洞详情页面。 4. 在漏洞详情页面可以看到漏洞修复建议。 5. 登录漏洞影响的服务器，根据修复建议进行修复。 6. 修复完成后，建议您立即重新扫描漏洞，验证修复结果。

本文为您介绍如何在科研助手中删除队列。 删除步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【资源配额】中的【队列管理】。 3. 选择一个队列，在右边单击【删除】。 4. 在二次确认的弹框输入框中输入“确认删除“，并且点击【确认 】完成删除。队列下没有作业任务和开发机任务时才可删除成功。

用户 数据工程师A （游戏数据分析） 数据工程师B （音乐数据分析） 队列 队列A（队列使用权限） 队列B（队列使用权限） 数据（表） gameTable（表管理和使用权限） musicTable（表管理和使用权限） 数据（表） userTable（表管理和使用权限） userTable（表查询权限）

创建弹性资源池 1.登录DLI管理控制台，在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 2.在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。 3. 在“购买弹性资源池”界面，填写具体的弹性资源池参数，具体参数填写参考如下。 −名称：填写具体的弹性资源池名称。例如设置为：pooltest。 −CU范围：弹性资源池扩缩容的CU范围。 −网段：配置弹性资源池网段。例如当前配置为172.16.0.0/18。 −其他参数根据需要选择和配置。 详细的弹性资源池创建流程可以参考创建弹性资源池。 4.参数填写完成后，单击“立即购买”，确认配置信息无误后，单击“提交”完成弹性资源池创建。 5.弹性资源池创建任务提交后，会在弹性资源池管理界面的“状态”列显示当前资源池的创建状态，当状态显示为“可使用”时表示资源池可以正常使用。 添加队列到弹性资源池 1.在已创建的弹性资源池的“操作”列，单击“添加队列”进入弹性资源池添加的队列的操作界面。 2.首先配置弹性资源池队列的基本信息，具体参数参考如下。 −名称：添加的队列的名称。 −类型：根据作业需要选择队列类型。本示例选择为：通用队列。 SQL队列类型：用于运行Spark SQL和Trino作业。 通用队列类型：用于运行Flink和Spark Jar作业。 −其他参数请根据需要配置。 3.配置完基本参数后，单击“下一步”，在队列的扩缩容策略配置界面，修改扩缩容策略配置：最小CU：64、最大CU：64。 4.单击“确定”完成添加队列操作。

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。

参数 类型 默认值 说明 autoReconnect boolean true 连接断开后，是否自动发起重连， 建议值：true pingBeforeActivateConnection boolean true 连接创建后，是否通过ping/pong校验连接可用性， 建议值：true cancelCommandsOnReconnectFailure boolean true 连接重连失败时，是否取消队列中的命令， 建议值：false disconnectedBehavior DisconnectedBehavior DisconnectedBehavior.DEFAULT 连接断开时的行为， 建议值：ACCEPTCOMMANDS DEFAULT：当autoReconnect为true时，允许命令进入队列等待，当autoReconnect为false时，禁止命令进入队列等待 ACCPETCOMMANDS：允许命令进入队列等待 REJECTCOMMANDS：禁止命令进入队列等待 socketOptions SocketOptions 网络配置项

导出质量作业 系统支持批量导出质量作业，一次最多可导出200个质量作业。 1. 选择“数据质量监控 > 质量作业”，选择要导出的质量作业。 2. 单击“导出”，弹出“导出质量作业”对话框。 3. 单击“导出”，切换到“导出记录”页签。 4. 在导出文件列表中，单击最新导出文件对应的“下载”，可将质量作业的Excel表格下载到本地。 导入质量作业 系统支持批量导入质量作业，一次最大可导入1M数据的文件，并且最多200个质量作业。 1. 选择“数据质量监控 > 质量作业”，单击“导入”，弹出“导入质量作业”对话框。 2. 在“导入配置”页签，选择模板名称重名策略。 终止：如果质量作业名称有重复，则全部导入失败。 跳过：如果质量作业名称有重复，会忽略后继续导入。 覆盖：如果质量作业名称有重复，会覆盖现有同名作业。 3. 单击“上传文件”，选择准备好的数据文件。 说明 可通过如下两种方式填写数据文件： (推荐使用)通过“导出”功能，可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”，将数据填写好，再导入至系统中。 4. 分别配置数据连接、集群、目录、主题的映射资源信息。 数据连接：选择导入后的数据连接类型。 集群：如果数据连接类型是DLI，需要选择对应的队列。 目录：选择导入后的质量作业存储目录。 主题：如果配置了消息通知，需要选择主题。 5. 单击“导入”，将填好的Excel表格模板导入到系统。 6. 单击“导入记录”页签，可查看对应的导入记录。

参数 说明 取值样例 Topics 支持单个或多个topic。 est1,est2 偏移量参数 从Kafka拉取数据时的初始偏移量： 最新：最大偏移量，即拉取最新的数据。 最早：最小偏移量，即拉取最早的数据。 已提交：拉取已提交的数据。 时间范围：拉取时间范围内的数据。 最新 是否持久运行 用户自定义是否永久运行。 是 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 sumergroup 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 l JSON：以JSON格式解析源数据。 CDC（DRSJSON）：以DRSJSON格式解析源数据。 二进制格式 字段分隔符 默认为空格，使用Tab键作为分隔符请输入“t”。 , 最大消息数/poll 可选参数，每次向Kafka请求数据限制最大请求记录数。 100 最大时间间隔/poll 可选参数，向Kafka请求数据的最大时间间隔。 100

导出对账作业 系统支持批量导出对账作业，一次最多可导出200个对账作业。 1.选择“数据质量监控 > 对账作业”，选择要导出的对账作业。 2.单击“导出”，弹出“导出对账作业”对话框。 3.单击“导出”，切换到“导出记录”页签。 4.在导出文件列表中，单击最新导出文件对应的“下载”，可将质量作业的Excel表格下载到本地。 导入对账作业 系统支持批量导入对账作业，一次最大可导入1M数据的文件，并且最多200个对账作业。 1.选择“数据质量“监控” > 对账作业”，单击“导入”，弹出“导入对账作业”对话框。 2.在“导入配置”页签，选择模板名称重名策略。 终止：如果对账作业名称有重复，则全部导入失败。 跳过：如果对账作业名称有重复，会忽略后继续导入。 覆盖：如果对账作业名称有重复，会覆盖现有同名作业。 3.单击“上传文件”，选择准备好的数据文件。 说明 可通过如下两种方式填写数据文件： (推荐使用)通过“导出”功能，可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”，将数据填写好，再导入至系统中。 4.分别配置数据连接、集群、目录、主题、的映射资源信息。单击“导入”，将填好的Excel表格模板导入到系统。 数据连接：选择导入后的数据连接类型。 集群：如果数据连接类型是DLI，需要选择对应的队列。 目录：选择导入后的对账作业存储目录。 主题：如果配置了消息通知，需要选择主题。 5.单击“导入记录页签”，可查看对应的导入记录。

本节介绍如何查看当前购买的产品规格。 购买、续订、升级扩容后可以通过产品信息页面查看所购买产品的规格，同时个人消息中心以及用户绑定的手机也能够收到相关的购买成功提示短信。 查看购买后的WAF规格方式如下： 查看云SaaS型产品信息 1. 登录天翼云控制中心。 2. 单击页面顶部的区域选择框，选择区域。 3. 在产品服务列表页，选择“安全 > Web应用防火墙（原生版）”。 4. 在左侧导航栏，选择“系统管理 > 查看产品信息”，选择“云SAAS型”页签。 5. 在产品信息页面，可以查看实例版本、到期时间、实例规格等信息，并支持对实例进行管理。 说明 购买成功后需要等待一段时间相关规格才能刷新，预计等待1~2分钟左右。 查看独享型产品信息 1. 登录天翼云控制中心。 2. 单击页面顶部的区域选择框，选择区域。 3. 在产品服务列表页，选择“安全 > Web应用防火墙（原生版）”。 4. 在左侧导航栏，选择“系统管理 > 查看产品信息”，选择“独享型”页签。 5. 单击目标实例操作列的“查看产品详情”。 6. 在产品信息页面，可以查看实例版本、实例名称、实例ID、到期时间、实例规格等信息，并支持对实例进行管理。 说明 购买成功后需要等待一段时间相关规格才能刷新，预计等待1~2分钟左右。

本章节主要介绍翼MR Manager的租户与资源特性。 翼MR Manager提供的租户与资源主要包含：LDAP租户管理、Kerberos安全凭证、YARN队列管理、HBase数据库管理。 前置操作 使用租户与管理功能，需要进入Manager页面，操作步骤如下： 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 租户与资源功能介绍 LDAP租户管理 进入到翼MR Manager以后，点击菜单“租户与资源 > LDAP租户管理”，进入LDAP租户管理页面。如图所示： 支持查看LDAP中的租户和租户组。 支持新增租户、租户组。 支持为租户关联租户组、租户组关联租户以及取消关联关系。 支持以租户为维度的Principal管理以及Keytab的分发。 Kerberos安全凭证 进入到翼MR Manager以后，点击菜单“租户与资源 > Kerberos安全凭证”，进入Kerberos安全凭证页面。如图所示： 支持新建Principal、删除Principal。 支持Keytab分发与下载，并支持查看Keytab的分发记录。 YARN队列管理 进入到翼MR Manager以后，点击菜单“租户与资源 > YARN队列管理”，进入YARN队列管理页面。如图所示: 支持YARN队列新建、编辑与删除。 支持YARN队列启动与停止。 支持YARN队列容量设置和YARN队列授权。 支持YARN队列capacityscheduler.xml的全局属性配置。 支持YARN队列的同步生效并支持查看同步生效记录。

资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant Administrator DLI Service Admin 队列 DROPQUEUE 删除队列 √ × √ √ 队列 SUBMITJOB 提交作业 √ × √ √ 队列 CANCELJOB 终止作业 √ × √ √ 队列 RESTART 重启队列 √ × √ √ 队列 GRANTPRIVILEGE 队列的赋权 √ × √ √ 队列 REVOKEPRIVILEGE 队列权限的回收 √ × √ √ 队列 SHOWPRIVILEGES 查看其他用户具备的队列权限 √ × √ √ 数据库 DROPDATABASE 删除数据库 √ × √ √ 数据库 CREATETABLE 创建表 √ × √ √ 数据库 CREATEVIEW 创建视图 √ × √ √ 数据库 EXPLAIN 将SQL语句解释为执行计划 √ × √ √ 数据库 CREATEROLE 创建角色 √ × √ √ 数据库 DROPROLE 删除角色 √ × √ √ 数据库 SHOWROLES 显示角色 √ × √ √ 数据库 GRANTROLE 绑定角色 √ × √ √ 数据库 REVOKEROLE 解除角色绑定 √ × √ √ 数据库 SHOWUSERS 显示所有角色和用户的绑定关系 √ × √ √ 数据库 GRANTPRIVILEGE 数据库的赋权 √ × √ √ 数据库 REVOKEPRIVILEGE 数据库权限的回收 √ × √ √ 数据库 SHOWPRIVILEGES 查看其他用户具备的数据库权限 √ × √ √ 数据库 DISPLAYALLTABLES 显示数据库中的表信息 √ × √ √ 数据库 DISPLAYDATABASE 显示数据库信息 √ × √ √ 数据库 CREATEFUNCTION 创建函数 √ × √ √ 数据库 DROPFUNCTION 删除函数 √ × √ √ 数据库 SHOWFUNCTIONS 显示所有函数 √ × √ √ 数据库 DESCRIBEFUNCTION 显示函数详情 √ × √ √ 表 DROPTABLE 删除表 √ × √ √ 表 SELECT 查询表 √ × √ √ 表 INSERTINTOTABLE 插入 √ × √ √ 表 ALTERTABLEADDCOLUMNS 添加列 √ × √ √ 表 INSERTOVERWRITETABLE 重写 √ × √ √ 表 ALTERTABLERENAME 重命名表 √ × √ √ 表 ALTERTABLEADDPARTITION 在分区表中添加分区 √ × √ √ 表 ALTERTABLERENAMEPARTITION 重命名表分区 √ × √ √ 表 ALTERTABLEDROPPARTITION 删除分区表的分区 √ × √ √ 表 SHOWPARTITIONS 显示所有分区 √ × √ √ 表 ALTERTABLERECOVERPARTITION 恢复表分区 √ × √ √ 表 ALTERTABLESETLOCATION 设置分区路径 √ × √ √ 表 GRANTPRIVILEGE 表的赋权 √ × √ √ 表 REVOKEPRIVILEGE 表权限的回收 √ × √ √ 表 SHOWPRIVILEGES 查看其他用户具备的表权限 √ × √ √ 表 DISPLAYTABLE 显示表 √ √ √ √ 表 DESCRIBETABLE 显示表信息 √ × √ √

本章节主要介绍测试地址连通性。 可用于测试普通场景中DLI队列与用户指定对端地址之间的连同性，或者跨源连接场景中DLI队列与跨源连接绑定的对端地址之间连通性。具体操作如下： 1. 在“队列管理”页面，选择需要测试地址连通性的队列，单击“操作”列“更多”中的“测试地址连通性”。 2. 在“测试地址连通性”页面填写需要测试的地址。支持域名和ip，可指定端口。 3. 单击“测试”。 如果测试地址可连通，页面上将提示地址可达。 如果测试地址不可连通，页面上将提示地址不可达，请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。

手动修复漏洞 您可以参考漏洞详情页面的修复建议，登录服务器手动修复漏洞。 说明 漏洞修复完成后需要手动重启服务器，否则系统仍可能为您推送漏洞消息。 不同的漏洞请根据修复建议依次进行修复。 执行以下步骤，查看漏洞修复建议： 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 单击“漏洞公告”链接、或操作列的“立即处理”，跳转至漏洞详情页面。 4. 在漏洞列表单击操作列的“更多”，查看漏洞的修复建议。 忽略漏洞 某些漏洞只在特定条件下存在风险，比如某漏洞必须通过开放端口进行入侵，如果主机系统并未开放该端口，则该漏洞不存在危害。如果评估后确认某漏洞暂时无害，可以忽略该漏洞。 说明 当漏洞处理状态为“未修复”、“修复失败”、“修复成功”、“修复成功待重启”时，可执行“忽略”操作。 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 勾选漏洞列表中所有需要忽略的漏洞，单击漏洞列表左上角的“批量忽略”，一键批量忽略漏洞。 4. 在弹出的对话框中，确认忽略的漏洞数量和影响服务器数量后，单击“确定”。 漏洞忽略后将不再提示，您可在漏洞列表中选择已忽略漏洞进行取消忽略操作。

创建队列 队列是使用DLI服务的基础，执行SQL作业前需要先创建队列。 DLI有预置的可用队列“default”。 用户也可根据需要自己创建队列。 a. 登录DLI管理控制台 b. 在DLI管理控制台，单击左侧导航栏中的“SQL编辑器”，可进入SQL作业“数据库”页面。 c. 在左侧导航栏，选择队列页签，单击右侧的创建队列。 创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。 创建数据库 在进行数据查询之前还需要创建一个数据库，例如db1。 说明 “default”为内置数据库，不能创建名为“default”的数据库。 1.在DLI管理控制台，单击左侧导航栏中的“SQL编辑器”，可进入SQL作业“数据库”页面。 2.在“SQL编辑器”页面右侧的编辑窗口中，输入如下SQL语句，单击“执行”。阅读并同意隐私协议，单击“确定”。 create database db1 数据库创建成功后，左侧单击“”刷新数据库页面，新建建的数据库db1会在“数据库”列表中出现。 说明 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，确认同意后才能执行作业，且后续“执行”操作将不会再提示阅读隐私协议。

参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 cardetail 分区 导入前清空数据，如果设置为true时，呈现此参数。 表示分区信息。 year2020,locationsun

本章节主要介绍数据湖探索（DLI）队列的退订操作。 按需计费 按需购买的队列无需退订，直接删除即可。 提示 ： 退订前建议您做好数据备份 。 1.登录天翼云官网，进入控制中心； 2.进入控制中心，选择资源池，选择“数据湖探索”； 3.进入“队列管理”页面，找到需要退订的队列，在队列“操作”项下，点击“删除”即可；

本页介绍了天翼云关系数据库MySQL版告警规则的设置方法。 注意 仅II类型资源池支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见功能概览。 操作场景 管理控制台支持设置告警规则，用户可自定义监控目标与通知策略，及时了解MySQL数据库服务运行状况，从而起到预警作用。 说明 针对部分告警（比如存储空间或者备份空间满）默认推送给对应的租户，如果租户下面有多个用户，则所有用户都会收到对应的告警信息。 如果某个用户不希望收到告警，则需要使用该用户的账号登录天翼云官网进入数据库管理平台 > 消息中心 > 消息订阅，在告警信息设置中取消该用户的邮件、短信、企业微信和钉钉等。 新建指标告警策略 1.在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 关系型数据库 > 关系数据库MySQL版 ，进入关系数据库MySQL产品页面。然后单击管理控制台 ，进入概览页面。 2.在左侧导航栏，选择管理中心 > 告警中心 > 告警设置。 3.单击新建告警策略，设置告警规则，您也可以对已创建的策略进行编辑修改。 参数名 参数解释 策略名称 告警策略的名称，一个告警策略可以包含多个告警规则。 资源池 告警策略对应的资源池。 备注 告警策略的备注信息。 告警对象 可选择天翼云数据库组件，并选择对应的告警实例。 以MySQL为例，可在单击实例MySQL后，单击资源池旁的选择实例。 模板类型 支持手动创建告警规则，用户也可使用默认模板的告警规则。 阈值告警 支持选择实例内存使用率、磁盘使用率、CPU使用率、连接数和活跃连接数比例、全部会话、活跃会话、备份空间使用量、实例TPS、QPS等告警指标，备份空间使用率等，具体以实际页面展示为准。 状态告警 支持选择实例状态，即实例状态异常时将发出告警。 沉默周期 指告警发生后如果未恢复正常，间隔多久重复发送一次告警通知。 告警级别 支持选择紧急、告警、普通三种告警级别。 通知方式 支持选择邮箱、短信、企业微信、钉钉等多种方式，支持同时选择多种告警方式进行告警。填写后将以选定的通知方式进行告警通知。 告警联系人 目前可选择主账号和该主账号下的子账号，不可选择其他用户。选择后会将告警信息推送至用户绑定的邮箱和短信。 4.填写对应参数后，单击确认。

如何下载客户端？ 登录翼MR管理控制台，单击“我的集群”，单击指定的集群名称，进入集群信息页面。 单击“基础信息”tab，在“软件信息”中单击“客户端”右侧的“前往下载客户端”按钮，即可下载集群服务的客户端信息。 如何启动/停止所有集群服务？ 登录翼MR管理控制台，单击“我的集群”，单击指定的集群名称，进入集群信息页面。 单击“翼MR Manager”tab，单击菜单“集群服务”，进入集群服务列表页面。单击“更多操作>启动所有集群服务”或“停止所有集群服务”，确认操作后开始启动/停止所有集群服务，等待完成即可。 如何滚动重启集群服务？ 登录翼MR管理控制台，单击“我的集群”，单击指定的集群名称，进入集群信息页面。 单击“翼MR Manager”tab，单击菜单“集群服务”，进入集群服务列表页面。选择要滚动重启的集群服务，单击集群服务名称进入集群服务详情页面。单击“运维操作>滚动重启集群服务”，进入到滚动重启集群服务页面，按照引导进行下一步操作，等待滚动重启集群服务完成后即可。 如何配置YARN队列？ 登录翼MR管理控制台，单击“我的集群”，单击指定的集群名称，进入集群信息页面。 单击“翼MR Manager”tab，点击菜单“租户与资源 > YARN队列管理”，即可对集群进行YARN队列配置，包括：新建队列、启动队列、停止队列、设置队列容量、队列授权、修改全局属性等操作。

参数 说明 pipeline.workers 并行执行管道的Filters+Outputs阶段的工作线程数，默认值为CPU核数，建议取值为120之间。 pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数，该值较大通常更有效，但会增加内存开销，默认为125。 pipeline.batch.delay 创建管道事件批时，在将过小的批调度到管道工作线程之前，等待每个事件的时间（以毫秒为单位），默认值为50。 queue.type 用于事件缓冲的内部队列模型。memory为基于内存的传统队列，persisted为基于磁盘的ACKed持久化队列，默认值为memory。 queue.checkpoint.writes 如果使用持久化队列，则表示强制执行检查点之前写入的最大事件数，默认值为1024。 queue.maxbytes 如果使用持久化队列，则表示持久化队列的总容量，确保磁盘的容量大于该值，默认值为1024。 单位：MB。

生产者指标 指标名称 指标说明 单位 生产TPS 统计Topic的消息生产速率，计算方式：1分钟内的最大值 条/秒 生产消息量峰值 统计消息生产速率的最大值 条/秒 累计生产消息量 统计所选时间段内所选topic累计生产的消息总量 条 消费者指标 指标名称 指标说明 单位 处理中消息量 计算选定的Topic和消费组当前消费者客户端正在消费但是还没有返回消费成功响应到服务端的消息数。 条 已就绪消息量 计算选定的Topic和消费组当前在服务端已经就绪可以被消费消费的消息总量，这部分消息消费者客户端还没有开始消费。 条 堆积消息量 计算选定Topic和消费组当前消息堆积总量，包括处理中消息和已就绪消息。 条 已就绪消息排队时间 计算选定的Topic和消费组最早一条就绪消息的就绪时间和当前时间差，数值面板展示取选定时间段内统计的最大值展示，曲线面板展示选定时间范围的序列值，当该订阅组没有在线时，该值不显示。该指标可以观测还未被处理的消息的延迟时间大小，适用于对消息延时时间比较敏感的业务场景。 毫秒，但随着数值增大会自适应变换单位 消息消费速率 计算选定Topic和消费组消费消息的速率。 条/秒 消费者速率峰值 计算所选定Topic和消费组的消息消费速率的最大值。 条/秒 消费堆积量 包含上面的堆积消息量，处理中消息量，已就绪消息量，以曲线的形式展示。 条 消息消费处理耗时 计算所选Topic和消费组消费时，从消息开始被消费到消费完成的处理耗时。 毫秒 消息生产速率 top20 Topics 展示消息生产速率最高的前20个Topic生产速率曲线。 条/秒 消息消费速率 top20 Groups 展示消息消费速率最高的前20个消费组消费速率曲线。 条/秒 已就绪消息量 top20 Groups 计算已就绪消息量最大的前20个消费组。 条 已就绪消息排队时间 top20 Groups 计算已就绪消息量最大的前20个Group。 条 堆积消息量（包含已就绪消息以及处理中消息）top20 Group 统计堆积的消息量最多的前20个Group。 条 处理中消息量 top20 Groups 计算处理中的消息量最多的前20个Group。 条 消费处理耗时 top20 Groups 计算消费处理耗时最长的前20个Group。 毫秒

本文主要介绍云搜索服务的应用场景。 日志检索分析 云搜索服务可以采集分析各类以文件形式存储的日志，包括不限于服务器、容器日志等。结合消息队列Kafka、Logstash对日志数据进行采集清洗，进入Elasticsearch或OpenSearch中存储检索分析，并通过Kibana或Dashboards进行可视化呈现。 高稳定：通过读写限流、查询熔断、集群监控等方式保障。 性能优化：通过支持压缩算法、内核增强节省存储空间，增强读写速率、降低响应延迟。 易用性：支持多种统计分析方法、划分维度，丰富的可视化查询，可对接BI实现拖拽式报表。 站内搜索 面对海量数据，提供分布式的信息检索工具，可根据网站内容进行关键字检索，也可搭建商品检索或推荐系统。 实时检索：支持模糊搜索，数据来源多样且持续写入，站内资料或商品信息更新数秒内即可被检索。 分类统计：检索同时可以将符合条件的结果进行排序或分类统计。 多场景适配：可用于网站、移动端应用搜索、企业内部应用等多种需要快速检索的场景。 数据分析 提供开箱即用的可视化、高聚合分析能力，便捷高效地对海量数据实时分析。更好地适配实时多维分析在线查询服务场景，满足高实时性，高查询QPS，低查询延迟的数据分析要求。 快速响应：支持海量的、数据源多样、字段不固定的数据高并发处理，毫秒级响应。 复杂查询：支持大批量模糊关键字搜索及一些聚合的复杂查询。 向量检索：基于向量特征相似度匹配，支持图文搜索、地理位置搜索。

本章节主要介绍翼MapReduce的Capacity Scheduler模式下清除租户非关联队列操作。 操作场景 在Yarn Capacity Scheduler模式下，删除租户的时候，只是把租户队列的容量设置为0，并且把状态设为“STOPPED”，但是队列在Yarn的服务里面仍然残留。由于Yarn的机制，无法动态删除队列，管理员可以执行命令手动清除残留的队列。 对系统的影响 脚本运行过程中会重启controller服务，同步Yarn的配置，并重启主备ResourceManager实例。 重启controller服务时，无法登录和操作FusionInsight Manager。 重启主备ResourceManager实例后，Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 前提条件 已删除某个租户，但该租户对应的队列依然存在。 操作步骤 1. 确定该租户对应的队列依然存在。 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn”。通过“ResourceManager(主)”链接进入ResourceManager WebUI界面。 单击左侧“Scheduler”界面，可以查看租户对应的队列依然存在，且状态为“STOPPED”，“Configured Capacity”值为0。 2. 以omm用户登录主管理节点。 3. 执行以下目录，执行“cleanQueuesAndRestartRM.sh”脚本。 cd ${BIGDATAHOME}/omserver/om/sbin ./cleanQueuesAndRestartRM.sh c 集群ID 说明 “集群ID”为需执行操作集群ID号，可在FusionInsight Manager的“集群 > 待操作集群的名称 > 集群属性”中查看。 在脚本运行过程中，需输入yes及管理员密码。 Running the script will restart Controller and restart ResourceManager. Are you sure you want to continue connecting (yes/no)?yes Please input admin password: Begin to backup queues ... ... 4. 脚本运行成功后，在FusionInsight Manager界面，选择“集群 > 待操作集群名称 > 服务 > Yarn”。通过“ResourceManager(主)”链接进入ResourceManager WebUI界面。 5. 单击左侧“Scheduler”界面，确认被删除租户的队列已经清除。

Hudi Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 Iceberg Iceberg 是一个用户分析的高性能表格式， Iceberg 表格的数据可以存储在 HDFS/S3 等不同存储上，Iceberg 使得能够在大数据系统中更好的使用 SQL 做数据分析，同时可以让多引擎查询同时支持 Iceberg 表格，Iceberg 支持引擎批量/增量的消费，能够降低端到端的耗时。 Knox Apache Knox Gateway 是一个应用程序网关，用于与Apache Hadoop 部署的 REST API 和 UI 进行交互。Knox 网关为与 Apache Hadoop集群的所有 REST 和 HTTP 交互提供了一个单一的访问点。 Logstash（仅存量支持） Logstash 是一款数据收集引擎，用于从各种来源收集、处理和转发数据。它可以从多种来源（如业务日志文件、消息队列、数据库等）收集数据，对数据进行解析、过滤和转换，最终将处理后的数据输出到目标位置（Opensearch、Elasticsearch、Hadoop、S3 等）。 JeekeFS（仅存量支持） JeekeFS 是一个高性能分布式文件系统，用于存储和管理文件与数据。它采用数据与元数据分离的存储架构，数据本身被持久化在对象存储中，元数据则可以按需存储在多种数据库中。 Tez Tez组件是Apache Hadoop生态系统中的一个计算框架，它利用DAG（有向无环图）来优化作业执行。通过提供可编程的输入、输出、处理器、任务等组件，Tez能够高效地执行复杂的数据处理任务，提升Hadoop作业的性能和灵活性。

数据源所在安全组放通弹性资源池的网段 1. 在DLI管理控制台，获取弹性资源池/队列的网段。 单击“资源管理 > 队列管理”，选择运行作业的队列，单击队列名称旁的按钮，获取队列的网段信息。 2. 登录VPC控制台。找到数据源所在的VPC。 3. 查找安全组名称，在“弹性网卡 > 更多 > 更改安全组”中可以查到所属安全组。 4. 在左侧导航树选择“访问控制 > 安全组”。 5. 单击外部数据源所属的安全组名称，进入安全组详情界面。 6. 在“入方向规则”页签中添加放通队列网段的规则。 详细的入方向规则参数说明请参考下表。 入方向规则参数说明 参数 说明 取值样例 优先级 安全组规则优先级。 优先级可选范围为1100，默认值为1，即最高优先级。 优先级数字越小，规则优先级级别越高。 1 策略 安全组规则策略。 允许 协议端口 网络协议。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等协议。 端口：允许远端地址访问指定端口，取值范围为：1～65535。 本例中选择TCP协议，端口值不填或者填写为数据源的端口。 类型 IP地址类型。 IPV4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写获取的队列网段。 描述 安全组规则的描述信息，非必填项。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 DLI队列 是 下拉选择需要使用的队列。 作业特性 否 选择自定义镜像和对应版本。仅当DLI队列为容器化队列类型时，出现本参数。自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像，使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到SWR（容器镜像服务）中，最后在此选择自己生成的镜像，运行作业。自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中，从而增强作业的功能、性能。。 作业名称 是 填写DLI Spark作业的名称，只能包含英文字母、数字、“”，且长度为1~64个字符。默认与节点的名称一致。 作业运行资源 否 选择作业运行的资源规格： 8核32G内存 16核64G内存 32核128G内存 作业主类 是 Spark作业的主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 Spark程序资源包 是 运行spark作业依赖的jars。可以输入jar包名称，也可以输入对应jar包文件的的OBS路径，格式为：obs://桶名/文件夹路径名/包名。在选择资源包之前，您需要先将Jar包及其依赖包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。 OBS路径：作业执行时，不会上传资源包文件到DLI资源管理，文件的OBS路径会作为启动作业消息体的一部分，推荐使用该方式。 DLI程序包：作业执行前，会将资源包文件上传到 DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时，需要设置。可选择“已有分组”，“创建新分组”或“不分组”。 分组名称 否 当“资源类型”选择了“DLI程序包”时，需要设置。 选择“已有分组”：可选择已有的分组。 选择“创建新分组”：可输入自定义的组名称。 选择“不分组”：不需要选择或输入组名称。 主类入口参数 否 用户自定义参数，多个参数请以Enter键分隔。应用程序参数支持全局变量替换。例如，在“全局配置”>“全局变量”中新增全局变量key为batchnum，可以使用{{batchnum}}，在提交作业之后进行变量替换。 Spark作业运行参数 否 以“key/value”的形式设置提交Spark作业的属性，多个参数以Enter键分隔。具体参数请参见Spark Configuration。 Spark参数value支持全局变量替换。 例如，在“全局配置”>“全局变量”中新增全局变量key为customclass，可以使用"spark.sql.catalog"{{customclass}}，在提交作业之后进行变量替换。 说明 Spark作业不支持自定义设置jvm垃圾回收算法。 Module名称 否 DLI系统提供的用于执行跨源作业的依赖模块，访问各个不同的服务，选择不同的模块： CloudTable/MRS HBase: sys.datasource.hbase DDS：sys.datasource.mongo CloudTable/MRS OpenTSDB: sys.datasource.opentsdb DWS: sys.datasource.dws RDS MySQL: sys.datasource.rds RDS PostGre: sys.datasource.rds DCS: sys.datasource.redis CSS: sys.datasource.css DLI内部相关模块： sys.res.dliv2 sys.res.dli sys.datasource.dliinnertable 访问元数据 是 是否通过Spark作业访问元数据。

本节主要介绍分布式缓存服务Redis版的计费模式 目前天翼云分布式缓存服务Redis版提供包周期（包年/包月）、按需2种计费模式供您灵活选择，使用越久越便宜。 包周期（包年/包月）：天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣，对于长期使用者，推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需计费：这种购买方式比较灵活，可以即开即停，支持秒级计费。实例从“开通”开启计费到“删除”结束计费，按实际购买时长（精确到秒）计费。 下表列出两种模式的区别： 计费模式 包年/包月 按需计费 付费方式 预付费按照订单的购买周期结算。 后付费按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时结算。 实例升级 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容。 更改计费模式 支持变更为按需资源。 支持变更为包周期资源。 变更规格 支持变更实例规格。 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于消息资源需求波动的场景，可以随时开通，随时删除。 包周期与按需计费方式之间可以进行转换，具体操作请参考包周期与按需互转。