本章节主要介绍 如何访问数据仓库服务。 数据仓库服务的基本使用流程如下图所示： 访问集群 DWS提供了Web化的服务管理平台，即管理控制台，还提供了基于HTTPS请求的API（Application programming interface）方式管理DWS集群。 访问集群数据库 DWS支持如下方式访问集群数据库： DWS客户端方式 用户使用DWS客户端访问集群数据库，请参见《数据仓库服务用户指南》中“连接集群”章节。 JDBC、ODBC等接口调用方式 支持调用JDBC（Java database connectivity）、ODBC（Open Database Connectivity）等标准接口开发应用程序访问DWS集群中的数据库。 详细内容请参见《数据仓库服务用户指南》中“使用JDBC和ODBC连接集群”章节。 端到端数据分析流程 数据仓库服务与云平台其他一系列服务已无缝集成，以便用户能够快速部署端到端的数据分析和解决方案。 端到端数据分析流程如下图所示，该流程展示了每个过程可以使用的云服务。 详见下图： 端到端数据分析流程

参数名称 说明 取值样例 数据库名称 您可以自定义添加的数据库的名称。 test1 IP地址 添加的数据库的IP地址。IP必须为内网IP地址，支持IPv4和IPv6格式。 IPv4：192.168.1.1 IPv6：fe80:0000:0000:0000:0000:0000:0000:0000 数据库类型 支持的数据库类型，您可以选择以下类型： MYSQL ORACEL POSTGRESQL SQLSERVER DWS TAURUS GaussDB DAMENG KINGBASE MongoDB Hbase SHENTONG GBase 8a GBase XDM Custer Greenpum HighGo Mariadb说明当数据库类型选择ORACE时，待审计的应用程序需重启，重新登录数据库。 MySQL 端口 添加的数据库的端口。 3306 数据库版本 支持的数据库版本。 当“数据库类型”选择“MYSQL”时，您可以选择以下版本： 当“数据库类型”选择“ORACEL”时，您可以选择以下版本：− 11g − 12c − 19c 当“数据库类型”选择“POSTGRESQL”时，您可以选择以下版本：− 7.4 − 8.0 8.0、8.1、8.2、8.3、8.4 − 9.0 9.0、9.1、9.2、9.3、9.4、9.5、9.6 − 10.0 10.0、10.1、10.2、10.3、10.4、10.5 − 11.0 − 12.0 − 13.0 当“数据库类型”选择“SQLSERVER”时，您可以选择以下版本：− 2008 − 2012 − 2014 − 2016 − 2017

本章节内容主要介绍数据库存储 文档数据库服务存储的存储配置是什么 文档数据库服务存储采用云硬盘，具体情况请参考《云硬盘用户指南》。 文档数据库服务的备份数据存储采用对象存储服务，不占用用户购买的数据库空间。关于文档数据库实例存储的硬件配置，请参见《对象存储服务用户指南》。 数据超过了文档数据库实例的最大存储容量怎么办 如果您的应用程序所需的存储容量超过最大分配量，解决措施如下： 扩容存储空间。 社区版集群实例增加shard节点。 哪些内容会占用购买的文档数据库实例空间 以下内容占用购买的文档数据库实例空间： 除备份数据以外的用户正常的数据。 文档数据库实例正常运行所需的数据，比如系统数据库、数据库回滚日志、索引等。 文档数据库服务产生的日志输出文件，这些文件会保证文档数据库实例正常稳定地运行。比如oplog文件，默认占磁盘空间的10%，且不可修改oplog大小。 申请的文档数据库实例磁盘空间会有哪些系统开销 您申请的磁盘空间会有必要的文件系统开销，这些开销包括索引节点和保留块，以及数据库运行必需的空间。

后续操作 保存至模型管理：将当前训练任务实例中的模型文件保存到模型仓库中统一管理，模型仓库中会新增一个来源为“训练任务”的模型。后续可以基于此模型进行开发机、训练任务和服务部署任务。（注意：HPFS类型的存储不支持展开目录，且无法同步更新文件名。） 查看训练任务监控 1. 点击训练任务名称，进入任务详情页面，切换到监控tab，可查看训练任务的资源使用情况。 2. 统计说明及名词解释： 1. 作业：指运行一次任务，由于训练任务可以多次运行，此处一次运行记录即一个作业；在左侧运行记录中切换其他运行ID，可查看不同作业的监控； 2. 实例：指pod实例，是Kubernetes的最小调度单元； 3. 作业维度与实例维度：一般在训练时，一次训练作业会起多个Pod实例。在实例维度，展示了不同实例的最小粒度的监控，此时可以精确到某个实例中的某一张卡；在作业维度，统计了该作业下的所有实例（Pod）或显卡的聚合值，以反映作业整体的资源使用情况，一般使用率、速率以平均值聚合，使用量以累加值聚合。 4. GPU细粒度指标：当您使用GPU卡时，可以查看GPU剖析类指标，此类指标需要您对GPU的结构有所了解。例如，GPU利用率显示了100%，不代表代码高效利用了GPU，仅能够展示有核函数在用GPU资源，但有多少个SM在使用，GPU是否真的在忙，仅看GPU利用率这一指标具有局限性。英伟达官方提供了DCGM Profiling指标，可从多个维度查看GPU的使用情况。您可以根据细粒度指标对GPU的利用情况进行剖析，优化代码逻辑，更充分的利用资源。 3. 图像展示： 1. 放大与明细：点击指标右侧“>”箭头，可展开指标大图，大图展示对图像上点的统计细项，包括最大值、最小值、平均值、中位数、75分位数； 2. 图例：点击图例，可以对线段进行展示/隐藏； 3. 时间轴：滑动图像下方时间轴，可以在已选定时间的基础上，查看更小范围的监控。 4. 监控指标： 类别 指标 维度 解释 CPU、内存与网络监控 CPU使用率 作业、实例 CPU在单位时间内，CPU被任务占用使用的时间占比。 CPU、内存与网络监控 CPU使用量 作业、实例 CPU 实际使用的核数。 CPU、内存与网络监控 内存使用率 作业、实例 已用内存占总内存的百分比。 CPU、内存与网络监控 内存使用量 作业、实例 内存实际使用量。 CPU、内存与网络监控 普通网络吞吐 作业、实例 传统以太网的实际数据传输速率，即单位时间内实际传输的数据量。 显卡基础指标 GPU/NPU使用率 作业、实例 在单位时间内，显卡被任务占用使用的时间占比。 显卡基础指标 GPU/NPU显存使用率 作业、实例 已用显存占总显存的百分比。 显卡基础指标 GPU/NPU显存使用量 作业、实例 显存实际使用量。 显卡基础指标 GPU/NPU卡温度 实例 显卡温度。 显卡基础指标 GPU/NPU功耗 实例 显卡功耗。 显卡基础指标 NPU卡健康状态 实例 每张卡的NPU芯片健康状态。 取值范围：{0，1} 1：表示在过去一段时间间隔内芯片处于健康状态； 0：表示在过去一段时间间隔内出现了不健康状态。 GPU细粒度指标 GPU应用时钟频率 作业、实例 显卡的核心频率，指GPU运算核心的工作速度，即GPU内部各个计算单元的工作频率。它决定了显卡在单位时间内可完成的任务数量，更高的时钟频率意味着更快的计算速度和更好的性能。 GPU细粒度指标 GPU显存应用时钟频率 作业、实例 显存频率指的是显卡所使用的显存的工作频率，显存频率影响了显卡的数据传输速度，包括图像纹理和帧缓冲区的读写速度。较高的显存频率可以提供更快的数据传输，频率越高，显存每秒传输的数据量越大。 GPU细粒度指标 GPU显存带宽利用率 作业、实例 以英伟达GPU V100为例，其最大内存带宽为900 GB/sec，如果当前的内存带宽为450 GB/sec，则内存带宽利用率为50%。 GPU细粒度指标 GPU引擎活跃情况 作业、实例 表示在一个时间间隔内，Graphics或Compute引擎处于Active的时间占比。 Graphics或Compute引擎处于Active是指Graphics或Compute Context绑定到线程，并且Graphics或Compute Context处于Busy状态。 该值表示所有Graphics和Compute引擎的平均值。 GPU细粒度指标 GPU线程束活跃时间占比 作业、实例 表示在一个时间间隔内，至少一个线程束在一个SM（Streaming Multiprocessor）上处于Active的时间占比。 线程束处于Active是指一个线程束被调度且分配资源后的状态，可能是在Computing、也可能是非Computing状态（例如等待内存请求）。 该值表示所有SM的平均值，小于0.5表示未高效利用GPU，大于0.8是必要的。 假设一个GPU有N个SM： 一个核函数在整个时间间隔内使用N个线程块运行在所有的SM上，此时该值为1（100%）。 一个核函数在一个时间间隔内运行N/5个线程块，此时该值为0.2。 一个核函数使用N个线程块，在一个时间间隔内，仅运行了1/5个周期的时间，此时该值为0.2。 GPU细粒度指标 GPU线程束占用率 作业、实例 表示在一个时间间隔内，驻留在SM上的线程束与该SM最大可驻留线程束的比例。 该值表示一个时间间隔内的所有SM的平均值。 占用率越高不代表GPU使用率越高。只有在GPU内存带宽受限的工作负载（DCGMFIPROFDRAMACTIVE）情况下，更高的占用率表示更有效的GPU使用率。 GPU细粒度指标 GPU张量通道活跃周期分数 作业、实例 表示Tensor（HMMA/IMMA） Pipe处于Active状态的周期比率。 该值表示一个时间间隔内的平均值，较高的值表示Tensor Cores的利用率较高。 该值为1（100%）表示在整个时间间隔内每隔一个指令周期发出一个Tensor指令（两个周期完成一条指令）。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的Tensor Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的Tensor Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的Tensor Core以100%利用率运行。 其他组合模式。 GPU细粒度指标 GPU显存拷贝活跃周期分数 作业、实例 表示显存带宽利用率将数据发送到设备显存或从设备显存接收数据的周期分数。 该值表示时间间隔内的平均值，较高的值表示设备显存的利用率较高。 该值为1（100%）表示在整个时间间隔内的每个周期执行一条 DRAM 指令（实际上，峰值约为 0.8 (80%) 是可实现的最大值）。 假设该值为0.2（20%），表示20%的周期在时间间隔内读取或写入设备显存。 GPU细粒度指标 GPU FP64通道活跃周期分数 作业、实例 注意：并非所有型号的显卡都有此数据，如A10与L40S型号不支持此精度。 表示FP64（双精度）Pipe处于Active状态的周期分数。 该值表示一个时间间隔内的平均值，较高的值代表FP64 Cores有较高的利用率。 该值为 1（100%）表示在整个时间间隔内上每四个周期（以Volta类型卡为例）执行一次FP64指令。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的FP64 Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的FP64 Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的FP64 Core以100%利用率运行。 其他组合模式。 GPU细粒度指标 GPU FP32通道活跃周期分数 作业、实例 表示乘加操作FMA管道处于Active的周期分数，乘加操作包括FP32（单精度）和整数。 该值表示一个时间间隔内的平均值，较高的值代表FP32 Cores有较高的利用率。 该值为1（100%）表示在整个时间间隔内上每两个周期（Volta类型卡为例）执行一次FP32指令。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的FP32 Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的FP32 Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的FP32 Core以100%利用率运行。 其他组合模式。 GPU细粒度指标 GPU FP16通道活跃周期分数 作业、实例 表示FP16（半精度）管道处于Active的周期分数。 该值表示一个时间间隔内的平均值，较高的值代表FP16 Cores有较高的利用率。 该值为 1 (100%) 表示在整个时间间隔内上每两个周期（Volta类型卡为例）执行一次FP16指令。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的FP16 Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的FP16 Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的FP16 Core以100%利用率运行。 其他组合模式。 GPU细粒度指标 GPU PCIe传输数据速率 作业、实例 表示通过PCIe总线传输的数据速率，包括协议标头和数据有效负载。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上的最大PCIe Gen3带宽为每通道985 MB/s。 GPU细粒度指标 GPU PCIe接收数据速率 作业、实例 表示通过PCIe总线接收的数据速率，包括协议标头和数据有效负载。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上的最大PCIe Gen3带宽为每通道985 MB/s。 GPU细粒度指标 GPU NVLINK传输数据速率 作业、实例 表示通过NVLink传输的数据速率，不包括协议标头。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上，最大NVLink Gen2带宽为每个方向每个链路25 GB/s。 GPU细粒度指标 GPU NVLINK接收数据速率 作业、实例 表示通过NVLink接收的数据速率，不包括协议标头。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上，最大NVLink Gen2带宽为每个方向每个链路25 GB/s。

本章节主要介绍配置升级后的服务配置修改建议。 操作场景 当节点组内ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。升级配置后需要手动修改HDFS、YARN和Spark等服务的配置信息。本文为您介绍如何在翼MR Manager的“配置管理”页面修改配置项。 前提条件 已创建集群。 操作步骤 1. 在翼MR Manager中，单击“运维与配置”。 2. 单击“配置管理”。 3. 选择“所选集群服务”，点击查询，即可在当前页面修改配置信息。 配置修改建议说明 1. Doris：Doris所在节点配置升级后，Doris FE建议使用节点一半内存。 2. Elasticsearch：一个Elasticsearch节点，内存建议不超过64G。Elasticsearch所在节点配置升级后，Elasticsearch会自动根据节点情况设置内存值，一般无须用户手动修改，但需要重启集群。如果想手动设置，可以修改jvm.options文件配置Xms30g、Xmx30g参数，并重启集群。 3. HBase：HBase所在节点配置升级后，修改建议如下： hbasesite.xml：hbase.regionserver.handler.count 说明 ：一般跟CPU核数相同。 hbaseenv.sh：export HBASEMASTEROPTS ："Xmsg Xmxg" 说明 ：master不消耗很多内存，一般默认不添加或者分配2~8G左右。 hbaseenv.sh：export HBASEREGIONSERVEROPTS："Xmsg Xmxg " 说明 ：regionserver需要较多内存，一般配置内存配额的一半或更多。 4. HDFS：HDFS所在节点配置升级后，可以根据hadoopenv.sh 参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NameNode 建议文件、目录、数据块之和1亿，配置50G。 5. Hive：Hive所在节点配置升级后，可以通过hiveenv.sh统一参数配置来进行，也可以在作业提交时使用额外参数指定来进行。通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。内存大小可以根据机器的总内存而定，建议初始值为总内存大小的10%，后续根据性能需求调整。 6. Kafka：Kafka所在节点配置升级后，建议配置如下： kafkaenv.sh设置jvm配置参数：调整jvm堆大小，通过调整参数：export KAFKAHEAPOPTS"Xmx20G Xms20G Xmn4g"设置堆大小。 server.properties文件建议修改的配置项： num.io.threads：修改写磁盘的线程数，建议配置为CPU核数的50%； num.replica.fetchers：修改副本拉取线程数，建议配置为CPU核数50%的1/3； num.network.threads：修改数据传输线程数，建议配置为CPU核数的50%的2/3； replica.fetch.max.bytes：副本拉取数据量的大小。内存增加，可以适当加大该值； socket.send.buffer.bytes：调整socket发送的数据量。内存增加，可以适当加大该值； socket.receive.buffer.bytes：调整socke接受的数据量。内存增加，可以适当加大该值； socket.request.max.bytes：socket请求的数据量。内存增加，可以适当加大该值。 7. Kerberos：建议保持默认值，无需修改配置。 8. Kibana：Kibana是一个基于NodeJS的单页web应用，一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 9. Kyuubi：Kyuubi一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 10. OpenLDAP：建议保持默认值，无需修改配置。 11. Ranger：Ranger所在节点配置升级后，修改建议如下： rangeradmin通过{installdir}/ews/rangeradminservices.sh中变量 rangeradminmaxheapsize的值修改JMX，JAVAOPTS修改Xmx、Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 rangerusersync通过/{installdir}/rangerusersyncservices.sh中变量rangerusersyncmaxheapsize 的值修改JMX，JAVAOPTS修改Xmx Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 12. Spark：Spark所在节点配置升级后，修改建议如下： spark.history.kerberos.principal和spark.history.kerberos.keytab为spark读写eventLog的租户，用户如有特殊需求自行更改。 spark.yarn.historyServer.address：说明了history server的地址，用户如有特殊需求自行更改。 spark.dynamicAllocation.enabled 和 spark.dynamicAllocation.maxExecutors 分别控制动态和动态开启下能使用的最大资源，用户如有特殊需求自行更改。 spark.executor.cores 和 spark.executor.memory 确保spark.executor的每一个core分配到2~4g内存，标准是4g，具体视情况而定，设置core的memory设置过小executor容易oom。 13. Trino：Trino的服务包括coordinator和worker。Trino所在节点配置升级后，可以根据jvm.config参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx128g Xms128g，然后重启服务。 14. YARN：YARN所在节点配置升级后，可以根据yarnenv.sh 参数配置进行，通过调整服务的内存大小来调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NM用于集群中作业的内存和CPU，需要修改NM节点的yarnsite.xml中的yarn.nodemanager.resource.memorymb的值，该值用于所有作业的最多可用内存；以及yarn.nodemanager.resource.cpuvcores的值，该值用于所有作业的最多可用虚拟CPU核数。 15. ZooKeeper：ZooKeeper所在节点配置升级后，可通过配置java.env文件，在其中添加：export ZKSERVERHEAP2048（这里设置的单位默认是MB）。

场景描述 在进行消息发送与接收验证的过程中，我们需要确保RocketMQ的生产者能够将消息成功发送到指定的Topic，同时消费者能够接收到这些消息。通过验证，可以确认生产者发送的消息能够准确无误地到达消费者，这是消息队列最基本也是最重要的功能要求。在开发和测试阶段，通过消息发送与接收验证可以及时发现并修复可能存在的问题，避免在实际应用中出现故障。 操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和Topic。 1）生产测试拨测： 选择消息类型，默认普通消息。 填写需要产生的测试消息数量，以及每条消息的大小，默认每条消息1KB，建议不超过4MB(4096KB)。 选择已建的消息Topic，若无选项，请新增Topic，详见上文创建Topic和订阅组。 点击【测试】按钮，按照已填写规格及数量产生测试消息数据，展示消息数据的信息，包括消息ID(messageID)、发送状态、主题名（topic名）、Broker名、队列ID。 拨测功能涉及消息发送状态码，以下是RocketMQ消息发送状态码及其说明： ✧ SENDOK（发送成功）：表示消息成功发送到了消息服务器。 ✧ FLUSHDISKTIMEOUT（刷新磁盘超时）：表示消息已经成功发送到消息服务器，但是刷新到磁盘上超时。这可能会导致消息服务器在宕机后，尚未持久化到磁盘上的数据丢失。 ✧ FLUSHSLAVETIMEOUT（刷新从服务器超时）：表示消息已经成功发送到消息服务器，但是刷新到从服务器上超时。这可能会导致主从同步不一致。 ✧ SLAVENOTAVAILABLE（从服务器不可用）：表示消息已经成功发送到消息服务器，但是从服务器不可用。这可能是由于网络故障或从服务器宕机引起的。 ✧ UNKNOWNERROR（未知错误）：表示发送消息时遇到了未知的错误。一般情况下建议重试发送消息。 ✧ MESSAGESIZEEXCEEDED（消息大小超过限制）：表示消息的大小超过了消息服务器的限制。需要检查消息的大小是否合适。 ✧ PRODUCETHROTTLE（消息生产被限流）：表示消息生产者的频率超出了消息服务器的限制。这可能是由于消息发送频率过高引起的。 ✧ SERVICENOTAVAILABLE（服务不可用）：表示消息服务器不可用。这可能是由于网络故障或者消息服务器宕机引起的。 请注意，以上状态码仅适用于RocketMQ消息发送阶段，并且并不代表消息是否成功被消费者接收。同时，这些状态码也可能因版本变化而有所不同，建议查阅官方文档获取最新信息。 2）消费测试拨测： 选择消息顺序，下拉选择无序/有序，默认选项为无序。 RocketMQ是一种开源的分布式消息中间件，它支持有序消息和无序消息。 ✧ 有序消息是指消息的消费顺序与发送顺序完全一致。在某些业务场景下，消息的处理需要保证顺序性，例如订单的处理或者任务的执行。RocketMQ提供了有序消息的支持，通过指定消息的顺序属性或使用消息队列的分区机制，可以确保消息按照指定的顺序进行消费。 ✧ 无序消息则是指消息的消费顺序与发送顺序无关。无序消息的特点是高吞吐量和低延迟，适用于一些不要求严格顺序的业务场景，如日志收集等。 在RocketMQ中，有序消息和无序消息的实现方式略有不同。有序消息需要借助MessageQueue的分区机制和消费者端的顺序消息消费来实现。而无序消息则是通过消息的发送和接收的并发处理来实现的。 总的来说，RocketMQ既支持有序消息也支持无序消息，根据业务需求选择合适的消息类型来满足业务的要求。 选择消费方式，目前仅提供pull方式。值得注意的是，RocketMQ还提供了推送（push）方式的消费模式，其中消息队列服务器会主动将消息推送给消费者。但在当前仅限于pull方式的消费模式。 填写消费数量。 下拉选择选择已建的消息主题和订阅组，若无选项，请新增主题和订阅组，详见上文创建主题和订阅组。 点击【测试】按钮，按照已填写规格及数量产生消费数据，展示消息数据的信息，包括消息ID(messageID)、主题名称（topicName）、生成时间、存储时间、队列ID、消费状态。 拨测功能涉及消息消费状态码，RocketMQ消费状态码是指在消息消费过程中，对消费结果进行标识的状态码。以下是常见的RocketMQ消费状态码： ✧ CONSUMESUCCESS（消费成功）：表示消息成功被消费。 ✧ RECONSUMELATER（稍后重试）：表示消费失败，需要稍后再次进行消费。 ✧ CONSUMEFAILURE（消费失败）：表示消息消费出现异常或失败。 ✧ SLAVENOTAVAILABLE（从节点不可用）：表示消费者无法访问从节点来消费消息。 ✧ NOMATCHEDMESSAGE（无匹配的消息）：表示当前没有匹配的消息需要消费。 ✧ OFFSETILLEGAL（偏移量非法）：表示消费的偏移量参数不合法。 ✧ BROKERTIMEOUT（Broker超时）：表示由于Broker超时导致消费失败。

本章节主要介绍物理机实例概述。 实例概述 物理机实例即您创建的一台物理机服务器。不同实例类型提供不同的计算能力、存储空间、网络性能，您可以基于业务需求选择不同类型的实例。当天翼云向您交付一个实例时，您将获得这台服务器完整的控制权限，包括开机、关机、带内管理等。 实例类型 目前天翼云提供的物理机CPU，均为x86架构，根据业务需求选购不同配置的物理机服务器。 x86 V4实例（CPU采用Intel Broadwell架构） x86 V5实例（CPU采用Intel Skylake架构） x86 V6实例（CPU采用Intel Cascade Lake架构） 其他说明 基于本地盘的物理机服务器，系统盘默认RAID 1，数据盘默认直通盘。如果需要更改数据盘RAID配置，可以联系管理员变更。系统盘RAID不支持变配。 常用的RAID级别 RAID 0 RAID 0又称为条带化（Stripe）或分条（Striping），代表了所有RAID级别中最高的存储性能。RAID 0提高存储性能的原理是把连续的数据分散到多个硬盘上存取。这样，当系统有数据请求时就可以在多个硬盘上并行执行，每个硬盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽，显著提高硬盘整体读写性能。但由于其没有数据冗余，无法保护数据的安全性，只能适用于I/O要求高，但数据安全性要求低的场合。 图1 RAID 0数据存储原理 RAID 1 RAID 1又称镜像（Mirror或Mirroring），即每个工作盘都有一个镜像盘，每次写数据时必须同时写入镜像盘，读数据时同时从工作盘和镜像盘读出。当更换故障盘后，数据可以重构，恢复工作盘正确数据。RAID 1可靠性高，但其有效容量减小到总容量一半以下，因此常用于对容错要求较高的应用场合，如财政、金融等领域。 图2 RAID 1数据存储原理 RAID 5 RAID 5是一种存储性能、数据安全和存储成本兼顾的存储解决方案。为保障存储数据的可靠性，采用循环冗余校验方式，并将校验数据分散存储在RAID的各成员盘上。当RAID的某个成员盘出现故障时，通过其他成员盘上的数据可以重新构建故障硬盘上的数据。RAID 5既适用于大数据量的操作，也适用于各种小数据的事务处理，是一种快速、大容量和容错分布合理的磁盘阵列。 图3 RAID 5数据存储原理 其中，PA为A0、A1和A2的奇偶校验信息，PB为B0、B1和B2的奇偶校验信息，以此类推。 RAID 6 在RAID 5的基础上，RAID 6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法，数据的可靠性非常高，即使两块磁盘同时失效也不会影响数据的使用。但RAID 6需要分配给奇偶校验信息更大的磁盘空间，相对于RAID 5有更大的“写损失”，因此“写性能”较差。 图4 RAID 6数据存储原理 其中，PA为A0、A1和A2的第一个校验信息块，QA为第二个校验信息块；PB为B0、B1和B2的第一个校验信息块，QB为第二个校验信息块，以此类推。 RAID 10 RAID 10是将镜像和条带进行两级组合的RAID级别，即RAID 0＋RAID 1的组合形式，第一级是RAID 1，第二级是RAID 0。RAID 10是存储性能和数据安全兼顾的方案。它在提供与RAID 1一样的数据安全保障的同时，也提供了与RAID 0近似的存储性能。 图5 RAID 10数据存储原理 RAID 50 RAID 50被称为镜像阵列条带，即RAID 5 + RAID 0的组合形式。像RAID 0一样，数据被分区成条带，在同一时间内向多块磁盘写入；像RAID 5一样，也是以数据的校验位来保证数据的安全，且校验条带均匀分布在各个磁盘上。 图6 RAID 50数据存储原理 其中，PA为A0、A1和A2的奇偶校验信息，PB为B0、B1和B2的奇偶校验信息，以此类推。 RAID 60 RAID 60同RAID 50类似，数据采用镜像阵列条带分布方式，即RAID 6 + RAID 0的组合形式。像RAID 0一样，数据被分区成条带，在同一时间内向多块磁盘写入；像RAID 6一样，以两个数据校验模块来保证数据的安全，且校验条带均匀分布在各个磁盘上。 图7 RAID 60数据存储原理 其中，PA为A0、A1和A2的第一个校验信息块，QA为第二个校验信息块；PB为B0、B1和B2的第一个校验信息块，QB为第二个校验信息块，以此类推。

操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 审计日志转储：支持将审计日志周期性的转储至对象存储服务（ZOS）下的ZOS桶。 使用限制 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。若您使用云审计提供的转储功能，需要开通对象存储服务并支付产生的费用，该费用以对象存储产品的计费为准，参考计费说明对象存储。 用户通过云审计能查询到多久前的操作事件：7天。 用户操作后多久可以通过云审计查询到数据：5分钟。 其它限制请参考使用限制云审计。 关键操作列表 事件名称 从主机组移除主机(批量) 给日志资源创建或更新标签 为指定的资源解绑标签 为指定日志单元创建索引 编辑ZOS对象存储导入任务 删除导入任务 删除采集规则 定时SQL任务关闭 创建定时SQL任务 启用告警规则 删除仪表盘订阅 更新加工任务 重命名项目 创建过滤器 重命名仪表盘 日志单元更新 创建采集规则 创建模拟接入任务 更新告警规则 更新消费组 启动加工任务 日志告警规则另存为模板 停止kafka投递任务 仪表盘订阅启用 为日志资源绑定标签 修改采集规则 定时SQL运行实例 重试 专属日志单元取消关联日志服务 删除重建索引任务 投递任务停止 创建主机组 创建分布式消费服务Kafka导入任务 停用采集规则 批量停止告警规则 删除主机组 创建关注 启动模拟接入任务 删除终端节点 更新日志单元索引 将日志采集规则应用于目标主机组 更新某个指定日志项目的描述信息 删除过滤器 更新采集规则 更新Processors 新增消费组关联日志单元 加工任务启动 自动生成行首正则 创建或者修改数据加工任务 删除数据导入任务 给日志资源创建或更新标签 删除检索历史记录 删除模拟接入任务 批量启动告警规则 更新仪表盘描述 匹配的容器信息预览 停用告警规则 停用采集规则 批量删除接口 导入数据预览 修改仪表盘订阅 重命名快速查询 批量停用接口 删除仪表盘订阅 升级agent 删除加工任务 取消关注 主机组解绑采集规则 删除下载任务 创建ZOS对象存储导入任务 删除消费组关联日志单元 删除仪表盘 修改过滤器 更新日志单元配置 删除采集规则 删除日志单元 删除主机组 停用重建索引任务 更新定时SQL任务 创建产品委托授权 从指定主机组中移除主机 创建项目 卸载agent 修改项目标签 创建下载任务 重新生成下载任务 加工任务重新执行 删除目标日志项目 编辑主机组基础信息(名称、备注) 删除消费组关联日志单元 创建一个快速查询 创建仪表盘 加工任务删除 删除消费组 更新主机组描述 更新主机组 停止加工任务 创建主机组 创建或者更新数据投递任务 创建仪表盘订阅 创建vpce 新增消费组关联日志单元 重命名告警规则 创建快速查询 更新主机组 全量容器信息预览 加工任务重新执行 添加主机到主机组 删除kafka投递任务 批量删除告警规则 删除项目 删除日志单元 删除告警规则 创建/更新日志单元索引字段 修改仪表盘 删除主机组 更新告警规则 更新日志单元描述 批量启动接口 停止模拟接入任务 创建日志项目 添加主机到指定主机组 修改仪表盘 编辑日志单元 创建对象存储投递任务 编辑分布式消费服务Kafka导入任务 创建仪表盘 创建下载任务 创建告警规则 更新模拟接入任务 更新日志告警规则模板 创建专属日志单元 删除定时SQL任务 更新检索条件 启动kafka投递任务 删除日志告警规则模板 创建日志单元 删除快速查询 安装插件 更新消费组 新增主机到主机组 创建采集规则 更新对象存储投递任务 编辑项目 启用采集规则 从目标主机组中移除关联的日志采集规则 采集配置解除关联主机组 采集规则启停 更新日志单元存储时长 更新数据导入任务 投递任务启动 停止对象存储投递任务 更新一个快速查询 删除一个快速查询 更新触发条件 删除仪表盘模板 定时SQL任务启动 创建产品委托授权 划词生成正则 更新检查频率 重命名日志单元 创建加工任务 创建消费组 删除对象存储投递任务 启动对象存储投递任务 开启或者关闭服务日志 删除仪表盘 更新项目描述 创建Ingress仪表盘 更新通知策略 创建消费组 创建日志投递Kafka任务 更新仪表盘订阅名称 新建数据导入任务 创建重建索引任务 投递任务删除 创建告警规则 启用采集规则 删除下载任务 移除主机组中主机 新增仪表盘模板 主机组绑定采集规则 创建日志单元 创建主机组

本章节主要介绍翼MapReduce服务的配置修改建议说明。 操作场景 当节点组内ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。升级配置后需要手动修改HDFS、YARN和Spark等服务的配置信息。本文为您介绍如何在翼MR Manager的“配置管理”页面修改配置项。 前提条件 已创建集群。 操作步骤 在翼MR Manager中，单击“运维与配置”。 1. 单击“配置管理”。 2. 选择“所选集群服务”，点击查询，即可在当前页面修改配置信息。 配置修改建议说明 1. Doris：Doris所在节点配置升级后，Doris FE建议使用节点一半内存。 2. Elasticsearch：一个ES节点，内存建议不超过64G。ES所在节点配置升级后，ES会自动根据节点情况设置内存值，一般无须用户手动修改，但需要重启集群。如果想手动设置，可以修改jvm.options文件配置Xms30g、Xmx30g参数，并重启集群。 3. HBase：HBase所在节点配置升级后，修改建议如下： hbasesite.xml：hbase.regionserver.handler.count 说明 一般跟CPU核数相同。 hbaseenv.sh：export HBASEMASTEROPTS ："Xmsg Xmxg" 说明 master不消耗很多内存，一般默认不添加或者分配2~8G左右。 hbaseenv.sh：export HBASEREGIONSERVEROPTS："Xmsg Xmxg " 说明 regionserver需要较多内存，一般配置内存配额的一半或更多。 4. HDFS：HDFS所在节点配置升级后，可以根据hadoopenv.sh 参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NameNode 建议文件、目录、数据块之和1亿，配置50G。 5. Hive：Hive所在节点配置升级后，可以通过hiveenv.sh统一参数配置来进行，也可以在作业提交时使用额外参数指定来进行。通过调整服务的内存大小调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。内存大小可以根据机器的总内存而定，建议初始值为总内存大小的10%，后续根据性能需求调整。 6. Kafka：Kafka所在节点配置升级后，建议配置如下： kafkaenv.sh设置jvm配置参数：调整jvm堆大小，通过调整参数：export KAFKAHEAPOPTS"Xmx20G Xms20G Xmn4g"设置堆大小。 server.properties文件建议修改的配置项： num.io.threads：修改写磁盘的线程数，建议配置为CPU核数的50%； num.replica.fetchers：修改副本拉取线程数，建议配置为CPU核数50%的1/3； num.network.threads：修改数据传输线程数，建议配置为CPU核数的50%的2/3； replica.fetch.max.bytes：副本拉取数据量的大小。内存增加，可以适当加大该值； socket.send.buffer.bytes：调整socket发送的数据量。内存增加，可以适当加大该值； socket.receive.buffer.bytes：调整socke接受的数据量。内存增加，可以适当加大该值； socket.request.max.bytes：socket请求的数据量。内存增加，可以适当加大该值。 7. Kerberos：建议保持默认值，无需修改配置。 8. Kibana：Kibana是一个基于NodeJS的单页web应用，一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 9. Kyuubi：Kyuubi一般情况下，对内存CPU占用很少，无须修改内存、CPU等配置。 10. OpenLDAP：建议保持默认值，无需修改配置。 11. Ranger：Ranger所在节点配置升级后，修改建议如下： rangeradmin通过{installdir}/ews/rangeradminservices.sh中变量 rangeradminmaxheapsize的值修改JMX，JAVAOPTS修改Xmx、Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 rangerusersync通过/{installdir}/rangerusersyncservices.sh中变量rangerusersyncmaxheapsize 的值修改JMX，JAVAOPTS修改Xmx Xmn等JVM参数，一般设置18g，1K policy建议设置为1G，1W policy建议设置为8G。 12. Spark：Spark所在节点配置升级后，修改建议如下： spark.history.kerberos.principal和spark.history.kerberos.keytab为spark读写eventLog的租户，用户如有特殊需求自行更改。 spark.yarn.historyServer.address: 说明了history server的地址，用户如有特殊需求自行更改。 spark.dynamicAllocation.enabled 和 spark.dynamicAllocation.maxExecutors 分别控制动态和动态开启下能使用的最大资源，用户如有特殊需求自行更改。 spark.executor.cores 和 spark.executor.memory 确保spark.executor的每一个core分配到2~4g内存，标准是4g，具体视情况而定，设置core的memory设置过小executor容易oom。 13. Trino：Trino的服务包括coordinator和worker。Trino所在节点配置升级后，可以根据jvm.config参数配置进行，通过调整服务的内存大小调整服务的性能，如Xmx128g Xms128g，然后重启服务。 14. YARN：YARN所在节点配置升级后，可以根据yarnenv.sh 参数配置进行，通过调整服务的内存大小来调整服务的性能，如Xmx20g Xms20g Xmn4g，然后重启服务。NM用于集群中作业的内存和CPU，需要修改NodeManager节点的yarnsite.xml中的yarn.nodemanager.resource.memorymb的值，该值用于所有作业的最多可用内存；以及yarn.nodemanager.resource.cpuvcores的值，该值用于所有作业的最多可用虚拟CPU核数。 15. ZooKeeper：ZooKeeper所在节点配置升级后，可通过配置java.env文件，在其中添加：export ZKSERVERHEAP2048（这里设置的单位默认是MB）。

本文为您介绍对象存储到本地的相关介绍。 概要 此功能提供普通恢复方式。通过执行本地到对象存储或者同步与比较规则，从本地存储同步到对象存储的数据或文件进行恢复。 应用场景：对象存储上的数据同步至本地文件系统/NAS存储。 前置条件 对象存储到本地·普通恢复的环境要求如下： 1. 部署有DTO程序的DTO主机，注册在控制台上，并处于在线状态； 2. MDR控制台上有可用的对象存储； 3. MDR控制台有dto的许可，并且许可剩余传输量不为0。 新建对象存储到本地 1. 点击左侧菜单栏“资源同步管理”“对象存储数据灾备”“对象存储到本地”，进入对象存储到本地列表页，点击“新建”按钮，进入新建页面。 2. 基础设置页面各配置项如下： 名称：任意指定，便于管理即可。 同步主机：下拉框中会列出已注册至MDR控制台的DTO同步主机供选用。 普通恢复：当同步类型选择普通恢复时，支持两种场景： 对象存储到本地文件系统/NAS存储：可以将对象存储中的数据同步到本地文件系统/NAS存储中。 对象存储到ZFS文件系统：可以将对象存储中的数据同步到ZFS文件系统中，并结合ZFS快照对每次同步的数据打快照，形成可恢复的快照点实现历史数据的恢复。 同步策略类型：“手动同步”“定期同步”和“间隔同步”。 手动同步：需手动启动规则。 定期同步：可指定每个月的某几天或者每个星期的某几天中的某几个时间点开始同步，规则会在设置的时间自动开始运行。 间隔同步：指的是从上一次规则完成到下一次规则启动之间的间隔，最小间隔时间单位为秒。 定期同步策略：用户自行添加定期同步策略。可以设定多个不重叠的定时同步策略，彼此独立。 间隔同步策略：指的是从上一次规则完成到下一次规则启动之间的间隔，最小间隔时间单位为秒。 源存储：用户自行选择想要同步至本地的数据所在的对象存储。 同步路径映射：将源路径的数据同步到目标路径上。 源路径：对象存储源存储上需要同步的数据路径。 目标路径：同步主机的本地存储路径。 文件后缀名过滤：以后缀名为过滤条件，格式为“文件扩展名”，若多个过滤条件则用逗号隔开，如：“.txt”，“.doc”，“.rtf”。 排除：不同步源路径中该过滤项中定义的文件类型。 包含：只同步源路径中该过滤项中定义的文件类型。 文件日期过滤：通过正则表达式对同步路径下文件的日期进行筛选，文件日期符合正则表达式要求的文件被过滤出来。 排除：不同步源路径中符合筛选条件的文件。 包含：只同步源路径中符合筛选条件的文件。 3. 同步设置各配置项如下： 比较类型：重镜像时的校验方式。 文件大小：通过源、目标的文件大小进行比较。 MD5校验：通过源、目标的文件MD5进行比较。 忽略目标端存在的文件：DTO不再扫描目标端存储，直接拿源端拆解过后的目录进行传输，传输之前check目标端文件是否存在，如果不存在，就同步，否则跳过该文件；这种类型，可以支持对象存储单一目录上千万的文件。 传输线程数量：可指定传输线程个数。一个线程处理一个目录。 对象存储扫描线程数量：可指定110的扫描线程个数。 ACL同步：此配置默认关闭，开启后，在对象同步至本地的过程中，会记录对象的ACL信息一并同步到本地文件中（后续可以通过本地到对象存储规则将记录了ACL的本地文件同步到同构的对象存储中，完成ACL的同步）。 备端文件解压：允许要恢复的对象储存上的文件是通过dto压缩过的, 勾选后，系统会自动从对象存储上下载文件到本地后解压。 备端文件解密：将通过DTO规则加密的文件解压后同步到目标端存储中。 标准解密：通过设置的解密密钥对源端的加密文件进行解密并同步到目标端。 解密密钥：填写解密密钥，密钥要求：32字节的字符串作为密钥，支持数字、字母、字符的组合，不支持中文。一般与对应规则的加密密钥相同。 COS服务端解密：通过对接COS对象存储API接口，将该对象存储桶中使用对应加密方式的对象解密后同步到目标存储中，需额外选择解密密钥类型： 解密密钥类型：支持两种解密密钥类型： SSECOS：使用SSECOS解密密钥类型进行解密，无需额外配置； SSEC：使用SSEC解密密钥类型进行解密，需要额外填写解密密钥； 解密密钥：填写解密密钥，密钥要求：32字节的字符串作为密钥，支持数字、字母、字符的组合，不支持中文。 记录流水：默认关闭，开启后会将规则同步的所有文件相关信息（大小、MD5/etag、传输耗时、修改/更新时间）记录在同步主机/usr/drbksoft/dto/data/db/ .db文件中（默认路径），可供审计查看。 4. 带宽设置各配置项如下： 全选：开启后，将会选择一周内的所有时间。此选项默认关闭。 时间范围：用户自行勾选具体的生效日。 选择带宽：根据用户需求选择需要执行限速的时间段，可以设定多个不重叠的限速规则，彼此独立，如果带宽设定为0，表示禁止传输。

平台提供了以下大模型API能力。 模型名称 模型简介 模型ID DeepSeekR1昇腾版 DeepSeekR1是一款具有671B参数大小的创新性大语言模型，由杭州深度求索人工智能基础技术研究有限公司开发。该模型基于 transformer 架构，通过对海量语料数据进行预训练，结合注意力机制，能够理解和生成自然语言。它经过监督微调、人类反馈的强化学习等技术进行对齐，具备语义分析、计算推理、问答对话、篇章生成、代码编写等多种能力。R1 模型在多个 NLP 基准测试中表现出色，具备较强的泛化能力和适应性。 4bd107bff85941239e27b1509eccfe98 DeepSeekR1昇腾版2 DeepSeekR1是一款具有671B参数大小的创新性大语言模型，该模型基于 transformer 架构，通过对海量语料数据进行预训练，结合注意力机制，经过监督微调、人类反馈的强化学习等技术进行对齐，具备语义分析、计算推理、问答对话、篇章生成、代码编写等多种能力。R1 模型在多个 NLP 基准测试中表现出色，具备较强的泛化能力和适应性。 7ba7726dad4c4ea4ab7f39c7741aea68 DeepSeekV3昇腾版 DeepSeekV3是DeepSeek团队开发的新一代专家混合（MoE）语言模型，共有671B参数，在14.8万亿个Tokens上进行预训练。该模型采用多头潜在注意力（MLA）和DeepSeekMoE架构，继承了DeepSeekV2模型的优势，并在性能、效率和功能上进行了显著提升。 9dc913a037774fc0b248376905c85da5 DeepSeekR1DistillLlama70B DeepSeekR1DistillLlama70B是基于Llama架构并经过强化学习和蒸馏优化开发的高性能语言模型。该模型融合了DeepSeekR1的先进知识蒸馏技术与Llama70B模型的架构优势。通过知识蒸馏，在保持较小参数规模的同时，具备强大的语言理解和生成能力。 515fdba33cc84aa799bbd44b6e00660d DeepSeekR1DistillQwen32B DeepSeekR1DistillQwen32B是通过知识蒸馏技术从DeepSeekR1模型中提炼出来的小型语言模型。它继承了DeepSeekR1的推理能力，专注于数学和逻辑推理任务，但体积更小，适合资源受限的环境。 b383c1eecf2c4b30b4bcca7f019cf90d Baichuan2Turbo BaichuanTurbo系列模型是百川智能推出的大语言模型，采用搜索增强技术实现大模型与领域知识、全网知识的全面链接。 43ac83747cb34730a00b7cfe590c89ac Llama213BChat Llama2是预先训练和微调的生成文本模型的集合，其规模从70亿到700亿个参数不等。这是13B微调模型的存储库，针对对话用例进行了优化。 96dc8f33609d4ce6af3ff55ea377831a Qwen7BChat 通义千问7B（Qwen7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen7B的基础上，使用对齐机制打造了基于大语言模型的AI助手Qwen7BChat。 fc23987da1344a8f8bdf1274e832f193 Llama27BChat Llama27BChat是Meta AI开发的大型语言模型Llama2家族中最小的聊天模型。该模型有70亿个参数，并在来自公开来源的2万亿token数据上进行了预训练。它已经在超过一百万个人工注释的指令数据集上进行了微调。 e30f90ca899a4b1a9c25c0949edd64fc Llama270BChat Llama 2 是预训练和微调的生成文本模型的集合，规模从 70 亿到 700 亿个参数不等。这是 70B 微调模型的存储库，针对对话用例进行了优化。 bafbc7785d50466c89819da43964332b Qwen1.57BChat 通义千问1.5（Qwen1.5）是阿里云研发的通义千问系列开源模型，是一种基于 Transformer 的纯解码器语言模型，已在大量数据上进行了预训练。该系列包括Base和Chat等多版本、多规模，满足不同的计算需求，这是Qwen1.57BChat版本。 bfc0bdbf8b394c139a734235b1e6f887 Qwen272BInstruct Qwen2 是 Qwen 大型语言模型的新系列。Qwen2发布了5个尺寸的预训练和指令微调模型，包括Qwen20.5B、Qwen21.5B、Qwen27B、Qwen257BA14B以及Qwen272B。这是指令调整的 72B Qwen2 模型，使用了大量数据对模型进行了预训练，并使用监督微调和直接偏好优化对模型进行了后训练。 2f05789705a64606a552fc2b30326bba ChatGLM36B ChatGLM36B 是 ChatGLM 系列最新一代的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM36B 引入了更强大的基础模型、更完整的功能支持、更全面的开源序列几大特性。 7450fa195778420393542c7fa13c6640 TeleChat12B 星辰语义大模型TeleChat是由中电信人工智能科技有限公司研发训练的大语言模型，TeleChat12B模型基座采用3万亿 Tokens中英文高质量语料进行训练。TeleChat12Bbot在模型结构、训练数据、训练方法等方面进行了改进，在通用问答和知识类、代码类、数学类榜单上相比TeleChat7Bbot均有大幅提升。 fdc31b36028043c48b15131885b148ce Qwen1.514BChat 通义千问1.5（Qwen1.5）是阿里云研发的通义千问系列开源模型，是一种基于 Transformer 的纯解码器语言模型，已在大量数据上进行了预训练。该系列包括Base和Chat等多版本、多规模，满足不同的计算需求，这是Qwen1.514BChat版本。 acfe01f00b0c4ff49c29c6c77b771b60 Llama38BInstruct Meta 开发并发布了 Meta Llama 3 系列大型语言模型 （LLM），包含 8B 和 70B 两种参数大小，Llama38BInstruct 是经过指令微调的版本，针对对话用例进行了优化，在常见的行业基准测试中优于许多可用的开源聊天模型。 bda59c34e4424598bbd5930eba713fbf Llama370BInstruct Meta 开发并发布了 Meta Llama 3 系列大型语言模型 （LLM），包含 8B 和 70B 两种参数大小，Llama370BInstruct 是经过指令微调的版本，针对对话用例进行了优化，在常见的行业基准测试中优于许多可用的开源聊天模型。 6192ed0cb6334302a2c32735dbbb6ce3 Qwen1.572BChat 通义千问1.5（Qwen1.5）是阿里云研发的通义千问系列开源模型，是一种基于 Transformer 的纯解码器语言模型，已在大量数据上进行了预训练。该系列包括Base和Chat等多版本、多规模，满足不同的计算需求，这是Qwen1.572BChat版本。 9d140d415f11414aa05c8888e267a896 Qwen1.532BChat Qwen1.532B 是 Qwen1.5 语言模型系列的最新成员，除了模型大小外，其在模型架构上除了GQA几乎无其他差异。GQA能让该模型在模型服务时具有更高的推理效率潜力。这是Qwen1.532BChat版本。 12d5a37bf1ed4bf9b1cb8e446cfa60b3 InternLM2Chat7B InternLM2Chat7B 是书生·浦语大模型系列中开源的 70 亿参数库模型和针对实际场景量身定制的聊天模型。InternLM2相比于初代InternLM，在推理、数学、代码等方面的能力提升尤为显著，综合能力领先于同量级开源模型。 50beebff68b34803bd71d380e49078f5 Qwen27BInstruct Qwen27BInstruct是 Qwen2大型语言模型系列中覆盖70亿参数的指令调优语言模型，支持高达 131,072 个令牌的上下文长度，能够处理大量输入。 0e97efbf3aa042ebbaf0b2d358403b94 QwenVLChat QwenVLChat模型是在阿里云研发的大规模视觉语言模型 QwenVL 系列的基础上，使用对齐机制打造的视觉AI助手，该模型有更优秀的中文指令跟随，支持更灵活的交互方式，包括多图、多轮问答、创作等能力。 e8c39004ff804ca699d47b9254039db8 StableDiffusionV2.1 StableDiffusionV2.1是由 Stability AI 公司推出的基于深度学习的文生图模型，它能够根据文本描述生成详细的图像，同时也可以应用于其他任务，例如图生图，生成简短视频等。 40f9ae16e840417289ad2951f5b2c88f DeepseekV2LiteChat DeepseekV2LiteChat是一款强大的开源专家混合（MoE）语言聊天模型，具有16B参数，2.4B活动参数，使用5.7T令牌从头开始训练，其特点是同时具备经济的训练和高效的推理。 0855b510473e4ec3a029569853f64974 Qwen2.572BInstruct Qwen2.5系列发布了许多基本语言模型和指令调整语言模型，参数范围从0.5到720亿个参数不等。Qwen2.572BInstruct模型是Qwen2.5系列大型语言模型指令调整版本。 d9df728b30a346afb74d2099b6c209aa Gemma29BIT Gemma29BIT是Google最新发布的具有90亿参数的开源大型语言模型的指令调优版本。模型在大量文本数据上进行预训练，并且在性能上相较于前一代有了显著提升。该版本的性能在同类产品中也处于领先地位，超过了Llama38B和其他同规模的开源模型。 4dae2b9727db46b7b86e84e8ae6530a9 Llama3.23BInstruct Meta Llama3.2多语言大型语言模型（LLMs）系列是一系列预训练及指令微调的生成模型，包含1B和3B参数规模。Llama3.2指令微调的纯文本模型专门针对多语言对话应用场景进行了优化，包括代理检索和摘要任务。它们在通用行业基准测试中超越了许多可用的开源和闭源聊天模型。这是Llama3.23BInstruct版本。 f7d0baa95fd2480280214bfe505b0e2e ChatGLM36B32K ChatGLM36B32K模型在ChatGLM36B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。具体对位置编码进行了更新，并设计了更有针对性的长文本训练方法，在对话阶段使用 32K 的上下文长度训练。 98b6d84f6b15421886d64350f2832782 CodeGemma7BIT CodeGemma是构建在Gemma之上的轻量级开放代码模型的集合。CodeGemma7BIT模型是CodeGemma系列模型之一，是一种文本到文本和文本到代码的解码器模型的指令调整变体，具有70亿参数，可用于代码聊天和指令跟随。 fa8b78d2db034b6798c894e30fba1173 Qwen2.5Math7BInstruct Qwen2.5Math系列是数学专项大语言模型Qwen2Math的升级版。系列包括1.5B、7B、72B三种参数的基础模型和指令微调模型以及数学奖励模型Qwen2.5MathRM72B，Qwen2.5Math7BInstruct的性能与Qwen2Math72BInstruct相当。 ea056b1eedfc479198b49e2ef156e2aa DeepSeekCoderV2LiteInstruct DeepSeekCoderV2LiteInstruct是一款强大的开源专家混合（MoE）语言聊天模型，具有16B参数，2.4B活动参数。该模型基于DeepSeekV2进一步预训练，增加了6T Tokens，可在特定的代码任务中实现与GPT4Turbo相当的性能。 f23651e4a8904ea589a6372e0e860b10

本文主要介绍如何将本地日志迁移到云日志服务。 操作场景 应用程序通常首先直接将运行日志输出到本地的文件中。当运维人员需要查询日志时，登录服务器，通过操作系统的文件查看工具，比如more，vim，grep等查询需要关注的日志内容。这种场景下，由于日志分布在各个服务器上，命令行操作易出错、服务器权限等限制因素造成日志查找效率低下。 利用云日志服务，可以获得以下优势： 数据集中存储，无需登录多台服务器查询，这在微服务架构下尤为重要； 快速检索日志，告别繁琐的命令行操作，提升故障处理效率； 实时检测异常日志，设置告警，提升故障响应时效。 前置条件 开通云日志服务； 应用服务部署在天翼云的云主机上。 接入步骤 1. 登录云日志服务控制台。 2. 左侧点击【日志接入】菜单，进入日志接入页面。选择云主机文本日志。 3. 选择日志单元。 1. 点击“所属日志项目”后的目标框，在下拉列表中选择具体的日志项目，若没有所需的日志项目，点击“所属日志项目”目标框后的“新建”，在弹出的创建日志项目页面创建新的日志项目。 2. 点击“所属日志单元”后的目标框，在下拉列表中选择具体的日志单元，若没有所需的日志单元，点击“所属日志单元”目标框后的“新建”，在弹出的创建日志单元页面创建新的日志单元。 4. 选择主机组。在主机组列表中选择一个或多个需要采集日志的主机组。 若没有所需的主机组，单击列表上方“新建主机组”，输入主机组名称，在已开通云主机列表中，选择您需要采集日志的目标云主机，点击下一步，选中的云主机将打包作为主机组。 5. 安装采集器。 1. Step1：创建终端节点。安装采集器前，您需要在云主机所在的VPC中创建终端节点，以建立与日志服务的连接通道。 您需要在当前页面检查云主机所在的VPC是否已创建终端节点。若终端节点状态为“未创建”，请点击页面中的【创建终端节点】按钮，并根据页面指引进行开通。 若终端节点状态为“已创建”，您可跳过该步骤。 2. Step2：安装采集器。 1. 首先获取您的AK和SK。如何获取AK/SK？ 2. 复制页面中的命令，并使用获取的AK、SK手动替换命令中的 {inputyourak} 和 {inputyoursk}。填写值时不需要添加 {}。 3. 以root用户登录待安装采集器的云主机，执行上述命令。当显示“Installed lmtagent successfully”时表示安装成功。 3. Step3：检查采集器状态。 点击【检测】按钮，稍等片刻后查看采集器状态，确保所有目标云主机的采集器状态均为已连通。若多次重试后仍无法连通，请查看常见问题中的“云主机采集器无法连通”进行问题排查。 4. 点击下一步。 6. 配置采集规则。 对日志采集设置具体的采集规则。具体请参考[采集配置](

CCE权限管理是在统一身份认证服务（IAM）与Kubernetes的角色访问控制（RBAC）的能力基础上，打造的细粒度权限管理功能，支持基于统一身份认证（IAM）的细粒度权限控制和IAM Token认证，支持集群级别、命名空间级别的权限控制，帮助用户便捷灵活的对租户下的IAM用户、用户组设定不同的操作权限。 如果您需要对已购买的CCE集群及相关资源进行精细的权限管理，例如限制不同部门的员工拥有部门内资源的细粒度权限，您可以使用CCE权限管理提供的增强能力进行多维度的权限管理。 本章节将介绍CCE权限管理机制及其涉及到的基本概念。如果当前帐号已经能满足您的要求，您可以跳过本章节，不影响您使用CCE服务的其它功能。 CCE支持的权限管理能力 CCE的权限管理包括“集群权限”和“命名空间权限”两种能力，能够从集群和命名空间层面对用户组或用户进行细粒度授权，具体解释如下： 集群权限：是基于IAM系统策略的授权，可以通过用户组功能实现IAM用户的授权。用户组是用户的集合，通过集群权限设置可以让某些用户组操作集群（如创建/删除集群、节点、节点池、模板、插件等），而让某些用户组仅能查看集群。 集群权限涉及CCE非Kubernetes API，支持IAM细粒度策略、企业项目管理相关能力。 命名空间权限：是基于Kubernetes RBAC能力的授权，通过权限设置可以让不同的用户或用户组拥有操作不同Kubernetes资源的权限。同时CCE基于开源能力进行了增强，可以支持基于IAM用户或用户组粒度进行RBAC授权、IAM token直接访问API进行RBAC认证鉴权。 命名空间权限涉及CCE Kubernetes API，基于Kubernetes RBAC能力进行增强，支持对接IAM用户/用户组进行授权和认证鉴权，但与IAM细粒度策略独立。 注意：“集群权限”仅针对与集群相关的资源（如创建/删除集群、节点、节点池、模板、插件等）有效，您必须确保同时配置了“命名空间权限”，才能有操作Kubernetes资源（如工作负载、Service等）的权限。 统一身份认证服务（IAM） 统一身份认证（Identity and Access Management，简称IAM）是提供权限管理的基础服务，可以帮助您安全地控制服务和资源的访问权限。 IAM的优势：对资源可进行精细访问控制 您注册后，系统自动创建帐号，帐号是资源的归属以及使用计费的主体，对其所拥有的资源具有完全控制权限，可以访问所有的云服务。 如果您在购买了多种资源，例如弹性云主机、云硬盘、裸金属服务器等，您的团队或应用程序需要使用您在中的资源，您可以使用IAM的用户管理功能，给员工或应用程序创建IAM用户，并授予IAM用户刚好能完成工作所需的权限，新创建的IAM用户可以使用自己单独的用户名和密码登录。IAM用户的作用是多用户协同操作同一帐号时，避免分享帐号的密码。 Kubernetes的角色访问控制（RBAC） Kubernetes基于角色的访问控制（RoleBased Access Control，即”RBAC”）使用”rbac.authorization.k8s.io” API Group实现授权决策，允许管理员通过Kubernetes API动态配置策略。详情请参见命名空间权限。

介绍分布式消息服务RabbitMQ心跳检测功能。 使用场景 网络在很多情况下会失败，有时情况很微妙（比如 丢包率很高）。操作系统检测到 TCP 断开是一个适中的时间（在 Linux 中默认时长是 11 分钟）。AMQP 091 提供心跳检测功能来确保应用层及时发现中断的连接（或者是完全没有工作的连接）。 心跳检测还能保护连接不会在一段时间内没有活动而被终止。 心跳超时时间 心跳 timeout 值决定了 TCP 相互连接的最大时间，超过这个时间，该连接将被 RabbitMQ 和 客户端当作不可到达。这个值是在 RabbitMQ 服务器和客户端连接的时候协商的。客户端需要配置请求心跳检测。 心跳帧 心跳帧每隔 timeout/2 时间会发送一次。连续两次心跳失败后，连接将会当作不可到达。不同客户端对此的表现不同，但是 TCP 连接都会关闭。当客户端检测到 RabbitMQ 服务节点不可到达，它需要重新发起连接。 任何连接数据交换（例如 协议操作、发布消息、消息确认）都会计入有效的心跳。客户端可能也会发送心跳包，在连接中有其他数据交换，但有些只在需要时发送心跳包。 在客户端设置心跳超时时间 Java 客户端中设置心跳时间 ConnectionFactory cf new ConnectionFactory(); cf.setRequestedHeartbeat(30);

本章将为您介绍Linux云主机实例磁盘空间不足时会出现的几种情况,包括磁盘使用率达到100%,僵尸文件的存在等,以及在这些情况下用户如何来释放磁盘空间。 实践概述 您是否在使用Linux云主机过程中遇到过这样的问题？ “No space left on device”表示您的磁盘空间不足，它可以直接导致您的系统崩溃、数据丢失、应用程序错误以及其他相关问题的发生。 通常导致磁盘空间不足有以下几个原因： 云硬盘订购容量过小，无法满足数据空间需求。用户可根据业务需求进行磁盘扩容，具体操作请参见扩容云硬盘。 磁盘分区空间使用率达到100%，您可以通过清理不常使用的较大文件或文件夹来进行空间释放。 磁盘存在已删除未释放的僵尸文件，导致空间不足，用户需要准确找到存在的僵尸文件，并清理掉这些文件。 磁盘分区索引节点Inode使用率超过100%，您可以删除掉对Inode占用比较高的文件来清理或者直接选择增加Inode节点。 针对这些导致磁盘空间不足的原因，分别用不同方式进行处理，详情请参见本文具体操作步骤。 操作前准备 在进行具体操作之前，需要完成以下准备工作：资源规划和资源创建。

本节将为您介绍磁盘基本情况及如何对已购物理机进行数据盘的挂载/卸载/扩容操作。 磁盘类型概述 物理机可以提供基于分布式存储架构的块存储、以及基于物理机的本地硬盘。 块存储：即云硬盘，数据块级别的块存储产品，三副本的分布式机制，具有高可靠、高性能、可弹性扩展的特点，可随时创建或释放。 本地盘：物理机的本地硬盘设备，包括NVMe SSD、SATA等磁盘类型，适用于数据量大、对存储I/O性能、实时性等要求很高的业务场景，具有低时延、高吞吐量、高性价比等产品能力。 由于本地盘来自单台物理服务器，存在单点故障风险，建议您在应用层做数据冗余，以保证数据的可用性。 挂载云盘数据盘 操作场景 物理机创建成功后，如果发现磁盘容量不够用或当前磁盘不满足要求，可以将已有云硬盘挂载给物理机；或创建新的云硬盘，然后再挂载至物理机。 前提条件 已创建可用的云硬盘。 待挂载的云硬盘与物理机属于同一可用区。 物理机的状态为“运行中”或“关机”。 如果是非共享盘，待挂载的云硬盘为“可用”状态。 由于某些机型的服务器没有配备智能网卡，或者其他服务器本身的原因，不支持挂载云硬盘。

私有镜像概述 私有镜像是用户根据自身需求进行定制的镜像，仅对该用户可见。具有高度的灵活性，可以满足用户个性化的需求。 私有镜像计费说明 通过物理机创建系统盘私有镜像：免费。 系统盘镜像存储在OBS桶中，但并非用户的私有桶，对用户不可见，镜像的管理维护必须通过镜像服务来实现，目前这部分存储免费供用户使用。 私有镜像相关操作费用 操作 计费标准 使用系统盘镜像创建物理机 系统盘镜像本身不收取费用，按照EVS服务的标准收取镜像的磁盘容量对应的云硬盘费用。 通过物理机创建私有镜像 操作场景 您可以使用现有的物理机创建私有镜像，再根据这个私有镜像创建一台与现有物理机拥有完全相同的操作系统和应用软件的物理机，采用此方法可以节省您重复配置物理机的时间，提高交付效率。 前提条件 物理机必须处于“关机”状态。 限制说明 系统盘的数据使用量超过40G时将会导致通过物理机制作系统盘私有镜像失败。请提前使用du h指令确认系统盘的数据使用量不超过40G。如果系统盘的数据使用量超过40G，需要将系统盘内的数据转移到本地数据盘或者云存储（比如云盘数据盘、对象存储）之后再去制作系统盘私有镜像。

本文为您介绍索引规范。 1. 禁止修改聚集索引或主键 为了维持B+tree带来大量的数据移动，一般要求使用跟业务不相关的id来作为整形自增主键 2. 尽量合并索引 索引加快了查询度，但是却会影响写入性能。 一个表的索引应该结合这个表相关的所有SQL综合创建，尽量合并。 组合索引的原则是：过滤性越好的字段越靠前，例如key (a)和key（a,b）存在，则可以直接删除key（a），对于select ……from tb where a123；，则可以使用索引（a，b）。 3. 禁止给选择性低的字段建单列索引 MySQL对索引的过滤性存在要求，如果过滤性太低，则MySQL会被放弃使用。 4. 禁止使用外键约束 对性能损耗特别大。 让应用程序去维护约束。 5. 字符类型字段应尽量使用前缀索引 太长的索引不仅影响写入性能，而且使用效果较差，因此字符串类型字段一般只建前缀索引，例如alter table testlongstr add index idxstr(str(16));。 6. 合理使用复合索引 一般情况下，复合索引比普通索引更加适用，因此，有些索引可以修改成复合索引。 7. 针对LIKE查询的索引问题，应注意使用前缀索引 LIKE只能使用前缀索引，示例说明如下： col like “abc%” 可以用索引 col like “%abc%” 不可以用索引 col like“%abc”不可以用索引

本文主要介绍了DRDS的TOP语句查询功能。 使用场景 此功能可以看到DRDS实例每个节点从凌晨00:00到此刻为止，执行最多的SQL、广播SQL、慢SQL语句。用于查看DRDS实例执行次数最多的（所有/慢/广播）SQL，可以用于性能分析。 说明 广播SQL过多或慢SQL过多都将对DRDS整体性能和稳定性造成影响，建议应用层进行相关优化。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择【产品 > 数据库 > 关系型数据库 > 分布式关系型数据库】，进入分布式关系型数据库产品页面。然后单击【管理控制台】，进入【概览】页面。 2. 在左侧导航栏，选择【DRDS > 运维工具】，进入数据库锁表查询页面。然后在顶部菜单栏，选择区域和项目。 3. 单击导航栏的【TOP语句查询】，进入到TOP语句查询页面。 4. 在页面选择【选择实例】【节点名称】【选择排序方式】下拉框，可以选择需查看的目标实例、实例节点、排序方式信息。排序方式可选择执行次数、总耗时、平均耗时和最大耗时，根据所选排序方式对查询结果进行排序。 5. 除【Top语句】查询方式外，还可选择【Top慢语句】、【Top平均耗时】（部分资源池标记为【Top广播语句】）方式进行查询。 6. 默认查看Top 10的语句，通过调整Top参数值，可灵活调节需要查看的Top语句数量。

本页介绍如何下载关系数据库MySQL版实例的SSL CA证书。 操作场景 为了提高关系数据库MySQL版的链路安全性，您可以启用SSL（Secure Sockets Layer）加密，并安装SSL CA证书到需要的应用服务。SSL在传输层对网络连接进行加密，能提升通信数据的安全性和完整性，同时会增加网络连接响应时间。 约束限制 数据库版本： 5.7，8.0 实例类型为：单机版，一主一备、一主两备、数据库代理实例。 实例的SSL状态需要为开启状态。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 关系型数据库 > 关系数据库MySQL版 ，进入关系数据库MySQL产品页面。然后单击管理控制台 ，进入概览页面。 2. 在左侧导航栏，选择MySQL > 实例管理，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 在实例列表中，单击目标实例名称，进入实例基本信息页面。 4. 单击数据安全 ，并选择SSL加密 页签，查看SSL开关状态。 单击SSL设置 ，进入SSL设置 对话框。然后单击SSL链路加密 右侧的图标，单击确定，开启SSL加密。 注意 如果是数据库代理实例，请于代理实例页面的连接地址区域查看。 5. 单击服务器证书 右侧下载证书。

本文介绍启动GPU云主机实例的操作。 操作场景 启动GPU云主机则将其从关机状态切换为运行状态，以便正常运行应用程序和服务。 注意 以下场景可能引起GPU设备ID变化： 手动关机并再次开机启动时。 手动重启GPU云主机时。 GPU云主机故障后，触发冷迁移时。 启动单台GPU云主机操作步骤 1. 登录控制中心。 2. 选择“计算 >弹性云主机”。 3. 在云主机列表中，使用搜索功能输入GPU云主机的名称、ID或IP地址以定位目标GPU云主机。 4. 选择目标GPU云主机，点击云主机列表左上角的“开机”按钮。 5. 在弹出的提示信息中，确认操作是否正确。请注意GPU云主机状态的说明。如果GPU云主机在中间状态停留超过30分钟，表示可能出现异常情况，请及时提交工单以寻求进一步处理。 启动多台GPU云主机操作步骤 1. 登录控制中心。 2. 单击“左侧导航栏>服务列表”，选择“计算 >弹性云主机”。 3. 在云主机列表中，选择需要启动的多台GPU云主机。 4. 点击云主机列表左上角的“开机”按钮。 在弹出的提示信息中，确认操作是否正确。请注意云主机状态的说明：如果云主机在中间状态停留超过30分钟，表示可能出现异常情况，请及时提交工单以寻求进一步处理。

第三方软件目录 服务范围：示例 非服务范围：示例 SSH 通过SSH无法连接云主机、远程连接端口号修改 SSH的文件传输、隧道代理、远程执行命令、端口转发和SSH代理、安全加固功能 Windows mstsc远程连接 通过mstsc无法远程连接、远程连接端口号修改 资源共享和多人远程连接 SFTP SFTP无法启动，使用系统账号登录的配置方法 SFTP的用户配置以及用户访问权配置等，传输速度优化 FTP FTP无法启动，使用系统账号登录的配置方法 FTP服务安全加固，传输速度优化 Apache 端口无法监听以及网站无法访问 Apache的优化配置 IIS IIS启动后访问报错，网站无法访问，如403错误、404错误 托管和管理各种类型的 Web 应用程序和服务、脚本语言语法支持、配置优化 Nginx Nginx端口无法监听、网站无法访问 Nginx调优、代理转发 MySQL与Microsoft SQL Server MySQL以及SQL Server监听内网端口修改 MySQL以及SQL Server的SQL语句优化以及配置 Linux IPtables与Windows Firewall IPtables基本策略语法指导，如filter表的accept以及drop指导、nat以及端口转发以及windows firewall的关闭开启，入方向以及出方向基础规则 基于IPtables的负载均衡、链接追踪、限速、代理以及高级安全设置 Network以及NetworkManager 公共镜像的网卡获取IP异常、静态IP/动态IP配置 虚拟IP、bond、网卡策略的配置

本节主要介绍产品功能 IAM为您提供的主要功能包括：精细的权限管理、安全访问、通过用户组批量管理用户权限、委托其他帐号或者云服务管理资源等。 精细的权限管理 使用IAM，您可以将帐号内不同的资源按需分配给创建的IAM用户，实现精细的权限管理。例如：控制用户Charlie能管理项目B的VPC，而让用户James只能查看项目B中VPC的数据。 图 权限管理模型 安全访问 您可以使用IAM为用户或者应用程序生成身份凭证，不必与其他人员共享您的帐号密码，系统会通过身份凭证中携带的权限信息允许用户安全地访问您帐号中的资源。 通过用户组批量管理用户权限 您不需要为每个用户进行单独的授权，只需规划用户组，并将对应权限授予用户组，然后将用户添加至用户组中，用户就继承了用户组的权限。如果用户权限变更，只需在用户组中删除用户或将用户添加进其他用户组，实现快捷的用户授权。 委托其他帐号或者云服务管理资源 通过委托信任功能，您可以将自己的操作权限委托给更专业、高效的其他帐号或者云服务，这些账号或者云服务可以根据权限代替您进行日常工作。

本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能，您可以关闭Smart Connect，释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后，实例会停止收取用于Smart Connect的代理费用，并自动删除用于Smart Connect的代理。 关闭Smart Connect后，再重新开启Smart Connect，已删除的Smart Connect任务无法找回，需要重新创建。 前提条件 已创建Kafka实例，且实例状态为“运行中”。 关闭Smart Connect前，请先删除所有的Smart Connect任务，否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法，关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行，单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击，将Smart Connect设置为关闭，单击“下一步”。 6、确认“Smart Connect”为关闭状态，单击“提交”。 结束

本章节主要介绍集群（未启用Kerberos认证）安全配置建议。 Hadoop社区版本提供两种认证方式Kerberos认证（安全模式）和Simple认证（普通模式），在创建集群时，MRS支持配置是否启用Kerberos认证。 在安全模式下MRS集群统一使用Kerberos认证协议进行安全认证。 而普通模式下MRS集群各组件使用原生开源的认证机制，一般为Simple认证方式。而Simple认证，在客户端连接服务端的过程中，默认以客户端执行用户（例如操作系统用户“root”等）自动完成认证，管理员或业务用户不显示感知认证。而且客户端在运行时，甚至可以通过注入UserGroupInformation来伪装成任意用户（包括superuser），集群资源管理接口和数据控制接口在服务端无认证和鉴权控制，很容易被黑客利用和攻击。 所以在普通模式下，必须通过严格限定网络访问权限来保障集群的安全。操作建议如下： 尽量将业务应用程序部署在同VPC和子网下的ECS中，避免通过外网访问MRS集群。 配置严格限制访问范围的安全组规则，禁止对MRS集群的入方向端口配置允许Any或0.0.0.0的访问规则。 如需从集群外访问集群内组件原生页面，请参考创建连接MRS集群的SSH隧道并配置浏览器进行配置。

数据卷类型 对应k8s中的类型 用途 解释 临时目录 emptyDir 主要用于某些应用程序无需永久保存的临时目录，多个容器的共享目录 当Pod分配到Node上时，将会创建emptyDir，当Pod（不管任何原因）从Node上被删除时，emptyDir也同时会删除，存储的数据也将永久删除。 主机目录 hostPath hostPath允许挂载Node上的文件系统到Pod里面去。如果Pod需要使用Node上的文件，可以使用hostPath。 在使用hostPath volume卷时，即便pod已经被删除了，volume卷中的数据仍在。但是Pod调度到其他节点之后就无法使用这个目录了。 secret secret 用于将敏感信息（如密码）传递给pod 将k8s中的Secret资源对象挂载到Pod中 configMap configMap 用于挂载配置文件到Pod中 将k8s中的ConfigMap资源对象挂载到Pod中 使用已有PVC persistentVolumeClaim 用来挂载持久化磁盘 需要提前创建持久卷声明（PVC） downwardAPI downwardAPI 将Pod的信息挂载到容器中（如上图中将Pod的标签挂载到容器中，并且用”labels”这个文件存储Pod的标签），pod版本号要么不填要么填’v1’ Downward API提供了两种方式用于将POD的信息注入到容器内部，一是此处介绍的Volume挂载，二是下面我们将介绍的环境变量

本节为您介绍Windows版 CMSSMSAgent 安装启动步骤指引。 1. 使用administrators权限的用户登录迁移源端windows主机； 2. 单击左侧导航栏“迁移Agent”，阅读并对“迁移前检查项”进行核对。 3. 点击总览迁移流程中“添加源主机”按钮，进入CMSSMSAgent下载界面。 4. 在当前页面的“windows系统CMSSMSAgent安装”处，单击按钮下载所需CMSSMSAgent。 5. 在源机中查看下载好的应用程序安装包。 6. 双击进入安装程序，安装过程中，输入对应的用户AK/SK。 7. 双击图标启动CMSSMSAgent。 8. 在windows桌面右下角任务栏处，找到对应图标，启动迁移服务。 9. 提示“启动成功”弹窗即完成agent安装与启动，可在“主机管理”看到迁移源主机。

本文主要介绍什么是监控管理。 CCE配合AOM对集群进行全方位的监控，在创建节点时会默认安装AOM的ICAgent（在集群kubesystem命名空间下名为icagent的DaemonSet），ICAgent默认采集集群底层资源以及运行在集群上负载的监控数据；另外，ICAgent还能采集负载的自定义指标监控数据。 资源监控指标 资源基础监控包含CPU/内存/磁盘等，具体请参见资源监控指标。您可以在CCE控制台从集群、节点、工作负载等维度查看这些监控指标数据，也可以在AOM中查看。 自定义指标 ICAgent采集应用程序中的自定义指标并上传到AOM，具体使用方法请参见自定义监控。 资源监控指标 在CCE控制台，可以查看如下指标。 表 资源监控指标 监控指标 指标含义 CPU分配率 分配给工作负载使用的CPU占比。 内存分配率 分配给工作负载使用的内存占比。 CPU使用率 CPU使用率。 内存使用率 内存使用率。 磁盘使用率 磁盘使用率。 下行速率 一般指从网络下载数据到节点的速度，单位KB/s。 上行速率 一般指从节点上传网络的速度，单位KB/s。 磁盘读取速率 每秒从磁盘读出的数据量，单位KB/s。 磁盘写入速率 每秒写入磁盘的数据量，单位KB/s。 在AOM控制台，可以查看主机指标和容器实例的指标。

数据开发中的对象 数据连接：定义访问数据实体存储（计算）空间所需信息的集合，包括连接类型、名称和登录信息等。 解决方案：解决方案为用户提供便捷的、系统的方式管理作业，更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。 作业：作业由一个或多个节点组成，共同执行以完成对数据的一系列操作。 脚本：脚本（Script）是一种批处理文件的延伸，是一种纯文本保存的程序，一般来说的计算机脚本程序是确定的一系列控制计算机进行运算操作动作的组合，在其中可以实现一定的逻辑分支等。 节点：定义对数据执行的操作。 资源：用户可以上传自定义的代码或文本文件作为资源，以便在节点运行时调用。 表达式：数据开发作业中的节点参数可以使用表达式语言（Expression Language，简称EL），根据运行环境动态生成参数值。数据开发EL表达式包含简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 环境变量：环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。 补数据：手工触发周期方式调度的作业任务，生成某时间段内的实例。

批量数据迁移集群 批量数据迁移给用户提供的最小资源单位，一个批量数据迁移集群运行在一个弹性云主机之上，用户可以在集群中创建数据迁移作业，在云上和云下的同构/异构数据源之间批量迁移数据。 数据连接 定义访问数据实体存储（计算）空间所需的信息的集合，包括连接类型、名称和登录信息等。 作业（数据开发） 在数据开发中，作业由一个或多个节点组成，共同执行以完成对数据的一系列操作。 节点 节点用于定义对数据执行的操作。例如，使用“MRS Spark”节点可以实现在MRS中执行预先定义的Spark作业。 资源 用户可以上传自定义的代码或文本文件作为资源，并在节点运行时调用。 函数 函数可以作为脚本/作业参数的值，所有函数都以“$”符号开头，后面接函数名和参数序列。 表达式 数据开发作业中的节点参数可以使用表达式语言（Expression Language，简称EL），根据运行环境动态生成参数值。数据开发 EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 环境变量 环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。 补数据 手工触发周期方式调度的作业任务，生成过去某时间段内的实例。

操作步骤 1. 登录管理控制台。 2. 在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 3. 在管理控制台左上角单击，选择“企业中间件 > 分布式消息服务 >RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 4. 单击实例名称后的“查看监控数据”，进入“云监控”该实例的监控指标页面。 5. 在实例监控指标页面中，找到需要创建告警的指标项，鼠标移动到指标区域，然后单击指标右上角的，创建告警规则，跳转到“创建告警规则”页面。 6. 在告警规则页面，设置告警信息。 创建告警规则操作，请查看云监控服务的用户指南“创建告警规则和告警通知”。 设置告警名称和告警的描述。 设置告警策略和告警级别。 例如在进行指标监控时，如果连续3个周期，连接数原始值超过设置的值，则产生告警，如果未及时处理，则每天发送一次告警通知。 设置“发送通知”开关。当开启时，设置告警生效时间、产生告警时通知的对象以及触发的条件。 单击“立即创建”，等待创建告警规则成功。

本文介绍跨域资源共享功能及其配置说明。 功能介绍 跨域资源共享（CrossOrigin Resource Sharing，简写为CORS），是一种由W3C标准化组织提出的网络浏览器的规范机制，它允许网页应用程序在浏览器中向不同源（包括不同的域、协议或端口）的服务器请求资源。当客户的业务需要跨域共享或者访问资源时，可以通过自定义HTTP响应头来实现。 注意事项 若源站与CDN控制台同时配置CORS跨域头，则CDN的配置将覆盖源站CORS跨域头。 配置说明 1. 登录CDN控制台。 2. 单击左侧导航栏【域名管理】【域名列表】。 3. 在【域名列表】页面，找到目标域名，单击【操作】列的【编辑】。 4. 单击右侧【头部修改】。 5. 在【HTTP响应头】模块，单击【增加规则】，HTTP响应头部值配置：AccessControlAllowOrigin。 参数名 说明 示例 头部值 跨域头部固定填写：AccessControlAllowOrigin。 AccessControlAllowOrigin 跨域验证 跨域验证开关默认关闭。 关闭：固定响应“AccessControlAllowOrigin”头部及其配置的取值。 开启：按照以下规则对用户请求进行跨域校验。 1.任意匹配：取值配置为“ ”，固定响应“AccessControlAllowOrigin:”。 2.泛匹配：取值配置为泛域名，校验请求头Origin值与配置的泛域名是否匹配，匹配则“AccessControlAllowOrigin”头部值响应Origin请求头值，匹配不上则不响应跨域头。 3.精确匹配：取值配置为单个或者多个精确域名，校验请求头Origin值与配置的精确域名是否匹配，匹配则“AccessControlAllowOrigin”头部值响应Origin请求头值，匹配不上则不响应跨域头。 开启 取值 1.响应头取值配置为“ ”，可匹配所有来源。 2.响应头取值配置非“ ”，必须包含协议头“http:// ”或者“ 3.响应头取值配置非“ ”，支持配置多个域名，多个值之间用英文逗号分隔。 4.响应头取值支持携带端口。