Linux系统安装DTO包（ZIP包） 1. 当安装DTO的同步主机操作系统不属于上一章节中提到的操作系统时，可以采用压缩包方式安装DTO。 2. 在使用压缩包当时安装DTO时，需要确保当前操作系统中有安装部署了openjdk1.8（java1.8）。 3. 确保环境要求满足后，将DTO压缩包传到DTO同步主机上，直接将压缩包解压即可。 4. 启动/停止DTO：进行安装启动即可。 上述内容详情可参见多活容灾服务用户帮助手册数据定时灾备。 最佳实践 1. 备份服务器（drnode），1台备份服务器可保护多台生产机内的文件及数据库。 2. CPU：配置16核或以上。内存：32GB或以上。系统盘：200GB。 3. 网络要求：与数据量相关。 4. 数据盘建议是生产数据总量的23倍。 5. 1台备份服务器保护200台客户端。

本章主要介绍产品优势 一站式软件开发生产线 软件开发全流程覆盖：支持需求管理、代码托管、流水线、代码检查、编译构建、部署、测试计划、制品仓库等全生命周期软件开发服务。 开箱即用，云上开发，全流程规范可视，高效异地协作。 研发安全BuiltIn 在应用设计、开发、测试、运行等全流程提供安全规范及防护能力，支撑应用研发供应链安全有效落地。 提供针对于代码质量安全、Web漏洞、主机漏洞、开源漏洞及合规、移动应用安全等多种安全合规检查能力。 高质高效敏捷交付 支持代码检查、构建、测试、部署任务自定义和全面自动化并提供可视化编排的持续交付流水线，一键应用部署，上线发布零等待。 需求管理、代码检查、测试计划、流水线门禁等内置经验规范，有效提升应用研发质量，问题早发现。

结果验证 1. 触发一次事件，可在对应总线处点击发布事件按钮，生产一个事件。 2. 消费自建集群对应Topic消息，查看是否有对应消息投递。

本文列举了多活容灾服务常用的术语及解释。 命名空间 命名空间是一个逻辑租户的概念，实现对MDR管控配置和数据的逻辑隔离，承载整个多活项目的资源集合，包括了流量入口，多活分区，数据同步，数据监控等内容。用户可以创建多个命名空间，用于逻辑隔离不同的资源。一般推荐按照企业的系统划分，比如OA系统，支付系统等可以各建一个命名空间。 容灾管理中心 容灾管理中心是一个独立的资源管理空间，以虚拟实例的形式独立运行，所有的操作都是在实例内进行，不同实例间的资源相互隔离。用户可以根据业务需要使用一个或若干个容灾管理中心。 容灾演练 为构建高效灾难应对机制，需定期开展基于预案演练体系的全真模拟演练。通过实战化场景复现关键业务系统的灾备恢复流程，重点验证应急响应时效性与数据保全能力，确保在突发灾难时实现业务连续性管理目标，最大限度降低运营中断风险和数据资产损失。 应急切换 当生产中心可用区内的云主机、数据库、存储等生产资源发生重大故障时，为快速恢复业务而进行的一系列的切换或恢复任务，涉及的任务来源于相应的预案流程。 同城主备 同城主备容灾是一种在同城或相近区域内（通常距离小于或等于200KM）建立的容灾策略。包括一个主数据中心，负责日常生产运行和实时数据存储，以及一个备用的数据中心，作为灾难备份中心。当主数据中心因各种原因（如火灾、建筑物破坏、供电故障、计算机系统及人为破坏等）发生故障时，备份数据中心能够快速接管业务，继续提供服务。

本节主要介绍Kafka客户端使用规范。 consumer使用规范 1、consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。 2、确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。 3、consumer不能频繁加入和退出group，频繁加入和退出，会导致consumer频繁做rebalance，阻塞消费。 4、consumer数量不能超过topic分区数，否则会有consumer拉取不到消息。 5、consumer需周期poll，维持和server的心跳，避免心跳超时，导致consumer频繁加入和退出，阻塞消费。 6、consumer拉取的消息本地缓存应有大小限制，避免OOM（Out of Memory）。 7、consumer session设置为30秒，session.timeout.ms30000。 8、Kafka不能保证消费重复的消息，业务侧需保证消息处理的幂等性。 9、消费线程退出要调用consumer的close方法，避免同一个组的其他消费者阻塞sesstion.timeout.ms的时间。 producer使用规范 1、同步复制客户端需要配合使用：acksall 2、配置发送失败重试：retries3 3、发送优化：linger.ms0 4、生产端的JVM内存要足够，避免内存不足导致发送阻塞 topic使用规范 配置要求：推荐3副本，同步复制，最小同步副本数为2，且同步副本数不能等于topic副本数，否则宕机1个副本会导致无法生产消息。 创建方式：支持选择是否开启kafka自动创建Topic的开关。选择开启后，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 单topic最大分区数建议为100。 topic副本数为3（当前版本限制，不可调整）。

environment 值 环境 dev 开发环境 test 测试环境 pre 预发环境 grey 灰度环境 prod 生产环境

本节介绍了分布式消息服务RabbitMQ的定义和主要产品优势。 分布式消息服务RabbitMQ是基于高可用、分布式集群技术，完全兼容RabbitMQ开源社区，支持消息路由、事务消息、优先级队列、延迟队列、死信队列、镜像队列等功能的消息云服务。用户可开箱即用，无需部署免运维，从而实现快速上云。 产品示意图 分布式消息服务RabbitMQ发布订阅基本流程如下： 1、生产者生产的消息，通过TCP连接的信道首先发布到指定的交换机上； 2、交换机通过路由键(RoutingKey)的匹配，选择对应的队列进行投递； 3、消费者订阅队列，消费队列的消息。 核心概念 对照产品示意图，分布式消息服务RabbitMQ的核心概念如下： Producer：消息生产者，即消息的发布方, 生产者生产的消息，首先发布到指定的交换机上，交换机通过路由键(RoutingKey)的匹配，选择对应的队列进行投递。消费者订阅队列，消费队列的消息。 Connection：客户端与Broker间的TCP连接。 Channel：信道，每个连接采用多路复用，包含多个信道。Producer与Broker间采用信道传递数据。 Broker：RabbitMQ服务节点，集群由多个节点组成。 Vhost：虚拟机，一个节点下包含多个Vhost，Vhost间的Exchange，Queue相互隔离。就好比一台物理机上(Broker)部署多台虚拟机(Vhost)，虚拟机采用不同的用户名密码登录，实现多租户。 Exchange：交换机，消息首先会传递到交换机，由交换机匹配路由键(RoutingKey)决定投递到哪个Queue。 Queue：队列，存储消息的数据结构。类比小区的快递柜。 Binding：绑定，交换机与队列间通过路由键(RoutingKey)进行绑定起来。 Consumer，消费者，即消息的接受方。 更多信息请参见名词解释。

本文介绍分布式消息服务RocketMQ入门指引的创建应用用户和密码内容。 背景信息 新建消息实例后，必须新建应用用户，然后应用才能在此消息实例上发送、消费消息。 应用用户：指MQ客户端，连接服务器生产消费时，需要进行权限校验，所以MQ客户端的用户，称为应用用户；除了用户密码的校验，还可以为用户指定Topic，代表该用户只能生产消费指定的Topic，其他Topic不能生产消费。 操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、进入应用用户管理（旧模式）或者角色控制（新模式）菜单。 （1）旧模式维护用户及权限 以下适用于上海6、北京4、内蒙5、西安3、重庆2、拉萨3、南京3、雄安2、晋中、郴州2、成都4、杭州2、上海7、西安4、福州3、泉州1、芜湖2、北京5、中卫2、贵州3、九江、内蒙6、武汉4、佛山3、福州4、昆明2、保定、乌鲁木齐27、辽阳1节点。 1）点击【新建用户】按钮 2）进入用户列表界面，新增用户 3）弹出框填写用户字段 默认展示租户名，不可修改。 选择集群名称，填写应用用户名，请输入大于6位字符，只能输入大小写字母，下划线，数字。 填写用户密码，请输入大于8位字符，需要包含数字大小写字母以及特殊符号(!@

本节介绍智算容器产品定义。 产品定义 云容器引擎（智算版）是利用云原生架构和技术，在云容器引擎上快速定制化构建AI生产系统，提供智算场景下的调度策略（共享GPU调度、批作业调度、拓扑感知调度）、GPU/RDMA异构资源管理和GPU资源监控基础能力，为用户提供AI数据集管理，AI模型开发、训练、评测，以及模型推理等服务。 产品架构 智算版作为云容器引擎的新规格和增值服务，基于云容器引擎提供管理和运行AI任务的能力，功能结构如下： 智算容器对底层IaaS各类异构资源做统一管理，通过拓扑感知，智能调度算法，实现AI任务调度、AI任务流编排，支持AI模型开发、训练、推理等，可快速构建AI生产环境，降低AI使用门槛。

本文主要介绍 创建Topic。 Topic，即消息主题。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic，然后才能进行生产消息和消费消息。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动创建Topic”表示在生产或消费一个未创建的Topic时，会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 Kafka实例对Topic的总分区数设置了上限， 当Topic的总分区数达到上限后，用户就无法继续创建Topic 。不同规格配置的Topic总分区数不同，具体请参考Kafka产品规格说明。 本文主要介绍手动创建Topic的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 方式1：在控制台创建 方式2：在Kafka Manager创建 方式3：在Kafka客户端上创建 说明 实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 方式1：在控制台创建 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，单击“创建Topic”。 弹出“创建Topic”对话框。 图 创建Topic 步骤 6 填写Topic名称和配置信息。 表 Topic参数说明 参考 说明 Topic名称 系统为您自动生成了Topic名称，您可以根据需要修改。 创建Topic后不能修改名称。 分区数 您可以设置Topic的分区数，分区数越大消费的并发度越大。 该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。 取值范围：1~200 默认值：3 副本数 您可以为每个Topic设置副本的数量，Kafka会自动在每个副本上备份数据，当其中一个Broker故障时数据依然是可用的，副本数越大可靠性越高。 该参数设置为1时，表示只有一份数据。 默认值：3 说明 实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 老化时间（小时） 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 取值范围：1~720 默认值：72 同步复制 指后端收到生产消息请求并复制给所有副本后，才返回客户端。 开启同步复制后，需要在客户端配置acksall或者1，否则无效。 当副本数为1时，不能选择同步复制功能。 同步落盘 同步落盘是指生产的每条消息都会立即写入磁盘。 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“max.message.bytes”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 步骤 7 配置完成后，单击“确定”，完成创建Topic。

本文带您了解分布式消息服务RocketMQ的产品架构。 系统部署架构如下图所示： Nameserver Nameserver是一个几乎无状态节点，每个集群部署3个Nameserver节点，节点之间无同步信息。它主要提供Broker注册、Topic路由管理等功能。 Broker 分布式消息中间件核心组件，提供消息生产、消费，主从同步、数据刷盘等核心功能。可以横向扩展、在线扩容以提高集群性能。每个Broker由一个Master节点（主节点）和一个Slave节点（备节点）组成，与Nameserver集群的所有节点建立长连接，并定时注册Topic等信息。 Producer 生产者，一般为应用调用API进行消息生产。Producer与Nameserver集群中的其中一个节点（随机选择）建立长连接，定期从Nameserver取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。 Consumer 消费者，一般为应用调用API进行消息消费。Consumer与Producer一样，与一个Nameserver建立长连接并取Topic路由信息。Consumer与提供Topic服务的Master建立长连接，进行消息消费。

本最佳实践主要描述通过一站式智算服务平台进行全流程图像分类的AI开发。 概述 本最佳实践主要描述通过一站式智算服务平台进行全流程图像分类的AI开发。数据处理工程师，算法工程师，模型和服务管理人员都可以在平台上完成所需的工作，各角色的工作成果可无缝衔接。平台提供了数据集管理、模型开发与训练管理、模型管理、模型部署等功能模块。如果用户具备工程开发能力，可以通过在线IDE编码工具自行编写代码，使用平台提供的CPU、GPU算力来运行代码、训练模型。在线IDE编码工具支持用户切换各种算法框架和环境，免去用户重新安装的时间。工程师开发完成的代码可以保存到模型仓库进行统一的模型管理。 方案优势 降低建模成本：一站式智算服务平台为用户带来了便利，通过平台，用户无需进行任何额外的配置或调试，开箱即用。平台预置了丰富的预训练模型和镜像环境，针对不同场景提供了多样化预置数据集，确保用户能够迅速投入工作。 多角色功能集成：集成化的平台化工具可以将数据标注员、算法、工程化角色都容纳在平台上，提供从数据处理、模型开发、模型训练到模型部署应用的全栈服务。 平台化全流程管理：管理者统一管理和查看，让各角色参与者完美的串联协同工作，实现数据互通、环境互通，且保障数据和模型安全、不出平台，实现训练开发资产的一站式沉淀与管理，提升企业工作效率，实现流水线式AI生产。

规格/特性名称 规格/特性说明 体验版 基础版 专业版 企业版 代码检查并发 租户内并发执行的代码检查任务数量。 1个 5个 10个 20个 代码检查执行时长 租户每个月累计代码检查任务执行时长。 1800分钟/月 不限 不限 不限 基础语言支持 Java、C/C++、Python、JavaScript、TypeScript、ArkTs。 √ √ √ √ 进阶语言支持 除基础语言外，支持多种常用开发语言，如C、CSS、Go、HTML、PHP等。 × √ √ √ 叠加代码安全检查增强包 允许叠加购买代码安全检查增强包，增加用户深度检查代码安全类隐患的能力（例如跨文件跨函数、污点分析、语义分析能力）。 × × √ √ 缺陷扫描 及时发现代码中潜藏的质量类（包括风格类）、安全类的代码缺陷。 √ √ √ √ 缺陷修复 提供缺陷修改建议，帮助团队成员修复问题进而提升代码质量。 √ √ √ √ 缺陷管控 自动生成问题列表，提供多指标展示缺陷的在线看板，支持缺陷报告的导出。 √ √ √ √ 通知管理 支持将任务状态通过动态提醒，邮件，钉钉，企业微信形式通知给相关用户，加速用户解决问题的效率。 √ √ √ √ 质量门禁 提供多维度的门禁项（致命、严重、一般、提示），帮助团队了解项目是否已准备好投入生产。 √ √ √ √

结果验证 1. 触发一次事件，可在对应总线处点击发布事件按钮，生产一个事件。 2. 假设您部署的HTTP服务已封装请求审计日志，查看日志验证是否触发日志。

对比维度 备份 容灾 使用目的 避免数据丢失，一般通过快照、备份等技术构建数据的数据备份副本，故障时可以通过数据的历史副本恢复用户数据。 避免业务中断，一般是通过复制技术（应用层复制、主机I/O层复制、存储层复制）在异地构建业务的备用主机和数据，主站点故障时备用站点可以接管业务。 使用场景 针对病毒入侵、人为误删除、软硬件故障等场景，可将数据恢复到任意备份点。 针对软硬件故障以及海啸、火灾、地震等重大自然灾害，运行故障切换，尽快恢复业务。源端可用区恢复正常时，可轻松利用故障恢复能力重新切换回到源端可用区。 成本 通常是生产系统的1~2%。 通常是生产系统的20%~100%（根据不同的RPO/RTO要求而定），高级别的双活容灾，要求备用站点也要部署一套和主站点相同的业务系统，基础设施成本需要翻倍计算。

本文介绍Serverless集群概述。 产品简介 云容器引擎Serverless版是天翼云提出的Serverless Kubernetes容器服务。与传统Kubernetes集群相比，Serverless集群无需购买节点即可直接部署容器应用，同时无需对集群进行节点维护和容量规划，降低了Kubernetes使用门槛，让用户更专注于应用程序，而不是管理底层基础设施。Serverless集群提供完善的Kubernetes兼容能力，您可以轻松迁移已有的Kubernetes应用到Serverless集群上，并且根据应用配置的CPU和内存资源量进行按需付费。 使用场景 互联网企业：大规模业务上线生产环境，对管控的稳定性、可观测性和安全性有较高要求。 大数据计算企业：大规模数据计算、高性能数据处理、高弹性需求等类型业务，对集群稳定性、性能和效率有较高要求。

工作组，类似于传统安全中的安全域、业务组等概念。本小节介绍微隔离防火墙工作组。 1.每个工作组有13个标签，分为位置标签、应用标签、环境标签，可以通过这三个标签来标识一个工作组，例如：“北京电商生产”、“天翼云web测试”等。工作组页面可以进行新建、修改、删除操作。 2.工作组页面右上方的搜索框可以对工作组进行过滤，页面中基本属性栏可以进行排序， 下箭头为正序，上箭头为反序。 3.点击按钮，即可在弹出框中进行工作组的建立，一个工作组名称唯一，并选择13个标签。新建的工作组会出现在业务拓扑页面。 4.点击工作组名称可进入工作组详细页面。详细页面分为基础信息、工作负载、策略、授权管理、包管理。 5.工作负载详情页面中的工作负载页面，可查看当前此工作组包含哪些工作负载，在此页面可批量将工作负载调整到外部，也可选择其他组的工作负载调整到本组。 6. 工作组详情页面中的策略页面，可查看作用于该工作组的所有策略，并可以调整本组的策略状态。点击展开可查看策略详情。 7. 工作负载详情页面中的策略页面，可查看与本工作组相关的授权码，即通过本授权码安装的工作负载，均自动位于该工作组。 8.点击授权码，可进入授权码详情页面。 9.工作负载详情页面中的包管理页面，包管理页面用于客户端模块的安装和升级，包含本组所有工作负载。 10.点击其中显示的数字，可显示具体工作负载Agent的版本信息。

本文介绍了RDSPostgreSQL实例使用约束与限制。 RDSPostgreSQL为您提供更安全、稳定的服务，从功能与账号权限上有一些约束与限制。 功能约束与限制 功能 使用限制 部署 数据库实例所部署的弹性云主机，用户不可见，只允许应用程序通过IP和端口访问数据库。 数据库访问 对于没有开通公网访问的数据库实例，只能通过同一个虚拟私有云内的弹性云主机进行访问。 弹性云主机必须处于目标RDSPostgreSQL实例所属安全组允许访问的范围内。 弹性云主机或连接发起公网IP必须处于目标RDSPostgreSQL实例所属白名单允许的范围内。 当数据库实例与弹性云主机处于不同的安全组时，系统会默认禁止访问，需要在数据库实例的安全组中添加“入站”访问规则进行授权。 数据库只读实例必须与主实例在同一子网内创建。 数据库实例的默认访问端口默认为6543，暂不支持修改端口。 数据库引擎 不同资源池支持的版本不同，具体支持版本请参见数据库引擎与版本。 数据库的root权限 当前提供高级账号权限给用户，不提供超级管理员权限。 修改数据库参数设置 通过管理控制台可以修改大部分数据库参数。（说明：部分参数可能要重启才能生效，请谨慎操作。） 数据迁入 可以使用psql命令行工具方式迁入数据。 故障切换 对于主备实例，当主节点出现故障时，RDSPostgreSQL实例会自动切换到备节点。切换过程中有30秒左右的连接闪断，需要您设置好程序的自动重连，避免因为切换导致服务不可用。 搭建数据库复制 RDSPostgreSQL本身提供主备复制架构的双节点集群，无需用户手动搭建。其中主备复制架构集群的备节点不对用户开放，用户应用不可直接访问。 插件 RDSPostgreSQL为用户预置了多种扩展插件，用户需要通过命令行对插件进行安装和卸载，具体参见插件管理。 重启实例 无法通过命令行重启，必须通过RDSPostgreSQL服务的管理控制台操作重启实例。 数据恢复 建议您在数据恢复前备份好重要数据，以免导致数据丢失。 建议您通过创建新的临时实例或恢复到新实例，验证临时实例或新实例的数据后，再把需要的数据迁移到生产实例。 存储空间 如果实例的存储空间已满，该实例会被自动锁定，变成只读状态。建议您定期检查存储空间的使用情况。 说明：如果存储空间使用率过高，请在控制台执行存储空间扩容，具体参见数据空间扩容。 性能优化 请检查实例是否存在性能问题，例如是否有大量的慢SQL，SQL语句是否需要优化，是否有多余的索引或者缺失的索引等。

” 号开头，可选择对应知识库或知识文档作为推理参考。 3. 若不想继续使用某个知识库，可按照特定操作流程将其移除，具体操作可参考相关图示。 通过以上步骤，您即可完成一个简单的私有知识库搭建，赶紧动手尝试吧！ 五、推荐使用场景 1. 智能客服训练 AI 回答公司政策、产品 FAQ，减少人工客服负担。 2. 企业内部搜索让员工直接向AI提问，无需翻遍公司Wiki或文档库。 3. 智能助手帮助销售整理客户信息，协助HR处理面试反馈，助力研发自动生成技术文档。 4. 智能营销策划协助市场团队分析市场趋势和竞争对手数据，生成针对性的营销活动方案，提升营销效果。 5. 财务智能分析工具帮助财务人员自动完成财务报表分析，预测财务风险，为企业决策提供数据支持。 6. 生产流程优化系统利用AI实时监测生产设备运行状况，预测设备故障，提前安排维护，减少生产中断。 7. 培训内容生成助手，为培训部门快速生成员工培训课件、在线课程内容，满足不同岗位的培训需求。 8. 供应链管理智能助手，根据销售数据、库存水平和供应商信息，辅助优化采购计划。

结果验证 1. 触发一次事件，可在对应总线处点击发布事件按钮，生产一个事件。 2. 消费自建集群对应Topic消息，查看是否有对应消息投递。

方案优势 简化训练和部署的复杂流程：训推智算服务平台通过整合全链路的工具组件，实现了训练与部署流程的极大简化，为科研人员提供了一站式解决方案。用户无需再为繁杂的工具和环境配置而烦恼，只需专注于模型的核心研发工作。智算开发平台不仅降低了大模型开发的使用门槛，更让AI技术的普及和应用变得更加便捷和高效。 开箱即用，降低调优成本：训推智算服务平台为用户带来了便利，通过平台，用户无需进行任何额外的配置或调试，开箱即用。平台预置了丰富的预训练模型和镜像环境，针对不同场景提供了多样化预置数据集，确保用户能够迅速投入工作。同时，平台集成了大模型微调训练工具，适用于专属大模型的快速训练。此外，平台还支持分布式训练和Deepspeed加速框架，提供断点续训功能，支持小样本微调，使用户能够轻松定制专属模型，极大地降低了调优成本，提高了研发效率。 平台化全流程管理：训推智算服务平台，一个集成化的平台化工具，将以上所有角色都汇聚于一个统一的平台之上，提供从数据处理、模型开发、模型训练到最终模型部署应用的全栈服务。管理者能够在平台上实现统一管理和查看，确保各环节的无缝衔接，让各角色参与者能借助平台完美协同工作，实现数据互通、环境互通，确保数据和模型安全，全程不出平台实现训练开发资产的一站式沉淀与管理，能显著提升企业整体工作效率，实现AI生产的流水线化运作。

方案优势 简化训练和部署的复杂流程：一站式智算服务平台通过整合全链路的工具组件，实现了训练与部署流程的极大简化，为科研人员提供了一站式解决方案。用户无需再为繁杂的工具和环境配置而烦恼，只需专注于模型的核心研发工作。智算开发平台不仅降低了大模型开发的使用门槛，更让AI技术的普及和应用变得更加便捷和高效。 开箱即用，降低调优成本：一站式智算服务平台为用户带来了便利，通过平台，用户无需进行任何额外的配置或调试，开箱即用。平台预置了丰富的预训练模型和镜像环境，针对不同场景提供了多样化预置数据集，确保用户能够迅速投入工作。同时，平台集成了大模型微调训练工具，适用于专属大模型的快速训练。此外，平台还支持分布式训练和Deepspeed加速框架，提供断点续训功能，支持小样本微调，使用户能够轻松定制专属模型，极大地降低了调优成本，提高了研发效率。 平台化全流程管理：一站式智算服务平台，一个集成化的平台化工具，将以上所有角色都汇聚于一个统一的平台之上，提供从数据处理、模型开发、模型训练到最终模型部署应用的全栈服务。管理者能够在平台上实现统一管理和查看，确保各环节的无缝衔接，让各角色参与者能借助平台完美协同工作，实现数据互通、环境互通，确保数据和模型安全，全程不出平台实现训练开发资产的一站式沉淀与管理，能显著提升企业整体工作效率，实现AI生产的流水线化运作。

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文

版本 说明 基础版 支持50以内Pod数规模，无企业级增强能力，不推荐生产使用。 标准版 支持1000Pod数规模。

场景描述 RocketMQ的Topic是消息的逻辑分类单位，用于将消息进行分组和管理。创建Topic的场景可以根据具体业务需求来确定，以下是一些常见的场景描述： 消息发布与订阅：当需要实现消息发布与订阅模式时，可以创建一个主题来管理相关的消息。发布者可以将消息发送到该主题，而订阅者可以订阅该主题以接收感兴趣的消息。 事件驱动架构：在事件驱动的架构中，不同的模块之间通过事件进行通信。每个事件可以对应一个主题，模块可以将事件发送到相应的主题，其他模块可以订阅该主题以接收事件通知。 日志收集与分析：当需要收集大量的日志数据并进行分析时，可以创建一个主题来管理日志消息。日志产生者可以将日志消息发送到该主题，而日志消费者可以订阅该主题以进行实时分析或存储。 异步处理：当需要将某些操作异步处理时，可以创建一个主题来管理相关的异步消息。操作发起者可以将异步消息发送到该主题，而异步处理器可以订阅该主题以进行后续的异步处理。 分布式事务消息：在分布式系统中，当需要实现分布式事务消息时，可以创建一个主题来管理相关的事务消息。事务发起者可以将事务消息发送到该主题，而事务消费者可以订阅该主题以进行事务的处理和确认。 总的来说，创建主题的场景可以根据具体的业务需求来确定。主题可以帮助将消息进行逻辑分类和管理，实现不同的消息传递模式和业务场景。 新建Topic 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【创建Topic】按钮 5、 在弹出的创建Topic页面，填写如下字段信息 1）默认展示当前集群名称，不可修改。 2）选择Topic所在的Broker，按照实例创建时候选择的主备节点对数列出每个Broker，可复选。 3）填写Topic名称，名字限制2到64个字符，超过限制会导致创建Topic失败，用户创建Topic只能包含大小写字母数字以及和符号。 4）按照实际需求填写Topic备注。 5）填写每个Broker分区数，分区数必须大于0，小于等于8，创建严格顺序队列时，设置分区数为1，且只能选择一个Broker。 6）选择生产模式，RocketMQ是一个开源的分布式消息中间件，它支持两种消息生产模式：有序和无序。 有序消息生产模式（Ordered Message）是指按照特定规则将消息发送到相同的Message Queue中，并且确保消息在消费者端按照相同的顺序进行消费。这种模式适用于那些需要严格按照消息顺序进行处理的场景，比如订单处理、流程审批等。 无序消息生产模式（Unordered Message）是指消息发送到不同的Message Queue中，每个Queue都是独立的。消费者可以并行地从多个Queue中消费消息，而无需关心消息的顺序。这种模式适用于那些不需要严格按照消息顺序处理的场景，比如日志收集、异步通知等。 需要注意的是，无论是有序还是无序消息生产模式，RocketMQ都提供了高可靠性的消息传输和存储，并支持水平扩展和高吞吐量的特性。根据具体的业务需求，选择适合的消息生产模式能够更好地满足应用的要求。 7）选择Topic的读写权限，支持读写、只读、只写3类权限。 8）完成Topic信息填写后，保存确认即可新增主题。 9）若希望批量创建Topic，可点击【导入Topic】按钮。 导入Topic 注意：输入的Topic名不要带空格等特殊字符。 通过上传csv文件,批量创建主题。格式：点击【下载模板】按钮下载。 Topic模板 批量上传Topic的模板，必须使用模板，才能够上传成功，模板格式如下： TopicName QueueNums Perm MessageType Topic1 4 6 NORMAL Topic2 1 6 FIFO Topic3 4 6 DELAY Topic4 4 6 TRANSACTION

” 号开头，可选择对应知识库或知识文档作为推理参考。 3. 若不想继续使用某个知识库，可按照特定操作流程将其移除，具体操作可参考相关图示。 通过以上步骤，您即可完成一个简单的私有知识库搭建，赶紧动手尝试吧！ 五、推荐使用场景 1. 智能客服训练 AI 回答公司政策、产品 FAQ，减少人工客服负担。 2. 企业内部搜索让员工直接向AI提问，无需翻遍公司Wiki或文档库。 3. 智能助手帮助销售整理客户信息，协助HR处理面试反馈，助力研发自动生成技术文档。 4. 智能营销策划协助市场团队分析市场趋势和竞争对手数据，生成针对性的营销活动方案，提升营销效果。 5. 财务智能分析工具帮助财务人员自动完成财务报表分析，预测财务风险，为企业决策提供数据支持。 6. 生产流程优化系统利用AI实时监测生产设备运行状况，预测设备故障，提前安排维护，减少生产中断。 7. 培训内容生成助手，为培训部门快速生成员工培训课件、在线课程内容，满足不同岗位的培训需求。 8. 供应链管理智能助手，根据销售数据、库存水平和供应商信息，辅助优化采购计划。 返回DeepSeek专题导航。

操作场景 切换完成后，数据不会自动反向同步（容灾站点到生产站点），保护实例处于停止保护状态，如需开始反向数据同步，需要进行反向重保护操作。 说明 执行反向重保护后，在初始同步过程中，如果容灾站点服务器重启，数据会重新进行同步，直到同步完成。 执行反向重保护后，初始同步完成，如果容灾站点服务器重启，数据不会重新进行同步。之后如果容灾站点服务器写入数据，数据增量同步。 反向重保护会将容灾站点服务器的数据覆盖原生产站点服务器数据，在执行切换操作后，如果生产端服务有写入数据将会被覆盖。 前提条件 需要待反向重保护的容灾站点服务器已完成预配置；如果还未进行预配置，保护实例将如下图所示无法进行操作，请参考配置容灾站点服务器进行配置。 保护实例状态为“切换完成”或者“反向重保护失败”。 操作步骤 1. 登录管理控制台。 2. 单击服务列表，选择“存储 > 存储容灾服务 SDRS”。进入“存储容灾服务”页面。 3. 在“异步复制”页面，单击待反向重保护的保护实例所在站点复制对的保护实例数。进入对应站点复制对的保护组页面。 4. 在左侧导航选择相应的保护组。进入保护组详情页面。 5. 在保护实例列表中，单击待反向重保护的保护实例所在行操作列的“更多 > 反向重保护”。 6. 进入反向重保护页面。 7. 单击“提交”开始反向重保护，实例状态变为“反向重保护中”。 8. 当实例状态变为“保护中”时，说明反向重保护执行成功，此时进入全量数据一致性比对增量传输。 9. 等待12分钟，保护实例状态更改为“同步中”，并显示剩余待同步数据量以及预估剩余时间。

为什么可用区不能选择2个？ 所有不同规格的Kafka集群实例都是3个Zookeeper节点，并且是通过Zookeeper集群进行管理配置的，Kafka依赖Zookeeper，如果Zookeeper集群出现问题，Kafka将无法正常运行。 一个Zookeeper集群正常运行，至少需要2个Zookeeper节点正常运行。 假设允许可用区选择2个，可用区1有1个Zookeeper节点，可用区2有2个Zookeeper节点。如果可用区1故障，则集群实例能正常使用；如果可用区2故障，则集群不能正常使用。集群可用的场景只有50%，所以不支持选择2个可用区 如何选择Kafka实例的存储空间？ 存储空间，主要是指用于存储消息所需要的空间，选择时包括选择磁盘规格和大小，磁盘规格，当前支持“超高IO”和“高IO”两种类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB副本数 + 预留磁盘大小100GB。Kafka集群中，每个Kafka节点会使用33G的磁盘作为日志和Zookeeper数据的存储，因而实际可用存储会小于购买存储。 其中，副本数在创建Topic时可以选择，默认为3副本存储。 Kafka实例的超高IO和高IO如何选择？ 高IO：平均时延13ms，最大带宽150MB/s（读+写）。 超高IO：平均时延1ms，最大带宽350MB/s（读+写）。 建议选择超高IO，云硬盘服务端压力大场景，都不能达到最大带宽，但是超高IO可达到的带宽比高IO高很多。 如何选择Kafka实例存储容量阈值策略？ 当前支持以下两种策略： 生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化（Kafka原有的老化机制，数据默认保留3天）。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值之后，以一个segment文件为单位（1GB），会自动删除最早的segment文件，保证生产业务能继续正常运行。该场景优先保障业务不中断，数据可能会丢失。 以上两种策略的需要基于业务对数据和业务的可靠性来进行选择，只能作为极端场景下的一个种处理方式。建议业务购买时保证有充足的磁盘容量，避免磁盘的使用达到容量阈值。 Kafka实例的Topic数量是否有限制？ 在Kafka使用过程中，Topic数量本身无限制，但Topic的分区数之和有上限，当达到上限后，会导致用户无法继续创建Topic。

本文主要介绍分布式消息服务RabbitMQ的惰性队列最佳实践。 使用场景 默认情况下，RabbitMQ生产者生产的消息存储在内存中，当需要释放内存时，会将内存中的消息换页至磁盘中。换页操作会消耗较长的时间，且换页过程中队列无法处理消息。 如果生产速度过快（例如执行批处理任务），或者消费者由于各种原因（例如消费者下线、宕机）长时间内无法消费消息，导致消息大量堆积，使得内存使用率过高，换页频繁，可能会影响其他队列的消息收发。这种场景下，建议您启用惰性队列。 惰性队列（Lazy Queue）会尽可能的将消息存入磁盘中，在消费者消费到相应的消息时才会被加载到内存中，这样可以减少内存的消耗，但是会增加I/O的使用，影响单个队列的吞吐量。惰性对列的一个重要的设计目标是能够支持更长的队列，即支持更多的消息存储/消息堆积。 在以下情况下，推荐使用惰性队列： 队列可能会产生消息堆积 队列对性能（吞吐量）的要求不是非常高，例如TPS 1万以下的场景 希望队列有稳定的生产消费性能，不受内存影响而波动 处于以下情况时，无需使用惰性队列： RabbitMQ需要高性能的场景 队列总是很短（即队列中没有消息堆积） 设置了最大长度策略 设置惰性队列 队列具备两种模式：default和lazy，默认模式为default。lazy模式即为惰性队列的模式，可以通过调用channel.queueDeclare方法的时候在参数中设置，也可以通过Policy的方式设置。如果一个队列同时使用这两种方式设置的话，Policy的方式具备更高的优先级。 以下示例演示在Java客户端通过调用channel.queueDeclare设置惰性队列。 Map args new HashMap (); args.put("xqueuemode", "lazy"); channel.queueDeclare("myqueue", false, false, false, args); 以下示例演示在RabbitMQ的Web界面通过Policy的方式设置惰性队列。 更多关于惰性队列的说明，请参考Lazy Queues 。

启动推理： 1. 上面步骤下载模型完成后，在ComfyUI页面点击【Queue Prompt】 2. 第一次推理需要加载模型，要等待一段时间，可以在终端查看程序日志，在Jupyter启动页【其他】下点击"终端"跳转到终端页面 3. 终端输入命令：tail f log.txt 4. 推理完成后会根据CLIP框的提示词在右侧生产图片 更换workflow并生成图片： 1. 在ComfyUI页面点击按快捷键CTRL+O，选择controllnetworkflow.json 2. 在Load Image控件点击【choose file to upload】选择文件inputscribbleexample.png 3. 在ComfyUI页面点击【Queue Prompt】 4. 推理完成后会根据CLIP框的提示词在右侧生产图片

对比维度 备份 容灾 使用目的 避免数据丢失，一般通过快照、备份等技术构建数据的数据备份副本， 故障时可以通过数据的历史副本恢复用户数据。 避免业务中断，一般是通过复制技术（应用层复制、主机I/O层复制、存储层复制） 在异地构建业务的备用主机和数据， 主站点故障时备用站点可以接管业务。 使用场景 针对病毒入侵、人为误删除、软硬件故障等场景， 可将数据恢复到任意备份点。 针对软硬件故障以及海啸、火灾、地震等重大自然灾害，运行故障切换，尽快恢复业务。 源端可用区恢复正常时，可轻松利用故障恢复能力重新切换回到源端可用区。 成本 通常是生产系统的1~2%。 通常是生产系统的20%~100%（根据不同的RPO/RTO要求而定），高级别的双活容灾， 要求备用站点也要部署一套和主站点相同的业务系统，基础设施成本需要翻倍计算。

本文主要介绍消费组问题。 Kafka实例是否需要创建消费组、生产者和消费者？ 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 消息组中没有在线的消费者（如empty状态），14天后是否会自动被删除与offsets.retention.minutes参数有关： 2020年6月16日前创建的实例，offsets.retention.minutes默认为2147483646分钟，约1491308天，消费组14天后不会被删除。 2020年6月16日以及之后创建的实例，offsets.retention.minutes默认为20160分钟，即14天，消费组14天后会自动被删除。 原因如下： Kafka通过offsets.retention.minutes参数控制消费组中offsets保留时间，在此时间内如果没有提交offset，offsets将会被删除。Kafka判定消息组中没有在线的消费者（如empty状态），且没有offsets时，将会删除此消费组。 客户端删除消费组后，在Kafka Manager中仍可以看到此消费组？ 客户端删除消费组后，此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组，是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题： 重启Kafka Manager。 Kafka Manager只显示14天内有消费记录的消费组，如果您不想重启Kafka Manager，可以等待14天后Kafka Manager自动清除此消费组。