本文介绍了如何在科研助手中使用 AnythingLLM 搭建 DeepSeek 知识库。 概述 DeepSeekR1 DeepSeekR1 是幻方量化旗下 AI 公司深度求索（DeepSeek）研发的一款高性能推理模型。该模型使用强化学习技术进行后训练，专注于提升在数学、代码和自然语言推理等复杂任务上的表现。 DeepSeekR1 在需要逻辑推理、思维链推理和实时决策的任务中表现出色，如解决高级数学问题、生成复杂代码、解析复杂科学问题等。在类似 Codeforces 的挑战场景中获得了2029 Elo 评分；在复杂推理基准测试中，表现与 OpenAI 的 o1 模型相当。尽管总共有6710亿的庞大参数，但每次前向传递时仅激活370亿个参数，比大多数大模型更加高效的利用资源。 AnythingLLM AnythingLLM 是一款开源平台，以简单易用为显著特点，它为没有深厚技术背景的用户敞开了大语言模型应用开发的大门，凭借直观界面让开发变得轻松。其具备高度可定制性，用户能按需灵活调整模型参数、功能逻辑等，还拥有强大的集成能力，可与多种数据源及工具无缝对接。在功能上，它涵盖模型管理、数据处理和应用部署等方面，支持多模型选择与更新，可有效处理数据以提升模型效果，并能以多种方式将应用快速推向生产环境。广泛适用于智能客服提升服务效率、内容创作辅助产出优质文案以及数据分析提供决策洞察等多元场景。 当前在科研助手的社区镜像中，我们已经为您提前部署好了基于 AnythingLLM 搭建的DeepSeek 知识库平台，方便您即刻体验，开箱即用。 前置说明 1. 该文档为在科研助手上使用 AnythingLLM 搭建 DeepSeek 知识库的说明； 2. 本产品中的模型由第三方主体提供，尽管云公司已尽最大努力进行识别和维护，但仍无法保证模型的可用性。请客户按照该产品的服务协议使用该产品，做好甄别并对自行选择的服务负责 准备环境

注意事项 注意 1. 区域访问控制的黑白名单不允许同时配置。 2. 中国支持配置省份和运营商，中国以外仅支持配置国家。 配置界面 区域访问控制支持配置多条，每一条都支持自定义优先级，优先级数值越大优先级越高；优先级数值相同的界面配置顺序越靠上，优先级越高。

本节介绍Fluid功能和概念。 Fluid概述 Fluid是一个开源的云原生的分布式数据集编排和加速引擎，为AI和大数据云原生应用提供服务。 它旨在通过透明的数据管理和优化调度，帮助AI和大数据应用高效利用任何存储的数据，而无需修改现有应用。Fluid支持自动化的数据调度、缓存加速和弹性扩展，提升数据访问效率，确保在大规模分布式环境中实现高效的存储和计算协同。 Fluid功能 作为一款开源的云原生基础架构，Fluid为AI与大数据云原生应用提供一层高效便捷的数据抽象，将数据从存储抽象出来，以便实现以下功能： 数据集抽象原生支持：将数据密集型应用所需基础支撑能力功能化，实现数据高效访问并降低多维管理成本。 可扩展的数据引擎插件：提供统一的访问接口，方便接入第三方存储，通过不同的Runtime实现数据操作。 数据弹性和调度：将数据缓存技术和弹性扩缩容 、数据亲和性调度能力相结合，提高数据访问性能。 应用编排：结合Kubernetes调度器，将计算任务优先调度至已缓存数据的节点，减少网络传输开销，提升计算效率。 Fluid基础概念 Dataset：数据集，抽象成逻辑上相关的一组数据的集合，被运算引擎使用。它允许用户定义数据集的位置、格式、版本、数据访问权限等信息。Dataset可以与不同的存储引擎（如Alluxio、JuiceFS等）结合使用，确保数据的统一管理和高效访问。 Dataset Operation：对Dataset执行的数据操作任务，例如数据预热、数据迁移、数据缓存清理等。这些操作通过Fluid的CRD进行定义和管理，帮助用户优化数据访问性能或维护数据生命周期。 Runtime：实现数据集安全性、版本管理和数据加速等能力的执行引擎，定义了一系列生命周期的接口。可以通过实现这些接口，支持数据集的管理和加速。 AlluxioRuntime：作为 Cache Engine Pods 的一种实现，基于开源数据编排框架 Alluxio构建，用于在 Kubernetes 集群中提供高性能的数据缓存与访问加速能力，支持PVC、Hostpath、ZOS加速。

通过DataArts Studio调度大数据服务时需要注意什么？ DLI和MRS作为大数据服务，不具备锁管理的能力。因此如果同时对表进行读和写操作时，会导致数据冲突、操作失败。 如果您需要对大数据服务数据表进行读表和写表操作，建议参考以下方式之一进行串行操作处理： 将读表和写表操作拆分为同一作业的不同节点，两个节点通过连线建立先后执行关系，避免同时执行冲突。 将读表和写表操作拆分为两个不同的作业，两个作业之间设置依赖关系，避免同时执行冲突。 环境变量、作业参数、脚本参数有什么区别和联系？ 环境变量、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果环境变量、作业参数、脚本参数同名冲突，调用的优先级顺序为：作业参数 > 环境变量参数 > 脚本参数。 环境变量、作业参数、脚本参数的介绍和使用方式如下： 环境变量中支持定义变量和常量，环境变量的作用范围为当前工作空间。 a.变量是指不同的空间下取值不同，需要重新配置值，比如“工作空间名称”变量，这个值在不同的空间下配置不一样，导出导入后需要重新进行配置。 b.常量是指在不同的空间下都是一样的，导入的时候，不需要重新配置值。 如图所示环境变量 作业参数中支持定义参数和常量，作业参数的作用范围为当前作业。 a.参数是指不同的作业下取值不同，需要重新配置值，导出导入后需要重新进行配置。 b.常量是指在不同的作业下都是一样的，导入的时候，不需要重新配置值。 如图所示作业参数 脚本参数支持如下使用方式，脚本参数的作用范围为当前脚本。 a.SQL脚本支持在脚本编辑器中直接输入参数（Flink SQL不支持），脚本独立执行时可通过编辑器下方配置，如图" 独立执行时的脚本参数"所示；通过作业调度时可通过节点属性赋值，如图"作业调度时的脚本参数"所示。 b.Shell脚本可以在编辑器上方配置参数和交互式参数以实现参数传递功能。 c.Python脚本暂不支持参数传递功能。 如图所示独立执行时的脚本参数 如图所示作业调度时的脚本参数

本章节主要介绍ALM43012 JDBCServer2x进程直接内存使用超出阈值的告警。 告警解释 系统每30秒周期性检测JDBCServer2x进程直接内存使用状态，当检测到JDBCServer2x进程直接内存使用率超出阈值（最大内存的95%）时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 43012 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程直接内存使用率过高，会影响JDBCServer2x进程运行的性能，甚至造成内存溢出导致JDBCServer2x进程不可用。 可能原因 该节点JDBCServer2x进程直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43012”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 实例”，单击告警上报的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x内存使用率统计”，单击“确定”，查看JDBCServer2x进程使用的直接内存是否已达到JDBCServer2x进程设定的最大直接内存的阈值。 是，执行步骤3。 否，执行步骤7。 2. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 实例”，单击告警上报的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x直接内存” ，单击“确定”，根据告警产生时间，查看对应时间段的“JDBCServer2x进程使用的直接内存”的值，获取最大值。 3. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JDBCServer2x > 性能”，“spark.driver.extraJavaOptions”参数中XX:MaxDirectMemorySize的默认值为512M，可根据如下方案调整：告警时间段内JDBCServer2x使用的直接内存的最大值和“JDBCServer2x直接内存使用率统计 (JDBCServer2x)”阈值的比值。若参数值调整后，仍偶现告警，可以按0.5倍速率调大。若频繁出现告警，可以按1倍速率调大。建议不要超过“SPARKDRIVERMEMORY”的参数值。多业务量、高并发的情况可以考虑增加实例。 说明 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 >待操作集群名称 > Spark2x > 内存 > JDBCServer2x直接内存使用率统计 (JDBCServer2x)”，可查看“阈值”。 4. 重启所有的JDBCServer2x实例。 5. 等待10分钟，观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。

对比项 开源自建 分布式消息服务Kafka 低成本运维 需要专业人员资源规划、部署、运维。 一键开通，全托管。提供多种规格，按需使用，支持一键式节点数、磁盘存储空间和节点规格扩容。 分区规模 千级分区稳定性下降。 支持万级分区稳定写入。 消息查询 命令行可以消费，但无法根据位点或者时间直接定位到具体的消息。 控制台可视化按时间或者位点直接查看消息。 ACL访问控制 命令行，配置复杂。 灵活配置，一键生效。 可视化配置 命令行，配置复杂。 控制台全方位可视化配置管理。 运维监控 缺乏配套的监控运维能力。 提供全引擎指标可视化监控，告警及时发现问题。 集群巡检 命令行，配置复杂。 引擎状态、主题一键健康检测、启停。 稳定可靠 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 支持跨AZ部署，提升可靠性。 安全保证 需要自行进行安全加固。 VPC隔离，支持SSL通道加密。 简单易用 无，需要自己开发。 提供简单的实例管理RESTful API，使用门槛低。

本文介绍创建Kafka自定义策略 如果系统预置的Kafka权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项请参考主子账号和IAM权限管理。 目前天翼云支持可视化视图和JSON视图两种方式设置策略内容，详细介绍请查看统一身份认证用户指南权限管理自定义策略 创建自定义策略 可视化视图：通过可视化视图创建自定义策略，无需了解JSON语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图：通过JSON视图创建自定义策略，可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 Kafka自定义策略样例 以下策略样例表示：仅允许IAM用户使用Kafka主题管理、实例列表功能 { "Version": "1.1", "Statement": [ { "Effect": "Allow" "Action": [ "KAFKA:inst:kafkamanagetopic", "KAFKA:inst:kafkaclusterlist" ] } ] }

本页为数据同步类常见问题。 DTS是否支持同步不同schema下的表到同一个schema？ DTS支持同步不同schema的表对象到同一个schema，但是表不可以冲突。 例如：将SCHEMAA 的表A，SCHEMAB的表B， 同步到SCHEMAC下的表A和表B。 DTS是否支持双向实时同步？ DTS目前支持MySQL>MySQL以及PostgreSQL>PostgreSQL的双向同步。 MySQL>MySQL、PostgreSQL>PostgreSQL均只支持DML双向实时同步，但不支持DDL的双向实时同步。 MySQL>MySQL双向同步需要满足如下条件： 待同步的表需具备主键。 源和目标库大版本需保持一致。 为了防止双向回环同步， DTS会在源库和目标库的ctyundts库下面分别创建回环标记表，表名：circle任务id时间戳，任务运行期间请勿操作此表。 当前天翼云DTS只支持DML的双向同步，DDL的同步方面，仅正向同步（源库同步至目标库）支持DDL，反向同步（目标库同步至源库）不支持同步DDL，将自动过滤DDL操作。 PostgreSQL>PostgreSQL双向同步需要满足如下条件： 源和目标库大版本需保持一致。 DTS为了防止双向回环同步，会在源库和目标库分别创建回环标记表public.ctyuncirclecheck，请勿操作此表。 当前天翼云DTS只支持DML的双向同步，DDL的同步方面，仅正向同步（源库同步至目标库）支持DDL，反向同步（目标库同步至源库）不支持同步DDL，将自动过滤DDL操作。

本节介绍了就地升级相关内容。 操作场景 当涉及新功能或问题修复等需要进行版本升级时，您可使用就地升级的方式。就地升级会一次性升级所有节点，升级过程中需要全程中断业务，不提供任何服务。 注意事项 DN磁盘使用率不得高于设置磁盘使用率阈值减去10%的值。 说明 DN磁盘使用率可以通过管理控制台监控指标查看。 磁盘使用率阈值可以联系技术支持人员获取。 实例节点状态异常，不支持版本升级。 版本升级过程中不支持磁盘扩容、规格变更、备份、重置密码、重启实例、删除实例等操作。 在大版本升级时如果使用就地升级方式，在执行升级前会关闭归档日志，导致用户无法通过归档日志进行PITR恢复，可能会造成数据丢失。 说明 大版本升级，例如：V2.01.x升级V2.02.x或者V2.02.x到V2.02.y。 如果升级过程中出现异常导致升级失败，系统会自动对实例进行回退，您可以联系客服，由工程师给出分析评估后重新执行升级。 就地升级需要暂停业务约30分钟。 升级结束后会触发自动备份，开启关闭的归档日志。需要注意的是单副本实例从V2.03.0以下版本升级到V2.03.0以上版本时自动备份默认关闭，不会触发自动备份，小版本升级也不会触发自动备份。 说明 小版本升级，例如：从V2.01.a.x升级到V2.01.a.y或者V2.02.a.x升级到V2.02.a.y。 就地升级不涉及手动回退操作。

如何决定天翼云目标机配置？ 目标机内存必须大于4G；目标机配置建议与迁移源一致，若迁移源内存小于4G，迁移完成后可以根据客户需求进行缩扩容等修改。 CMS能否迁移Oracle集群或其余集群？ 不可以。 迁移上云后集群会变为单机版。如Oracle RAC需要使用共享存储、部分使用ASM磁盘，迁移工具无法提供ASM磁盘迁移，RAC迁移。 CMS能否实现共享存储、对象存储的数据迁移？ 不可以。 由于共享存储存在数据量大、数据读写变动大等特点。可能导致迁移速率变慢、出错率增高。CMS为规避此问题，将共享存储与对象存储等目录进行过滤，并通过界面反馈告知过滤的具体内容。 使用迁移服务是否需要相关应用人员？ 需要。 您在使用产品时，为了保持一致性，在进行增量迁移时需要进行暂停业务处理。 相关业务应用人员进行暂停业务操作，业务上云后也需要相关熟悉业务人员进行测试验证，以此减少业务停机时间。 业务启用会受何种因素影响？ 当迁移源涉及未授权应用软件、盗版软件、集群数据库、UKey硬件验证以及一些硬件绑定验证时，业务启用会因为授权绑定等验证问题，导致业务无法正常启动，需要在迁移前进行预案处理。 CMS服务在使用时网络环境需要注意什么？ 若迁移过程中出现迁移速度瓶颈，您应先测试源端出口带宽以及目标端入流量带宽。注意是否存在特殊的网络、专线以及是否具备公网环境。

本章节主要介绍ALM44006 Presto Worker进程垃圾收集时间超出阈值的告警。 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集（GC）时间，当检测到GC时间超出阈值（连续3次检测超过5s）时产生该告警。用户可在FusionInsight Manager中通过“运维 > 阈值配置 > 服务 > Presto > 集群状态 > Worker进程GC时间”修改阈值。当 Worker进程GC时间小于或等于告警阈值时，告警清除。 告警属性 告警ID 告警级别 可自动清除 44006 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 Worker进程GC时间过长，会影响Worker进程运行的性能，甚至造成Worker进程不可用。 可能原因 该节点Worker进程堆内存使用率过大，或配置的堆内存不合理，导致进程GC频繁。 处理步骤 检查GC时间 1.登录MRS集群详情页面，选择“告警管理”。 2.选中“告警ID”为“44006”的告警，查看“定位信息”中的角色名并确定实例的IP地址。 3.单击“组件管理 > Presto > 实例 > Worker（对应上报告警实例IP地址） > 定制 > Presto进程GC时间”。单击“确定”，查看GC时间。 4.查看Worker进程的GC时间是否大于5秒。 是，执行步骤5。 否，执行步骤2。 5.单击“组件管理 > Presto > 服务配置 > 全部配置 > Presto > Worker”。将“JAVAOPTS”参数中的最大堆内存Xmx值根据实际情况调大。 6.观察界面告警是否清除。 是，处理完毕。 否，执行步骤2。

本节主要介绍将Oracle同步到PostgreSQL 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 本地自建数据库 ECS自建数据库 RDS for PostgreSQL 使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合对比同步项的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

本章节介绍如何创建敏感数据识别任务。 数据安全中心DSC将根据您创建的识别任务，自动识别敏感数据并生成识别数据和结果，自动识别的范围在选定的OBS桶、数据库、大数据或MRS。 在创建任务时，可以选择多个场景的规则组，实现为同一资产配置多个场景的扫描任务。 前提条件 已添加OBS、数据库或大数据源资产，具体操作请参见资产列表。 已创建敏感数据规则组，具体操作请参见新增敏感数据规则组。 操作步骤 1. 单击左上角的，选择区域或项目。 2. 在左侧导航树中，单击，选择“安全>数据安全中心”，进入数据安全中心总览界面。 3. 在左侧导航树中，选择“敏感数据识别 > 识别任务”，进入“识别任务”页面。 4. 在敏感数据任务列表的左上角，单击“新建任务”。 5. 在弹出的“新建任务”对话框中，配置任务基本信息，相关参数说明如下表所示。 参数 参数说明 取值样例 开启任务 是否开启敏感数据识别任务，系统默认开启任务。 任务名称 您可以自定义敏感数据识别任务名称。 任务名称需要满足以下要求： 1~255个字符。 字符可由中文、英文字母、数字、下划线或中划线组成。 任务名称不能与已有的任务名称重复。 数据类型 选择识别的数据类型。可多选。 OBS，添加OBS资产，参考添加OBS资产章节。 数据库，添加云数据库资产，参考添加云数据库章节。 大数据，添加大数据源资产，参考添加大数据源资产章节。 MRS，添加Hive资产，参考添加MRS资产。 数据库 识别规则组 选择识别任务需要使用的规则组，可多选。可参考新增敏感数据规则组章节创建规则组。 识别模式 选择检测任务的扫描模式： 快速识别：根据规则组进行扫描，实现数据分布快速识别。 全量识别：在规则组的基础上加入自然语义处理NLP能力，扫描速度相对较慢，识别率更高。 快速扫描 识别周期 选择任务的识别周期： 单次：根据设置的执行计划，在设定的时间执行一次该识别任务。 每天：选择该选项，需要设置“启动时间”，即在每天的固定时间执行该识别任务。 每周：选择该选项，需要设置“启动时间”，即在设定的时间以及每周这一时间点执行该识别任务。 每月：选择该选项，需要设置“启动时间”，即在设定的时间以及每月这一时间点执行该识别任务。 单次 执行计划 “扫描周期”选择“单次”时，显示该参数。 立即执行：选择该选项，保存后，可以在当前立即执行一次该识别任务。 定时启动：在指定时间执行一次该识别任务。 立即执行 启动时间 “扫描周期”选择“每天”、“每周”、“每月”时，显示该参数。 设置识别任务的具体启动时间。设置后，会在指定时间以及每天或者每周或者每月的该时间点执行一次识别任务。 通知主题 单击下拉列表选择已创建消息通知主题或者单击“查看通知主题”创建新的主题，用于配置接收告警通知的终端。 告警通知的具体操作请参见告警通知。 6. 单击“确定”，完成敏感数据识别任务的创建。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

功能 说明 指定时间点截图 指定一组时间点，截取视频在这些时间点的图像。 采样截图 按相同的时间间隔对视频截取多张图。 雪碧图截图 按相同的时间间隔对视频截取多张小图，然后按照一定的布局组装成大图即为雪碧图。 WebVTT截图 在雪碧截图的基础上，生成进度条缩略图展示所使用的VTT 文件。WebVTT模式下，不能生成一行以上的截图。

参数 是否必填 参数类型 说明 示例 下级对象 webVTTFile 否 String WebVTT文件（如有）。 spriteSnapshots 否 Array of Strings 合成雪碧图或webVTT合成大横图（如有）。 [" " originalSnapshots 否 Array of Strings 原始截图（如有）。 [" "

参数名 说明 头部值 即请求头名称。 1.仅支持大小写字母、数字、下划线、中划线。 2.该模块无法修改host请求头，如您需要修改回源host头部，可通过：【回源配置】【默认回源HOST】进行修改。 取值 1.取值不支持空格及中文文字及字符。 2.若需要添加/修改对应请求头，请输入取值。 3.若需要删除对应请求头，取值不填，置为空。

参数 说明 中文编码 字符协议支持多种中文编码。 复制/粘贴 选中字符，按“Ctrl+C”进行复制，按“Ctrl+V”进行粘贴。 预置命令 对于字符较长，且经常输入的命令，可以提前预置。 终端类型 字符协议支持切换终端类型，包括Linux和Xterm两种类型。 群发键 开启群发可同时对多个会话进行命令输入。 字体大小 设置字体大小：大、中、小。 复制窗口 可复制当前会话窗口。 全屏 可开启窗口全屏。

本节介绍智算容器应用场景。 AI 训练 AI训练需要大量的GPU算力，通过为集群添加物理GPU节点，开通对应规格的智算版容器，可快速部署训练集并完成训练任务，例如：大模型算法、AI框架算法等。 AI 推理 在已完成训练的情况下，可以通过为集群添加GPU云主机，开通对应规格的智算版容器，可快速部署AI推理服务，提供AI服务，例如：AI客服，AI对话，AI文生图，AI图像处理等。

项目 描述 语法 keys DICT:getkeys(maxcount?) 作用 获取共享内存中的全部已保存的key列表，返回的是table类型的数据。 入参 maxcount: 设置的是需要返回的数据的数量，默认是1024。如果设置为0，则表示返回全部数据。在实际运用中要尽量避免设置为0，因为如果数据量非常大，此操作会阻塞所有访问这个共享内存数据的worker进程。 返回值 keys : 返回key列表。

本章节主要介绍翼MapReduce服务的自定义引导特性。 特性简介 翼MR提供标准的云上弹性大数据集群，目前可安装部署包括hadoop、spark等9种大数据组件。当前标准的云上大数据集群不能满足所有用户需求，例如如下几种场景： 通用的操作系统配置不能满足实际数据处理需求，例如需调大系统最大连接数。 需要安装自身业务所需的软件工具或运行环境，例如须安装gradle、业务需要依赖R语言包。 根据自身业务对大数据组件包做修改，例如对hadoop或spark安装包做修改。 需要安装其他翼MR还未支持的大数据组件。 对于上述定制化的场景，可以选择登录到每个节点上手动操作，之后每扩容一个新节点，再执行一次同样的操作，操作相对繁琐，也容易出错。同时手动执行记录不便追溯，不能实现“按需创建、创建成功后即处理数据”的目标。 因此，翼MR提供了自定义引导操作，在启动集群组件前（或后）可以在指定的节点上执行脚本。用户可以通过引导操作来完成安装MRS还没支持的第三方软件，修改集群运行环境等自定义操作。如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。翼MR会使用root用户执行您指定的脚本，脚本内部您可以通过su xxx命令切换用户。 客户价值 翼MR提供了自定义引导操作，用户可以以此为入口，灵活、便捷地配置自己的专属集群，自定义安装软件。

本文主要介绍云日志服务的可视化概述。 可视化提供对结构化后的日志字段进行查询与分析的功能。对原始日志结构化后，即可在日志控制台设置日志分析场景，并通过可视化的方式呈现结果。 前提条件 已完成日志采集配置，并成功采集到日志。 操作步骤 1. 登录云日志服务控制台。 2. 在日志管理页面的日志项目列表中，点击已创建的日志单元名称，进入日志单元详情页面。 3. 在日志单元详情页面中，即可查看当前日志单元中的日志数据。 4. 在语句搜索模式下，输入查询语句与SQL分析语句，具体语法请参考SQL统计分析章节。 5. 点击【查询】按钮，结果将默认以表格形式呈现。 6. 点击右侧的图标类型，即可将表格转换为其他图表类型。支持表格、时序图、柱状图、饼图、流图与数值图展示。 7. 如点击饼图，可查看转化结果。 8. 各图表说明请查看统计图表概述。 对查询结果可执行以下操作 导出 完成统计分析后，点击【导出】按钮可将统计分析结果导出为PNG图片、PDF文件或EXCEL文件。

本节介绍了快速导入镜像文件的流程等内容。 操作场景 如果外部镜像文件大小大于128GB，可以使用快速导入镜像文件功能进行导入。 约束与限制 快速导入镜像文件功能仅支持raw和zvhd2格式镜像文件。 若镜像文件格式为raw和zvhd2以外的格式，可以使用qemuimgctc工具转换镜像格式。 镜像文件大小不能超过1TB。 导入方案 请根据您的镜像文件格式来选择合适的导入方案： 1. 若文件格式为 zvhd2 ，则导入方案为：镜像文件优化> 上传至OBS桶 > 在云平台注册 2. 若文件格式为 raw ，则导入方案为：镜像文件优化> 生成镜像文件的位表文件 > 将镜像文件和位表文件一同上传至OBS桶 > 在云平台注册 3. 若文件为zvhd2 和raw 以外的格式，导入时区分以下两种情况： 1. 镜像文件优化> 转换镜像文件格式为zvhd2 > 将镜像文件上传至OBS桶 > 在云平台注册 2. 镜像文件优化> 转换镜像文件格式为raw，并生成镜像文件的位表文件 > 将镜像文件和位表文件一同上传至OBS桶 > 在云平台注册 说明 快速导入也称大文件导入。大文件在导入时依赖延迟加载特性，zvhd2格式已支持该特性；raw格式不支持，需要依赖位表文件，因此在上传时，需要连同位表文件一起上传。 镜像文件优化的指导参考：

使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

本章节主要介绍翼MapReduce的多租户功能。 定义 多租户是MRS集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源的能力。资源包括计算资源和存储资源。 背景 现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足： 不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。 某些类型的用户（例如银行、政府单位等）对数据安全非常关注，很难容忍将自己的数据与其他用户的放在一起。 这给大数据集群带来了以下挑战： 合理地分配和调度资源，以支持多种应用和作业在集群上平稳运行。 对不同的用户进行严格的访问控制，以保证数据和业务的安全。 多租户将大数据集群的资源隔离成一个个资源集合，彼此互不干扰，用户通过“租用”需要的资源集合，来运行应用和作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 对此，MRS企业级大数据集群提供了完整的企业级大数据多租户解决方案。 优势 合理配置和隔离资源 租户之间的资源是隔离的，一个租户对资源的使用不影响其他租户，保证了每个租户根据业务需求去配置相关的资源，可提高资源利用效率。 测量和统计资源消费 系统资源以租户为单位进行计划和分配，租户是系统资源的申请者和消费者，其资源消费能够被测量和统计。 保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。

本章节主要介绍数据治理中心 DataArts Studio主要应用场景。 云上数据平台快速搭建 快速将线下数据迁移上云，将数据集成到云上大数据服务中，并在DataArts Studio的界面中就可以进行快速的数据开发工作，让企业数据体系的建设变得如此简单。 优势 数据集成一键式操作 通过在服务界面配置化操作，可实现线上线下数据快速集成到云数据仓库。 支持多种数仓服务类型 根据需求，可以灵活选择数据服务类型，可以选择DWS服务建数仓，也可以选择MRS服务等数据平台。 安全稳定、降低成本 一站式的服务能力和稳定的数仓服务，让云上数据万无一失；免自建大数据集群、免运维，极大降低企业建设数仓成本。 详见下图：云上数据平台

Ragflow 注意 目前息壤model不支持embedding model能力，因此只能作为chat model提供能力。 下载镜像git clone < 通过docker安装并启动。 shell cd ragflow/docker docker compose f dockercomposeCN.yml up d 检查 RAGFlow 服务是否正常启动。 shell docker logs f ragflowserver 如果看到类似以下输出，则表示启动成功： shell Running on all addresses (0.0.0.0) Running on Running on 打开浏览器配置模型Xinference服务提供商。 在浏览器中输入服务器的 IP 地址访问 RAGFlow。默认情况下，RAGFlow 使用 HTTP 端口 80，因此无需输入端口号。 选择“Xinference”模型服务商（ Xinference是工厂配置，支持自定义模型名称）。 配置chatmodel的界面如下： 回到对话界面，配置聊天助手： 开启对话： 常见报错 触发限流 ruby 报错信息为：[openaiapicompatible]Error:APIrequestfailedwithstatuscode429:{"code":700007,"detail":"Deepseek模型并发已达上限","message":"DEEPSEEKMODELCONCURRENCYLIMIT","error":{"code":"700007","message":"Deepseek模型并发已达上限","type":"DEEPSEEKMODELCONCURRENCYLIMIT"}} 问题原因：大模型并发是大模型的并发能力，和用户、tokens是否用完都无关，只和机器负载能力有关。目前单个模型有固定的并发度，这是所有ds模型共享的并发度，只能支持固定个请求同时访问。 解决方案：等一段时间再调用，或增加重试机制。

操作场景 为云硬盘创建快照可以保存指定时刻的云硬盘数据。在进行云硬盘数据回滚、软件应用升级、数据迁移等重要操作之前，建议提前创建快照做好数据备份，确保操作中出现意外的时候，数据不受影响。 约束与限制 系统盘和数据盘都支持创建快照。 加密云硬盘的快照数据以加密方式存放，非加密云硬盘的快照数据以非加密方式存放。 单个云硬盘最多支持手动创建256个标准快照，其中支持开启极速可用功能的快照数量为7个。 单个云硬盘每次只能创建一个标准快照，且前一个标准快照创建完成后才可以创建下一个标准快照。 暂不支持使用普通IO和高IO类型的云硬盘创建启用了快照极速可用功能的标准快照。 一般情况下，创建标准快照所需的时间为分钟级，且和云硬盘实际写入的数据量大小有关，数据量越大，创建标准快照所需的时间越长。首次为云硬盘创建标准快照，数据量为全量，所需时间较长；再次创建标准快照时，所需时间相对较短，但仍和上一个标准快照的数据量变化有关，数据量变化越大，所需时间越长。 当使用快照回滚至云硬盘时，该云硬盘创建的下一个标准快照为全量快照。 创建标准快照期间，使用云硬盘所产生的增量数据不会备份到所创建的标准快照中。 创建标准快照期间，删除源云硬盘会影响标准快照的创建，请创建完成之后再删除。 单个快照最多可以添加20个标签。 同一个快照的标签的“键”不允许重复。

本节先简要介绍DeepSeek的基本信息,接着详述了如何在GPU云主机中运行deepseekr17b模型,最后对不同模型的硬件配置进行推荐。 什么是DeepSeek DeepSeek 是一个基于 Transformer 架构的大型语言模型（LLM），由深度求索（DeepSeek）公司开发。它能够处理自然语言理解、生成、翻译、问答等多种任务。在目前大模型主流榜单中，DeepSeekV3 在开源模型中位列榜首，与世界上最先进的闭源模型不分伯仲。在对话模型典型任务方面的评测效果如下： 当前 DeepSeek 模型有多个版本，参数量从 1.5B、70B到671B不等，适用于不同的应用场景和计算资源。参数量越多，资源消耗越多，使用者可以根据自己实际需求选择不同模型版本。 注意 为维护良好的网络环境和公共秩序，禁止任何用户或机构利用天翼云平台从事违法活动、传播不良信息或实施违反社会公序良俗的行为。若发生此类行为，天翼云将依法采取必要措施，停止相关服务功能，并依法追究责任。 模型由DeepSeek公司提供，模型的结果仅供参考，并可能因不同的环境、数据或操作条件而有所不同，我们不对模型的任何结果负责。 快速体验DeepSeek Ollama 是一个专为本地运行大语言模型（LLMs）而设计的工具，支持多种模型格式，并提供了简单易用的命令行接口。这里，我们以DeepSeekr17b模型为例，讲解如何在天翼云使用Ollama运行 DeepSeek模型，读者可以根据自己实际需求修改云主机模型和云主机配置。

本文主要介绍修改分区平衡。 操作场景 分区平衡是指将分区的副本重新分配到不同的代理上，解决代理负载不均衡问题。 需要进行分区平衡的场景如下： 实例扩容代理个数后，将原有Topic分区的副本迁移到新代理上 将高负载代理上的Leader分区切换为Follower 增加/减少副本数量 分布式消息服务Kafka控制台提供两种分区平衡的方法：自动平衡和手动平衡，建议选择自动平衡，确保分区Leader的均匀分布。 操作影响 对数据量大的Topic进行分区平衡，会占用大量的网络和存储带宽，业务可能会出现请求超时或者时延增大，建议在业务低峰期时操作。 带宽限制是指设定Topic进行副本同步的带宽上限，确保不会对该实例上的其他Topic造成流量冲击。但需要注意，带宽限制不会区分是正常的生产消息造成的副本同步还是分区平衡造成的副本同步，如果带宽限制设定过小，可能会影响正常的生产消息，且可能会造成分区平衡一直无法结束。 分区平衡任务启动后，不能删除正在进行分区平衡的Topic，否则会导致分区平衡任务无法结束。 分区平衡任务启动后，无法修改Topic的分区数。 分区平衡任务启动后，无法手动停止任务，需要等到任务完成。 分区平衡后Topic的metadata会改变，如果生产者不支持重试机制，会有少量的请求失败，导致部分消息生产失败。 数据量大的Topic进行分区平衡的时间会比较长，建议根据Topic的消费情况，适当调小Topic老化时间，使得Topic的部分历史数据被及时清理，加快迁移速度。

查看JVM的当前配置 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”，选择“全部配置”， 选择“HiveServer/MetaStore > JVM”，将“HIVEGCOPTS/METASTOREGCOPTS”参数中“Xmx”的值根据如下建议进行调整，并单击“保存”。 说明 HiveServer的GC参数配置建议 当Hive GC时间超出阈值时，将“Xmx”值调整为默认值的2倍，比如：“Xmx”默认设置为2G时，调整“Xmx”的值为4G。 建议同时调节“Xms”的值，使“Xms”和“Xmx”比值为1:2，这样可以避免JVM动态调整堆内存大小时影响性能。 MetaServer的GC参数配置建议 当Meta GC时间超出阈值时，将“Xmx”值调整为默认值的2倍，比如：“Xmx”默认设置为2G时，调整“Xmx”的值为4G。 建议同时调节“Xms”的值，使“Xms”和“Xmx”比值为1:2，这样可以避免JVM动态调整堆内存大小时影响性能。 5.选择“更多 > 重启服务”重启服务。 6.观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。 收集故障信息 7.在主备集群的FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 8.在“服务”中勾选待操作集群的“Hive”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 10.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM43010 JDBCServer2x进程堆内存使用超出阈值的告警。 告警解释 系统每30秒周期性检测JDBCServer2x进程堆内存使用状态，当检测到JDBCServer2x进程堆内存使用率超出阈值（最大内存的95%）时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 43010 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程堆内存使用率过高，会影响JDBCServer2x进程运行的性能，甚至造成内存溢出导致JDBCServer2x进程不可用。 可能原因 该节点JDBCServer2x进程堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43010”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 实例”，单击告警上报的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x内存使用率统计”，单击“确定”，查看JDBCServer2x进程使用的堆内存是否已达到JDBCServer2x进程设定的最大堆内存的阈值（默认95%）。 是，执行步骤3。 否，执行步骤7。 2. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 实例”，单击告警上报的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x进程的堆内存统计” ，单击“确定”，根据告警产生时间，查看对应时间段的“JDBCServer2x进程使用的堆内存”的值，获取最大值。 3. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，选择“JDBCServer2x > 性能”，“SPARKDRIVERMEMORY”参数的值默认4G，可根据如下原则进行调整：告警时间段内JDBCServer2x使用堆内存的最大值和“JDBCServer2x堆内存使用率统计 (JDBCServer2x)”阈值的比值。若参数值调整后，仍偶现告警，可以按0.5倍速率调大。若频繁出现告警，可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 说明 在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 >待操作集群名称 > Spark2x > 内存 > JDBCServer2x堆内存使用率统计 (JDBCServer2x)”，可查看“阈值”。 4. 重启所有的JDBCServer2x实例。 5. 等待10分钟，观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。