定义 名词 定义 :: 大Key 容量比较大的。String类型，单个Key对应的大小大于10KB。其他集合类型的Key，所有成员总大小大于1MB的 Key的元素较多。一般定义集合类型的Key中元素超过3000个，则认为其为大Key 热Key 一个Key被操作的频率和资源占用多少来判定其是否为热Key 访问频率高：比如总QPS（每秒查询率）为5,000，而其中一个Key的每秒访问量达到了3,000 带宽使用率高：某个Key大小可能占了1MB，每秒内频繁去查询, 占用了网络的大部分带宽 大Key和热Key引发的问题 场景 问题 大Key 客户端执行命令的时长变慢 大Key Redis内存达到maxmemory参数定义的内存使用上限，导致操作阻塞或重要的Key被逐出，更可能引发OOM导致被操作系统杀死 大Key 对大Key频繁执行读请求，会占用大量网络带宽，导致服务变慢，同时易影响其他使用的服务 大Key 对大Key执行修改或删除，可能造成主库较长时间的阻塞，进而可能引发同步中断或主从切换 大Key 对集群版或CLUSTER版实例，容易造成内存使用不均 热Key 占用大量的CPU资源，影响其他请求响应，导致整体性能降低 热Key 对集群版或CLUSTER版实例，容易造成分片压力分配不均的情况。会导致单个分片成为性能瓶颈点 热Key 容易造成缓存击穿。可能超出缓存的承受能力，缓存处理不过来。大量业务请求可能直接访问后端数据库，数据库承受不了大量请求访问可能导致服务不可用，严重影响业务

使用须知 删除操作无法恢复，请谨慎选择。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角的，选择区域和项目。 3、单击页面左上角的，选择“数据库 > 数据管理服务”，进入数据管理服务页面。 4、在左侧导航栏中，单击“开发工具”，进入开发工具页面。 5、选择需要登录的目标数据库实例，单击操作列表中的“登录”，登录目标数据库实例。 6、在顶部导航栏选择“库管理”， 7、在页面右上方“当前所在库”右侧单击“切换库”，切换目标数据库。 8、在对象列表页签下选择“函数”，单击页面操作栏的“删除函数”。 9、在删除函数弹出框中，单击“是”。 查看函数详情 函数详情展示了创建当前触发器的SQL内容。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角的，选择区域和项目。 3、单击页面左上角的，选择“数据库 > 数据管理服务”，进入数据管理服务页面。 4、在左侧导航栏中，单击“开发工具”，进入开发工具页面。 5、选择需要登录的目标数据库实例，单击操作列表中的“登录”，登录目标数据库实例。 6、在顶部导航栏选择“库管理”， 7、在页面右上方“当前所在库”右侧单击“切换库”，切换目标数据库。 8、在对象列表页签下选择“函数”，单击页面操作栏的“查看函数详情”。 9、在查看函数详情弹窗中，查看函数SQL信息。

本节介绍智算安全专区常见问题。 Q1. 大模型安全卫士是什么？ 大模型安全卫士是一款专为大模型安全设计的一站式防护产品，提供从开发、训练、部署到运营的全生命周期安全闭环，保护用户的智算基础设施。 Q2. 开通大模型安全卫士需要哪些要求？ 大模型安全卫士需要部署在和安装大模型的云主机所在的同一个虚拟私有云（VPC）内。 Q3. 大模型安全卫士能解决智算场景下哪些安全问题？ 有效拦截大模型推理过程中的潜在违规内容，对输入和输出的语义进行深度分析和检测，防止模型被利用进行恶意攻击或生成有害内容，强化了模型推理过程中的安全保障。 代理RAG业务系统请求，解析文件进行内容检测。保障语料库及生成内容的安全性、合规性，防止恶意攻击（如数据投毒、提示注入）、敏感信息泄露及生成有害内容。 支持开启模型推理的情况下检测聊天内容中的隐私信息并脱敏。

透明代理的作用是在客户端与大模型防护系统之间建立一个隧道，在终端直接访问原请求大模型的请求，将转发到大模型防护系统上，由代理服务判定输入内容合规后再转发到真正的大模型接口，并按照配置决定是否对大模型返回的响应进行合规性检测。适用于自建大模型，并用主机安全检测需求的用户场景，终端适用于Linux服务器。 内容安全代理 1. 登录大模型安全卫士实例。 2. 在菜单栏选择“资产中心 > 模型代理 > 透明代理”，单击“添加代理”。 3. 在弹出的窗口中配置代理参数。 参数 说明 代理名称 按照个人习惯填写语义化文本。 代理类型 内容安全请选择“大语言模型”。 协议适配器插件 在下拉框中选择协议适配器插件。 后端地址 根据实际情况填写被代理模型的地址。 策略名称 根据终端所需在选择策略，管理主机策略相关，更多关于策略的内容见主机策略。 强制启用API Key （可选）按需选择是否启用大模型防护系统启动的API认证机制。 API Key标签 当启用API Key时，还需配置API Key标签。API Key标签为模型认证配置中配置的标签。

本章主要介绍分析Redis实例大Key和热Key 大Key和热Key问题是Redis使用中的常见问题，本章节主要介绍对Redis实例进行大Key和热Key分析，通过大Key和热Key分析，可以监控到占用空间过大的Key，以及该Redis实例存储数据中被访问最多的Key。 大Key分析使用限制和说明： 所有Redis实例都支持。 在大Key分析时，会遍历Redis实例中的所有Key，因此分析所需要时间取决于Key的数量。 在进行大Key分析时，建议在业务低谷期间进行，且不要与配置的自动备份时间重叠。 如果是主备和集群实例，大Key分析是对备节点的分析，对实例性能影响较小。如果是单机实例，由于只有一个节点，是对主节点进行分析，客户访问性能会略有影响（不高于10%），所以建议在业务低谷期进行大Key分析。 对于大Key分析结果，每个Redis实例默认最多保存100条记录（string类型保存top20，list/set/zset/hash类型保存top80），当超过100条记录时会默认删除最老的分析记录，而存入最新的记录。同时，支持用户在控制台上手动删除无用的大Key分析记录。 热Key分析使用限制和说明： 只有Redis 4.0/Redis 5.0/Redis 6.0实例支持，并且实例maxmemorypolicy参数必须配置为allkeyslfu或者volatilelfu。 在热Key分析时，会遍历Redis实例中的所有Key，因此分析所需要时间取决于Key的数量。 配置自动热key分析时，要考虑不要在业务高峰期进行，避免影响业务，同时也不要过了高峰期太久，避免分析结果不准确。 热key分析是对于主节点的分析，在进行分析时，客户访问性能会略有影响（不高于10%）。 对于热Key分析结果，每个Redis实例默认最多保存100条记录。当超过100条记录时会默认删除最老的分析记录，而存入最新的记录。同时，支持用户在控制台上手动删除无用的热Key分析记录 说明 建议在业务低峰时段执行大Key和热Key分析，降低CPU被用满的可能。

本文主要介绍云工作流的一些基本概念， 方便在在云工作流使用过程中能够理解对应的术语。 一、云工作流 二、标准工作流 三、快速工作流 四、工作流集成 五、流程定义语言 六、数据传递 七、输入输出 八、错误处理 一、云工作流 云工作流（CloudFlow）是一种用于协调、管理和执行多个分布式任务的服务。在使用时， 可以基于Workflow Studio进行可视化的方式设计、编排工作流程，将不同的服务、API调用或者数据处理步骤组织成有序的工作流程。 二、标准工作流 标准（Standard）工作流具备执行步骤状态的持久化存储，支持运行长时间的工作流执行状态流转，适用于传统意义上的离线业务流程编排执行场景。更多信息，请参见标准工作流和快速工作流。 三、快速工作流 快速（Express）工作流适用于流程结构简单、需要低延迟执行的工作流场景， 适用于常见的在线业务流程编排和准实时业务流程编排场景，例如微服务API编排、流式数据处理等低延迟和大负载业务场景。 更多信息，请参见标准工作流和快速工作流。

服务提供商 说明 天翼云 (息壤) 天翼云息壤大模型服务 阿里云 阿里云百炼大模型服务 月之暗面 (kimi) 月之暗面 Kimi 大模型服务 智谱 AI 智谱 AI GLM 大模型服务

服务提供商 说明 天翼云 (息壤) 天翼云息壤大模型服务 阿里云 阿里云百炼大模型服务 月之暗面 (kimi) 月之暗面 Kimi 大模型服务 智谱 AI 智谱 AI GLM 大模型服务

1.2 LoRA模型加载 由于基础大模型参数量极多，训练需要的资源量极大，因此基于基础大模型进行微调的小模型应运而生。LoRA技术便是其中最主流的一种。 LoRA小模型无法独立使用，需要在加载完基础大模型后再进行加载，对基础大模型的能力进行扩展。 学习机内没有预装LoRA小模型，您可以在网上下载其他基于Llama27bchat的LoRA模型并放到学习机的/root/textgenerationwebui/loras目录下。在Model标签页右侧选择LoRA模型并点击Apply LoRAs进行加载。 例如您可以从相关技术网站找到进行了中文微调的LoRA模型(也有直接在基础大模型上进行训练得到的新的基础大模型，注意区分)。 2. 大语言模型使用 2.1 对话模式 大模型需要在一定的提示词(prompt)下进行生成。在对话模式下，框架预设了一些背景知识以控制生成方向。可在Parameters标签页的Character标签下进行查看和修改。 需要参考下图将Parameter页Chat标签下默认的Name修改为Character’s Name：Assistant；User Name：User。否则在进行chat对话时部分模型可能出现问题。 在Chat标签页我们可以和大模型展开对话。 注意 原版Llama27bchat模型对中文支持较弱，可以补充下载其他基于Llama27bchat的中文LoRA小模型，或换用其他中文的基础大模型，例如电信星辰（telechat）大模型。

1.3 应用场景 MindIE Benchmark支持两种不同的推理模式，以适应不同的应用场景需求： 1. Client模式： 该模式通过调用MindIE Client接口与ServerEndpoint进行通信并完成测试。 文本模式下支持全量文本生成及流式文本生成两种方式，分别调用MindIE Client的 .generate() 和 .generatestream() 接口，对应MindIE Server的兼容Triton的文本推理接口和兼容Triton的流式推理接口。 此模式适用于模拟多用户并发场景，兼容TGI、Triton和vLLM等多种接口，主要用于测量服务化性能。Client测量的吞吐量为用户真实感知的吞吐量，其计入包括网络请求和数据处理等消耗的时间。 2. Engine模式： 该模式通过直接调用MindIE LLM中LLM Manager提供的Python接口进行全量推理，详细接口说明请参见《MindIE LLM开发指南》中的“API接口说明 > LLM Manager提供的Python接口”章节。 支持token id到token id异步推理和文本到文本的异步推理。 支持精度测试的数据集包括纯文本数据集CEval 5shot、GSM8K、MMLU 5shot和多模态数据集TextVQA、VideoBench、VocalSound。性能测试的数据集则包括GSM8K、OA、CEval 5shot、MMLU 5shot、BoolQ、HumanEval、mtbench和cocotest，主要使用GSM8K和OA两个数据集来测试模型的性能。 Engine模式测量的吞吐量更接近NPU卡的真实性能，因为它是直接调用底层API并将NPU推理返回的结果暂存，当所有推理完成后由CPU处理暂存的数据。 在Engine模式中，使用的ModelName（模型名称）和ModelPath（模型权重路径）需要与MindIE Server的config.json配置文件中的modelName和modelWeightPath参数保持一致。此外，npuDeviceIds（NPU卡编号）和maxBatchSize（最大decode batch size）参数的值是由MindIE Server中的config.json配置文件决定的，详情请参见配置参数说明。 MindIE Benchmark工具为评估大语言模型的推理性能和精度提供了一种高效且灵活的方式。通过详细的统计分析和可视化展示，用户可以轻松了解模型在不同配置下的表现，并根据实际需求进行优化调整。无论是Client模式还是Engine模式，MindIE Benchmark都能为用户提供可靠的性能评估支持，助力大语言模型的应用与发展。

本章节主要介绍视图管理 新建视图 您可以在数据管理服务界面新建视图。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角的，选择区域和项目。 3、单击页面左上角的，选择“数据库 > 数据管理服务”，进入数据管理服务页面。 4、在左侧导航栏中，单击“开发工具”，进入开发工具页面。 5、选择需要登录的目标数据库实例，单击操作列表中的“登录”，登录目标数据库实例。 6、在顶部导航栏选择“库管理”， 7、在页面右上方“当前所在库”右侧单击“切换库”，切换目标数据库。 8、在对象列表页签下选择“视图”，单击页面左上侧“新建视图”。 9、在新建视图编辑页面，设置模板模板，设置完成单击“应用模板参数”。 10、单击“保存”，创建视图。 删除视图 如果您不再需要某个视图，可以手动删除该视图。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角的，选择区域和项目。 3、单击页面左上角的，选择“数据库 > 数据管理服务”，进入数据管理服务页面。 4、在左侧导航栏中，单击“开发工具”，进入开发工具页面。 5、选择需要登录的目标数据库实例，单击操作列表中的“登录”，登录目标数据库实例。 6、在顶部导航栏选择“库管理”， 7、在页面右上方“当前所在库”右侧单击“切换库”，切换目标数据库。 8、在对象列表页签下选择“视图”，在右侧操作栏单击“删除视图”。 9、在删除视图弹窗中单击“是”，即可删除该视图。 打开视图 您可以通过数据管理服务界面查看视图中的数据详情。

本节介绍了通过界面升级大版本的相关内容。 操作场景 RDS for PostgreSQL支持通过界面升级引擎大版本，目前支持以下两种升级方式： 不割接模式：用于新版本业务兼容性测试。大版本升级可能导致业务兼容性问题，强烈建议业务进行充分兼容性测试，测试通过后，再进行割接模式升级。使用不割接模式升级，不会影响原实例。 割接模式：割接升级过程中，原实例会设置为只读，并存在业务分钟级闪断。升级完成后，会自动交换实例VIP，业务无需更改，即可完成升级。 功能约束限制 以下版本的实例支持进行大版本升级： − 对于PostgreSQL 9.5版本，小版本为9.5.25及以上。 − 对于PostgreSQL 9.6版本，小版本为9.6.24及以上。 − 对于PostgreSQL 10版本，小版本为10.21及以上。 − 对于PostgreSQL 12版本，小版本为12.7及以上。 − 对于PostgreSQL 13版本，小版本为13.3及以上。 − 对于PostgreSQL 14版本，小版本为14.4及以上。 − 对于PostgreSQL 15版本，小版本为15.4及以上。 − 对于PostgreSQL 11版本，不支持大版本升级。 由于操作系统限制，部分实例暂不支持进行大版本升级，具体可升级版本查看界面可升级列表。 灾备实例不支持大版本升级。 大版本升级前，需要先进行升级检查，如果在有效期内没有检查成功的报告，则不允许进行大版本升级。 升级插件限制说明 在大版本升级检查成功后，如果大版本升级路径中，实例安装有下表中的插件，需要提前卸载，在大版本升级完成后再重新安装。否则，会导致实例升级失败，或者实例升级后由于插件无法升级导致插件不能正常使用。 表 插件限制说明 源版本 目标版本 导致实例升级失败的插件 实例升级后无法正常使用的插件 12 13 orafce, postgissfcgal addressstandardizerdataus, pgaudit 12 14 orafce, postgissfcgal anon, pgaudit 12 15 orafce, postgissfcgal anon, pgaudit 12 16 orafce, postgissfcgal, pglddldeploy anon, pgaudit 13 14 anon, pgaudit,pgstatkcache 13 15 anon, pgaudit,pgstatkcache 13 16 pglddldeploy anon, pgaudit,pgstatkcache 14 15 pgaudit,pgstatkcache 14 16 pglddldeploy pgaudit,pgstatkcache 15 16 pglddldeploy pgaudit

使用大模型进行推理计算 1. 文本对话大模型（LLaMA2/LLaMA3） 首先需要在Model标签页点击LLaMA2/LLaMA3大模型，然后点击Load按钮进行加载。 稍等一会，提示“Successfully loaded”，即可点击左上角的“chat”按钮，体验使用文本对话大模型（LLaMA2/LLaMA3）啦！ 注意 在加载Llama 2或者LLaMA3模型时, Pi2和s7.2xlarge.4规格使用默认配置会因为显存/内存不足加载失败, 需要通过勾选loadin8bit选项降低模型精度或关闭StableDiffusion服务后再加载Llama 2/LLaMA3模型. 参考文档:大模型学习机服务启停。 使用文本多轮对话页面: 文章生成页面: 2. AI图片生成大模型（Stable Diffusion）： AI图片生成大模型登录后可以直接使用，以下为图片生成页面。

本节为您介绍智算安全专区的计费相关信息。 大模型安全卫士 计费模式 大模型安全卫士仅支持包周期计费。 产品价格 产品 规格 说明 标准价格（元/月） 标准价格（元/年） 大模型安全卫士 标准版 关键词拦截 语义拦截 支持私有语料库敏感信息识别及分类分级（规则匹配方式） RAG代理网关（输入阻断） 可配置模型代理数量 x 1 大模型安全管理平台 支持同时对大模型发起20个请求 7000 70000 大模型安全卫士 性能扩展包（标准版） 1个扩展包可以增加对大模型发起10个请求 5500 55000 大模型安全测评 计费模式 大模型安全测评仅支持按次付费模式。 产品价格 产品 规格 说明 计费单位 标准资费 大模型安全测评 标准版 适用对象：文生文类大模型 覆盖范围：可覆盖内容安全测评、注入攻击测评以及含密量评测 评测题目数 ≥ 1600题 交付物：测评报告、测评负样例 规格说明：每购买1个，包含3次测评次数 元/个 25000 大模型安全护栏

使用大模型进行推理计算 1. 文本对话大模型（LLaMA2/LLaMA3） 首先需要在Model标签页点击LLaMA2/LLaMA3大模型，然后点击Load按钮进行加载。 稍等一会，提示“Successfully loaded”，即可点击左上角的“chat”按钮，体验使用文本对话大模型（LLaMA2/LLaMA3）啦！ 注意 在加载Llama 2或者LLaMA3模型时, Pi2和s7.2xlarge.4规格使用默认配置会因为显存/内存不足加载失败, 需要通过勾选loadin8bit选项降低模型精度或关闭StableDiffusion服务后再加载Llama 2/LLaMA3模型. 参考文档:大模型学习机服务启停。 使用文本多轮对话页面: 文章生成页面: 2. AI图片生成大模型（Stable Diffusion）： AI图片生成大模型登录后可以直接使用，以下为图片生成页面。

分布式缓存支持分析实例中的占用空间较大的大key和访问频率较高的热key。 说明 大key和热key分析需要消耗CPU资源，建议在业务低峰时段执行大Key和热Key分析。 前提条件 已成功开通分布式缓存服务Redis实例，且实例处于运行中状态。 进行热key分析时，需 在实例配置中，将maxmemorypolicy修改成volatilelfu，参考修改修改实例配置参数。 大key和热key的定义 参数 说明 大Key Redis中存储的value可以分为两类，一类是String类型的元素，一类是集合元素，根据这两类，通过大Key可分为以下两种情况： String类型的value，值超过1 MB 集合类型的value，成员数超过3000 热Key 热Key是指在一段时间内，某个Key的访问量显著高于其他Key，形成访问热点。 例如：实例每秒处理请求10000次，而其中某一个Key的访问量达到每秒3000次。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情页面。 4. 左侧菜单点击CloudDBA>TOP KEY分析，进入TOP KEY分析界面。 5. 点击实时Tab页，点击立即分析，即可立即分析展示大key和热key的分析结果。 6. 点击历史Tab页，勾选TOP KEY自动扫描，可搜索历史的大key和热key。 注意 勾选TOP KEY自动扫描对业务量大的场景可能会有性能影响。

前言 随着 DeepSeek 新春爆火，带动又一轮大模型热潮；用户访问量突增导致 DeepSeek 服务器繁忙，卡顿或无响应导致用户体验不佳；如何顺畅的体验使用这些大模型服务成为一个挑战。 本文介绍如何使用天翼云函数计算服务快速部署 DeepSeekR1 大模型，构建个人私有的 AI 大模型应用；通过 OpenWebUI 页面与 Ollama 运行的本地大模型交互，体验到极致流畅的 DeepSeek 能力。 关键名词 OpenWebUI 是一个开源可扩展、功能丰富且用户友好的自托管 AI 平台，专为生成式人工智能模型的交互而设计；它支持多种大型语言模型（LLM）运行器，兼容 Ollama 和 OpenAI 兼容的 API；还支持自定义模型创建，集成特定提示词、知识库等；并内置了 RAG 推理引擎；旨在实现完全离线运行。 Ollama 是一款开源工具（大模型管理工具），旨在简化大型语言模型（LLM）在本地计算机上的运行、部署和交互；它支持多种流行的预训练模型，如 LLaMA 2、Gemma 等；可以有效降低打语音模型的使用门槛，推动 AI 技术的普惠。 天翼云函数计算（FAAS）是一项由事件驱动的全托管 Serverless 计算服务，用户无需管理基础设施，只需编写上传代码；由平台负责计算资源与代码运行，并提供高弹性、高可用、安全稳定、免运维、按需付费的云计算服务。FAAS 平台提供 GPU 函数支持一键创建部署大模型应用，帮助用户快速体验最新大模型。

Q1. 什么是标准大模型接口？ 标准大模型接口，是全国统一、全厂商对齐、格式固定的大模型调用通用API规范。其以OpenAI的/v1体系为事实底座，叠加国内行业团体标准约束，可实现一套代码无缝切换所有大模型，且入参、出参、鉴权、错误提示均统一，与OpenAI的/v1体系完全一致。 Q2. 测评目标添加失败的原因有哪些？ 测评目标添加失败，主要有以下几类原因： 测评目标接口地址填写错误，或网络连接异常。 标准测评目标的鉴权信息不正确。 非标测评目标的接口请求参数不符合要求。 非标测评目标的接口响应异常，无法正常交互。 Q3. 完整的一次测评的时间长短主要取决于什么？ 一次完整的测评分为采集和测评两个阶段： 采集阶段：向目标大模型输入相关信息并获取反馈，此步骤耗时由目标大模型接口性能决定，是影响整个测评时长的关键因素。 测评阶段：将大模型反馈信息输入测评引擎，最终生成测评结论，此步骤响应速度为秒级，耗时可忽略。 Q4. 测评记录中的“全部成功”和“部分成功”有什么区别？ 全部成功：所有测评样本均成功从目标大模型获取反馈，并生成对应的测评结论； 部分成功：仅部分测评样本成功获取目标大模型反馈及测评结论，另有部分样本未成功获取反馈。针对该情况，可选择两种处理方式：对异常样本再次发起测评，或手动标记为成功。

Q1. 什么是标准大模型接口？ 标准大模型接口，是全国统一、全厂商对齐、格式固定的大模型调用通用API规范。其以OpenAI的/v1体系为事实底座，叠加国内行业团体标准约束，可实现一套代码无缝切换所有大模型，且入参、出参、鉴权、错误提示均统一，与OpenAI的/v1体系完全一致。 Q2. 测评目标添加失败的原因有哪些？ 测评目标添加失败，主要有以下几类原因： 测评目标接口地址填写错误，或网络连接异常。 标准测评目标的鉴权信息不正确。 非标测评目标的接口请求参数不符合要求。 非标测评目标的接口响应异常，无法正常交互。 Q3. 完整的一次测评的时间长短主要取决于什么？ 一次完整的测评分为采集和测评两个阶段： 采集阶段：向目标大模型输入相关信息并获取反馈，此步骤耗时由目标大模型接口性能决定，是影响整个测评时长的关键因素。 测评阶段：将大模型反馈信息输入测评引擎，最终生成测评结论，此步骤响应速度为秒级，耗时可忽略。 Q4. 测评记录中的“全部成功”和“部分成功”有什么区别？ 全部成功：所有测评样本均成功从目标大模型获取反馈，并生成对应的测评结论； 部分成功：仅部分测评样本成功获取目标大模型反馈及测评结论，另有部分样本未成功获取反馈。针对该情况，可选择两种处理方式：对异常样本再次发起测评，或手动标记为成功。

告警响应 系统实时监控容器的运行情况，能够对可能出现的所有异常行为进行捕获和发出告警，并针对不同的入侵行为给出响应的安全处理建议，可在响应中心中查看所有入侵事件具体信息。并支持在响应中心对不同状态的容器进行相应的操作改变其状态，包括：解除隔离、启动容器、隔离容器、杀容器、暂停容器、一键封堵。 支持多种风险行为监测 支持检测诸如启动特权容器、容器逃逸行为、读取敏感文件、启动恶意进程、挂载非法设备、映射敏感目录、反弹SHELL连接操作、修改命名空间等多种风险行为的检测。 Pod隔离 支持对Kubernetes集群内Pod之间的通信进行网络隔离控制。 ATT&CK模型视角展示 基于攻击者视角显示攻击各阶段信息，反映了攻击者攻击生命周期以及各个攻击阶段的目标。 一键封堵 当生产环境内出现异常IP可通过一键封堵功对IP进行封堵，防止造成更大的损害。 安全合规 在业务系统上线运行之前，应对业务系统所在容器、集群以及容器原镜像进行合规检测，以防止不安全的配置导致容器逃逸或者集群入侵事件。 提供了对容器及集群进行合规审计，支持主流的CIS安全检测标准。基于产品提供可视化的基线检测结果和修复建议，用户可以自行修复不合规的检测项。根据用户的生产场景支持自定义合规检测项。 支持多种系统合规CIS检测 支持Docker CIS、Kubernetes CIS合规、Centos CIS、Ubuntu CIS、OpenShift合规等多种系统合规项检测，并支持快速扩展，满足不同场景的需求。 支持多种自定义检测项 用户可根据各行业安全标准，自定义配置安全合规检测项。灵活适应组织或行业的安全合规需求，提供高度个性化的定制选择。 支持一键导出合规检测结果 系统基线检测扫描后，用户快速一键生成基线的合规检测报告。 深入可视化的结果展示 合规基线检测结果可视化列表呈现，用户可以清晰看到每一个检查项的说明、通过情况以及检测详情信息。帮助用户快速了解基线检测未通过的原因，及时对容器相关配置进行修改更新。 多视角合规审计 合规基线支持多视角查看包括资产视角、合规视角，用户可在镜像、容器、节点、资产内查看当前资产的基线检测项，也可以在合规视角内查当前合规项内存在哪些不合规的资产。 持续安全检查 系统提供持续安全检查功能，通过自动扫描、监控机制。系统实时检测云原生环境的合规性，确保符合CIS基准和最佳实践。

使用大模型进行推理计算 1. 文本对话大模型（LLaMA2/LLaMA3） 首先需要在Model标签页点击LLaMA2/LLaMA3大模型，然后点击Load按钮进行加载。 稍等一会，提示“Successfully loaded”，即可点击左上角的“chat”按钮，体验使用文本对话大模型（LLaMA2/LLaMA3）啦！ 注意 在加载时参数默认以fp16精度进行加载, Pi2和s7.2xlarge.4规格需要勾选load in 8 bit，否则会因显存/内存不足而加载失败。 使用文本多轮对话页面: 文章生成页面: 2. AI图片生成大模型（Stable Diffusion）： AI图片生成大模型登录后可以直接使用，以下为图片生成页面。

如果您需要添加云搜索服务（CSS）、数据湖探索（DLI）和Hive的资产，可参考本章节进行操作。 前提要求 已完成大数据资产委托授权，参考云资源委托授权/停止授权进行操作。 已开通CSS和DLI服务，且CSS和DLI中已有资产，且对应子网下含有可用的IP配额。 操作步骤 1. 登录管理控制台。 2. 单击左上角的，选择区域或项目。 3. 单击左侧导航树的，选择“安全 >数据安全中心”，进入数据安全中心总览界面。 4. 在左侧导航树中选择“资产列表”，并选择“大数据”页签，进入大数据资产列表页面。 5. 在大数据资产列表左上角，单击“添加大数据源”。 6. 在弹出的“添加大数据源”对话框中，参考下表配置大数据源参数。 参数名称 参数说明 取值样例 资产名称 自定义参数。 区域 默认为当前帐号登录的区域。 大数据类型 选择大数据类型。 “Elasticsearch”，选择此类型时，其他参数说明请参见“Elasticsearch”参数说明。 “DLI”，选择此类型时，其他参数说明请参见“DLI”参数说明。 “Hive”，选择此类型时，其他参数说明请参见“Hive”参数说明。 Elasticsearch “Elasticsearch”参数说明： 参数名称 参数说明 取值样例 ES实例 在下拉框中选择ES实例。 版本 选择大数据类型对应的版本。 5.x 主机 大数据源服务器IP地址。 192.168.0.233 端口 大数据源服务器的端口号。 3306 索引 输入大数据源对应的index。 用户名 输入访问大数据服务器的用户名。 密码 输入访问大数据服务器的密码。 “DLI”参数说明： 参数名称 参数说明 取值样例 队列 在下拉框中选择DLI中数据源的队列名称。 default DLI数据库 选择DLI中目标队列下的数据库名称。 5.x “Hive”参数说明： 参数名称 参数说明 取值样例 虚拟私有云 在下拉框中选择虚拟私有云。 子网 选择虚拟私有云对应的子网名称。 安全组 在下拉框中选择可用的安全组。 主机 大数据源服务器IP地址。 192.168.0.233 端口 大数据源服务器的端口号。 3306 数据库名称 输入数据库名称。 7. 单击“确定”，大数据源资产添加完成。 大数据资产添加完成后，该大数据源的状态“连通性”为“检查中”，DSC会测试数据源的连通性，即测试DSC是否能够通过您配置的用户名和密码正常访问添加的大数据源。 数据安全中心DSC能正常访问已添加的大数据源，该大数据源的状态“连通性”状态为“成功”。 若数据安全中心DSC不能正常访问已添加的大数据源，该大数据源的“连通性”状态为“失败”。单击“原因”查看失败的原因并重新正确填写访问目标大数据源的用户名和密码。

修改或执行存储过程 您可以在数据管理服务界面修改存储过程的信息，或者执行存储过程。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角的，选择区域和项目。 3、单击页面左上角的，选择“数据库 > 数据管理服务”，进入数据管理服务页面。 4、在左侧导航栏中，单击“开发工具”，进入开发工具页面。 5、选择需要登录的目标数据库实例，单击操作列表中的“登录”，登录目标数据库实例。 6、在顶部导航栏选择“库管理”， 7、在页面右上方“当前所在库”右侧单击“切换库”，切换目标数据库。 8、在对象列表页签下选择“存储过程”，在右侧操作栏单击“修改或执行”。 9、在修改存储过程编辑页面编辑信息，你可以根据业务需求编辑主体信息，单击“保存”保存修改信息。 10、单击“执行”，在弹窗中设置存储过程的入口参数值，单击“开始执行”。 11、您可在页面下部消息栏中查看执行情况。 删除存储过程 您可以手动删除不再需要的存储过程。 使用须知 删除操作无法恢复，请谨慎选择。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角的，选择区域和项目。 3、单击页面左上角的，选择“数据库 > 数据管理服务”，进入数据管理服务页面。 4、在左侧导航栏中，单击“开发工具”，进入开发工具页面。 5、选择需要登录的目标数据库实例，单击操作列表中的“登录”，登录目标数据库实例。 6、在顶部导航栏选择“库管理”， 7、在页面右上方“当前所在库”右侧单击“切换库”，切换目标数据库。 8、在对象列表页签下选择“存储过程”，在右侧操作栏单击“删除存储过程”。 9、在确认删除存储过程弹出框中，单击“是”即可。 查看存储过程详情 存储过程详情展示了创建当前存储过程的SQL内容。

执行计划 分析当前输入的SQL语句的执行路径效率。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角的，选择区域和项目。 3、单击页面左上角的，选择“数据库 > 数据管理服务”，进入数据管理服务页面。 4、在左侧导航栏中，单击“开发工具”，进入开发工具页面。 5、选择需要登录的目标数据库实例，单击操作列表中的“登录”，登录目标数据库实例。 6、在顶部菜单栏选择“SQL操作”>“SQL查询”，打开一个SQL窗口。 7、在SQL窗口输入需要执行的SQL语句，单击“执行计划”，排查SQL问题和优化SQL性能。 在“SQL执行记录”页签中，查看窗口下历史执行信息。 在“消息”页签中，查看拆分SQL完成、执行完成及耗时等信息。 在“执行计划”页签中查看反馈执行语句情况，不同的页签来展示每一条SQL的执行计划详情。 我的SQL 数据管理服务支持用户添加常用的SQL，以及查看和管理SQL语句。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角的，选择区域和项目。 3、单击页面左上角的，选择“数据库 > 数据管理服务”，进入数据管理服务页面。 4、在左侧导航栏中，单击“开发工具”，进入开发工具页面。 5、选择需要登录的目标数据库实例，单击操作列表中的“登录”，登录目标数据库实例。 6、在顶部菜单栏选择“SQL操作”>“SQL查询”，打开一个SQL窗口。 7、在当前打开的SQL窗口页面，选择“我的SQL”。 新增我的SQL：支持增加常用的SQL，在弹出框中编辑标题及输入SQL语句，单击“保存”即可新增SQL。 选择我的SQL：支持查看已保存的常用SQL，当帐号下没有已保存的SQL时，该功能在页面不显示。 管理我的SQL：支持对常用的SQL进行管理，包括添加、编辑、 删除。

背景 1. 大模型算力需求 大模型因其参数规模庞大、结构复杂，通常需要强大的计算资源来支持其推理过程，这使得算力成为大模型应用的核心要素。随着DeepSeekR1模型的问世，各行各业纷纷展开了关于如何接入大模型能力的广泛调研与探索，市场对大模型推理算力的需求呈现出爆发式增长的趋势。例如在医疗、金融、零售等领域，企业迫切希望通过接入DeepSeek大模型来提升决策效率和业务能力，从而推动行业的创新发展。在这一背景下，算力的供给和优化成为推动大模型落地应用的重要因素。 近年来，CPU制程和架构的提升以及英特尔® 高级矩阵扩展AMX（Advanced Matrix Extensions）加速器的面世带来了算力的快速提升。英特尔对大模型推理等多个AI领域持续深入研究，提供全方位的AI软件支持，兼容主流AI软件且提供多种软件方式提升CPU的AI性能。目前，已有充分的数据显示CPU完全可以用于大模型推理场景。 2. CPU算力用于大模型推理的适用场景 CPU适用于以下大模型推理场景： 场景1: 大模型推理需要的内存超过了单块GPU的显存容量，需要多块或更高配GPU卡，采用CPU方案，可以降低成本； 场景2: 应用请求量小，GPU利用率低，采用CPU推理，资源划分的粒度更小，可有效降低起建成本； 场景3: GPU资源紧缺，CPU更容易获取，且可以胜任大模型推理。

大模型安全护栏 内容安全防护 大模型安全护栏是天翼云面向大模型应用场景推出的内容安全防护产品。随着大模型（LLM）技术在各行业的广泛落地，大模型在为用户带来智能化服务的同时，也面临来自提示注入攻击、违规内容生成、敏感信息泄露等多维度的安全风险。 全链路实时检测 大模型安全护栏通过对大模型的输入侧 和输出侧进行全链路实时检测，帮助企业用户有效识别并拦截风险内容，确保大模型应用的合规性与安全性，降低业务风险与法律合规压力。 快速集成 产品以API 调用方式对外提供服务，可快速与企业现有大模型应用集成，无需改造核心业务逻辑，即可实现安全防护能力的无缝叠加。 产品提供三大核心检测能力 检测类型 API 参数值 说明 文本输入检测 textinputcheck 对用户发送给大模型的输入内容（Prompt）进行实时检测，防范提示注入攻击及违规输入。 文本输出检测 textoutputcheck 对大模型生成的回复内容进行实时检测，支持流式分片检测，适配流式输出场景。 图片检测 imagesecuritycheck 对用户上传或大模型生成的图片进行安全审核，支持 URL 和 Base64 两种传入方式。 各检测类型支持的风险识别维度详见风险类型说明。

删除数据库 您可以删除不再需要的数据库。 使用须知 删除数据库后无法恢复，请谨慎操作。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角的，选择区域和项目。 3、单击页面左上角的，选择“数据库 > 数据管理服务”，进入数据管理服务页面。 4、在左侧导航栏中，单击“开发工具”，进入开发工具页面。 5、选择需要登录的目标数据库实例，单击操作列表中的“登录”，登录目标数据库实例。 6、在数据库列表操作栏单击“更多 > 删除”。 7、在删除数据库确认弹窗中，单击“是”，即可删除该数据库。

本章节主要介绍翼MapReduce服务的产品定义、架构与优势。 产品定义 翼MapReduce（简称：“翼MR”），基于当前开源新版本大数据组件进行产品化封装，为客户提供快速部署、易维护的HDFS、YARN、Spark、Flink、Hive、Doris、Kafka、HBase等高性能的大数据组件以及运维管理平台，同时产品默认提供强安全验证能力，具备高安全、高扩展、快捷运维等特色，支持批量数据处理、流式数据处理、离线数据分析、在线查询等场景。 产品架构 翼MR架构包括了基础设施和大数据处理流程各个阶段的能力，详见下图： ● 基础设施 基于天翼云主机构建大数据集群，集群的高可靠与高安全能力得到底层的充分保证。 弹性云主机（CTECS）提供的弹性可扩展虚拟服务器，结合CTVPC、安全组、CTEVS数据多副本和灾备能力为客户打造一个高效、可靠、安全的业务集群环境。 物理机服务（CTDPS）是基于天翼云软硬结合技术研发的一款拥有极致性能的裸金属服务器，兼具云主机的灵活弹性、物理机的稳定，提供算力强劲的计算类服务，提供专属的云上物理服务器，为大数据、核心数据库、高性能计算等业务提供服务稳定、数据安全、性能卓越的算力服务。 云硬盘（CTEVS）提供不同规格和性能表现的高可靠存储能力。 虚拟私有云（CTVPC）为每个租户提供虚拟的内部网络，默认与其他网络隔离，同时通过配套的安全组访问控制确保网络层面的安全性。 ● 数据集成 数据集成层提供了客户的数据集成进翼MR集群的能力，包括：Kafka、SeaTunnel、Flume、Sqoop，支持各种数据源导入数据到翼MR大数据集群中。 ● 数据存储 翼MR提供多种存储形式，如HDFS、Hudi、Iceberg、Paimon、Lance等，支持结构化和非结构化数据在集群中的存储，并且支持多种高效的格式来满足不同计算引擎的要求。 ● 数据调度和计算处理 – 翼MR提供多种主流计算引擎：MapReduce（批处理）、 Spark（内存计算）、Flink（流计算）等，满足多种离线或实时大数据应用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。 – 基于预设的数据模型，使用易用SQL的数据分析，用户可以选择Hive（数据仓库），SparkSQL以及Trino交互式查询引擎。 ● 翼MR Manager 为确保大数据组件服务的高可用性，以Hadoop为基础的大数据生态的各种组件均需要以分布式的方式进行部署，涉及其中的部署、管理和运维复杂度要求较高。翼MR提供了统一的运维管理平台翼MR Manager，包括可视化引导式部署集群能力。同时翼MR Manager还提供了租户与资源管理能力，支持对翼MR中各类大数据组件的运维管理，提供监控、告警、配置等一站式运维能力。

本文主要介绍如何通过Model API访问大模型服务。 概述 针对大模型服务访问场景，Model API提供高度灵活和智能的路由配置与调试能力，内置丰富的路由插件，提供消费者鉴权、限流熔断和AI可观测等能力。本文主要介绍如何通过Model API访问大模型服务。 前置条件 1. 已创建AI网关实例，具体操作，请参见创建网关实例。 2. AI网关实例与大模型服务网络已打通。如大模型服务为公网服务，需为AI网关实例所在VPC创建公网NAT网关，请参考NAT网关文档。 创建大模型服务 1. 打开AI网关控制台实例页面，在顶部菜单栏选择目标实例所在地域，并单击目标实例ID。 2. 在左侧导航栏，单击服务，然后单击创建服务。 3. 配置基本信息。 在弹窗中先选择服务来源为“LLM服务”，随后编辑其余配置。 ● 服务名称： 自定义服务名称。 ● 大模型供应商： 支持息壤、DeepSeek、OpenAI兼容（OpenAI Compatible）、百炼。 ● 服务地址(baseurl)：大模型服务的BaseURL。 ● APIKEY：访问大模型需要的APIKEY凭证。APIKEY的获取请咨询对应服务供应商。 4. 配置完成后单击确定，完成创建。 创建Model API 1. 打开AI网关控制台实例页面，在顶部菜单栏选择目标实例所在地域，并单击目标实例ID。 2. 在左侧导航栏，单击Model API，然后单击创建Model API。 3. 选择使用场景，并单击对应的创建按钮。 不同场景对应的协议和系统自动创建的默认路由可能不同，当前支持文本生成、图片生成、文本排序（Rerank）、向量化（Embedding）。 4. 配置基本信息。 ● API名称：自定义API名称，支持中文、英文、数字、下划线“”、“”，且不超过64个字符。 ● 协议：每个协议对应该场景下的一组默认路由。 ● 路由：协议对应的默认路由。 ● BasePath：API的基本请求路径，默认为/。默认启用转发至后端服务时移除。 说明 当转发至后端服务时移除开启后，请求转发至后端服务，系统会自动移除请求部分中的BasePath部分。如： ●BasePath设置为/api ●原始请求路径为/api/chat/completions ●实际转发到后端的路径为/chat/completions ● 域名：访问API的域名，支持同时配置多个域名。 ● 描述：API的描述信息，最长不超过256个字符。 ● 后端服务：场景支持单模型服务、多模型服务。单模型服务：选择一个大模型服务，支持设置模型名称或透传模型名称；多模型服务：选择多个大模型服务并设置权重，支持设置模型名称或透传模型名称。 5. 确认配置参数并单击确定完成创建。

本文介绍了英特尔® 至强®处理器在AI推理领域的优势,以及如何使用一键部署的镜像进行推理性能测试。 1. 背景 1.1 大模型算力需求 大模型因其参数规模巨大、结构复杂，通常需要强大的计算资源来支持其推理过程，这使得算力成为大模型应用的关键要素。信通院的数据资料显示云端推理的市场潜力很大，AI大模型落地应用数量正在不断增加，市场对大模型推理算力的需求也呈现爆发式增长态势。 近年来，CPU制程和架构的提升以及英特尔AMX指令集的面世带来了算力的快速提升。英特尔对大模型推理等多个AI领域持续深入研究，提供全方位的AI软件支持，兼容主流AI软件且提供多种软件方式提升CPU的AI性能。目前，已有充分的数据显示CPU可以用于大模型推理。 1.2 CPU算力用于大模型推理的适用场景 CPU适用于以下大模型推理场景， 场景1: 大模型推理需要的内存超过了单块GPU的显存容量，需要多块或更高配GPU卡，采用CPU方案，可以降低成本； 场景2: 应用请求量小，GPU利用率低，采用CPU推理，资源划分的粒度更小，可有效降低起建成本； 场景3: GPU资源紧缺，CPU更容易获取，且可以胜任大模型推理。 2. 英特尔 AI推理加速技术 2.1 英特尔 AI硬件基础

配置项 说明 引擎开关 每个引擎可以关闭，那么输入和输出都不会使用该引擎进行检查。默认的策略配置如上图。 输入检测 用于判断用户输入的提问内容是否合规，如违反配置规则将停止请求，并返回违规信息。请求不会经过大模型。可通过“输入检测”总开关，直接对所有引擎的输入检测进行控制。 输出检测 当用户的输入内容合规，或禁用输入检测时，用于判断大模型输出内容是否合规。此时响应内容会如同直接访问大模型一样逐字逐句的流式返回，大模型防护系统会在响应文本中按指定窗口大小截取文本，使用开启的引擎进行合规性检查。 如大模型响应内容违反配置规则将停止输出，并返回违规信息。可通过“响应检测”总开关，直接对所有引擎的响应检测进行控制，响应检测默认关闭，需手动开启。 配置 检测模式 ： 实时检测 异步检测 配置 相似度 ：设置语义匹配的阈值（01），值越高要求越严格。 说明 仅“语义检索引擎”可配置相似度。 配置 灵敏度 ：设置模型推理的敏感程度（01），值越高检出率越高但误报率也越大。 说明 仅“模型推理引擎”可配置灵敏度。

本文向您介绍如何修改大模型学习机的登录密码。 本文向您介绍如何修改大模型学习机的登录密码，以下为修改大模型学习机的登录密码的文字教程。 1. 在云主机控制台，选择您购买云主机的地域，点击云主机的操作更多重置密码。 2. 点击“远程登录”按钮。 3. 进入虚机内部，输入 root 回车，在password处输入刚刚修改的密码（密码不可见，请输入完直接回车）。 4. 点击右上角的“粘贴输入”，在输入框中粘贴以下指令，点击“确定发送”，点击虚机屏幕后回车发送指令。 修改文本大模型密码指令： plaintext vim /root/textgenerationwebui/gradioauth.txt 或 修改图像生成大模型密码指令： plaintext vim /root/stablediffusionwebui/gradioauth.txt 进入修改对应大模型登录密码界面。 5. 改user和user后的密码后，按Esc退出编辑模式。再次点击右上角的“粘贴输入”，在输入框中粘贴 :wq 指令，点击“确定发送”，点击虚机屏幕后回车发送指令。返回以下内容表示修改成功。 6. 再次点击右上角的“粘贴输入”，在输入框中依次粘贴输入以下命令，“确认发送”后点击虚机屏幕，回车。使修改的大模型密码登录密码生效。 plaintext cd /root plaintext sh restartllamawebui.sh plaintext sh restartsdwebui.sh 此时密码修改成功，您可以通过使用修改后的密码登录大模型。