本节介绍本地IDC集群迁移至天翼云CCE集群。 分布式容器云平台CCE One容器迁移功能，支持将本地IDC自建的Kubernetes集群应用迁移到天翼云CCE集群，实现应用程序的云端部署和运维管理。迁移流程如下图所示： 前提条件 已开通天翼云分布式容器云平台CCE One及其关联产品的访问权限。 已打通IDC集群与天翼云资源池VPC网络，可选公网或内网方式。其中： 公网方式：需要您IDC集群中Pod具备主动访问功能的能力，一般可通过配置集群公网NAT出口方式实现； 内网方式：需要将您IDC集群的网络与天翼云云上VPC网络打通，可选云专线、SDWAN或VPN方式；另还需参考配置指引，配置正确的云上云下网关路由及DNS解析转发策略，以确保云下可正常访问云上相关服务； 适用场景 云备份容灾：备份容灾迁移一体化，快速实现应用上云与数据灾备。 操作指引 本场景迁移，主要包含四个步骤： 步骤一：集群评估与纳管 在这个阶段，您将根据源集群的现状来评估适合迁移的目标集群类型。可以基于必要的开源工具自动或手工收集源集群的信息，包括Kubernetes版本、规模、工作负载、存储等数据，并根据收集到的数据考虑合适的目标集群信息。 为方便后续的数据备份与恢复，或者基于联邦的细粒度应用迁移，您需要将源集群注册到天翼云CCE One注册集群；

一级功能 二级功能 功能说明 离线训练 训练框架管理 兼容Tensorflow、Pytorch、Horovod、Mindspore等主流训练框架。 离线训练 数据集管理 提供数据集仓库，支持数据集导入导出、数据加速和数据集指标看板。 离线训练 智能调度 提供多种调度策略，支持拓扑感知、故障感知、优先级队列等调度策略。 离线训练 断点续训 任务分钟级别故障检测和任务重调度，支持优雅容错和断点续训。 离线训练 模型管理 支持模型输出到制品仓库、模型多版本管理。 离线训练 运维管理 支持集群、节点、卡、任务维度监控&日志，软硬件故障检测，AIOps智能恢复。 在线推理 推理框架管理 支持分布式vLLM、SGLang、国产MindIE和单机Ollama。 在线推理 AI网关 AI推理应用的接入层必要组件，通过开启多模型流量智能调度和管理，确保对外服务的稳定性以及灵活性。 在线推理 模型加速 支持模型权重加载加速、镜像卷加速、PD分离架构加速。 在线推理 KVCache缓存 支持KVCache缓存加速、KVCache offload、多级缓存、分布式KVCache。 在线推理 弹性扩缩容 支持LWS推理业务扩缩容、HPA、VPA、Cron HPA、ECI弹性推理。 在线推理 全链路可观测 支持推理框架指标监控、资源利用率监控、业务流量监控、推理全链路透明埋点，业务故障可观测。

本节介绍分布式缓存Redis管理控制台代理节点指标监控，监控指标以代理节点维度统计。 前提条件 已成功开通分布式缓存服务Redis实例，且实例处于运行中状态。 实例类型为Proxy集群主备，读写分离。 操作步骤 1. 登录 []( /)Redis管理控制台 2. 在管理控制台右上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情页面。 4. 左侧菜单点击性能监控。 5. 选择上方的【代理节点】Tab页，选择监控时间可过滤查询该时间段内实例监控数据，默认查询最近一小时数据。 指标说明 指标名称 单位 说明 请求数 count/s 代理节点的每秒请求数 连接数 count 代理节点的客户端连接数 流入速率 byte/s 代理节点接受请求的网络速率 流出速率 byte/s 代理节点返回响应的网络速率 请求平均字节数 byte 代理节点的单个请求的平均字节数 响应平均字节数 byte 代理节点的单个响应的平均字节数 请求最大字节数 byte 代理节点的单个请求的最大字节数 响应最大字节数 byte 代理节点的单个响应的最大字节数 平均响应时间 μs 代理节点的响应的平均时延 最大响应时间 μs 代理节点的响应的最大时延 连接数使用率 % 代理节点的连接数使用率 内存使用率 % Proxy内存使用率 CPU使用率 % Proxy CPU使用率 节点状态 Proxy节点状态, 0:运行状态, 1:停止状态 P99最大时延 μs Proxy节点P99最大时延

分布式缓存支持分析实例中的占用空间较大的大key和访问频率较高的热key。 说明 大key和热key分析需要消耗CPU资源，建议在业务低峰时段执行大Key和热Key分析。 前提条件 已成功开通分布式缓存服务Redis实例，且实例处于运行中状态。 进行热key分析时，需 在实例配置中，将maxmemorypolicy修改成volatilelfu，参考修改修改实例配置参数。 大key和热key的定义 参数 说明 大Key Redis中存储的value可以分为两类，一类是String类型的元素，一类是集合元素，根据这两类，通过大Key可分为以下两种情况： String类型的value，值超过1 MB 集合类型的value，成员数超过3000 热Key 热Key是指在一段时间内，某个Key的访问量显著高于其他Key，形成访问热点。 例如：实例每秒处理请求10000次，而其中某一个Key的访问量达到每秒3000次。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情页面。 4. 左侧菜单点击CloudDBA>TOP KEY分析，进入TOP KEY分析界面。 5. 点击实时Tab页，点击立即分析，即可立即分析展示大key和热key的分析结果。 6. 点击历史Tab页，勾选TOP KEY自动扫描，可搜索历史的大key和热key。 注意 勾选TOP KEY自动扫描对业务量大的场景可能会有性能影响。

本节主要介绍常用概念 数据节点 数据节点是分布式关系型数据库服务的最小管理单元，表示DRDS下关联的RDS for MySQL实例，DRDS目前仅支持这一种引擎，一个实例代表了一个独立运行的数据库。您可以在一个DRDS实例中通过创建多个逻辑库管理多个数据节点，并且可以独立访问数据节点。 虚拟私有云 虚拟私有云（Virtual Private Cloud）是用户在云服务上申请的隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务，也可以申请弹性带宽和弹性IP搭建业务系统。 子网 子网是虚拟私有云内的IP地址块。虚拟私有云中的所有云资源都必须部署在子网内。同一个虚拟私有云下，子网网段不可重复。子网创建成功后，网段无法修改。 安全组 安全组是一个逻辑上的分组，为具有相同安全保护需求并相互信任的云服务器提供访问策略。安全组创建后，用户可以在安全组中定义各种访问规则，当云服务器加入该安全组后，即受到这些访问规则的保护。 系统会为每个用户默认创建一个默认安全组，默认安全组的规则是在出方向上的数据报文全部放行，入方向访问受限，安全组内的云服务器无需添加规则即可互相访问。 参数模板 参数模板就像是参数配置值的容器，这些值可应用于一个或多个DRDS实例。如果您想使用您自己的参数模板，只需创建一个新的参数模板，创建实例的时候选择该参数模板。如果是在创建DRDS实例后有这个需求，可以重新应用该参数模板。

本文介绍Redis主子账号和IAM权限管理 分布式缓存服务Redis版已对接天翼云统一身份认证服务（IAM），可实现控制台按钮、菜单功能、OpenAPI等维度对用户访问、操作资源的权限控制等， 以达到用户权限的精细管理，保证访问的安全性。 IAM简介 统一身份认证（Identity and Access Management，简称IAM）服务，是提供用户进行权限管理的基础服务，可以帮助您安全的控制云服务和资源的访问及操作权限。目前天翼云提供对应专有的CTIAM服务，用户可申请开通后免费使用，您只需要为您帐号中的云服务和资源进行付费。具体IAM使用说明详情见：统一身份认证。 IAM涉及主要概念 主用户：用户在天翼云注册后自动创建，该用户对其所拥有的资源具有完全的访问权限，可以重置用户密码、分配用户权限等。如果需要多人共同使用天翼云资源，为了确保账号安全，建议创建子用户来进行日常管理工作。 子用户：由拥有IAM权限的用户，在用户中心创建的子用户。子用户的用户名、密码由拥有IAM权限的用户控制。子用户同样可以登录访问天翼云控制台，登录入口与主用户相同，受赋予的权限限制。 用户组：用户组是用户的集合，IAM通过用户组功能实现用户的授权。您创建的IAM用户，需要加入特定用户组后，才具备对应的权限，否则IAM用户无法访问您帐号中的任何资源或者云服务。 系统策略：由产品团队维护，系统预置的常用权限集，主要针对不同云服务的只读权限或管理员权限，比如对 ECS 的只读权限、对 ECS 的管理员权限等；系统策略在IAM控制台中只能用于授权，不能编辑和修改。 自定义策略：由用户自己在IAM控制台创建和管理的权限集，是用户可以自由定义的权限，是对系统策略的扩展和补充。 企业项目：企业项目权限实现细粒度控制的基础。将云资源、企业成员按企业项目进行管理，通过企业项目将云资源、带有权限的用户组绑定到一起，用户使用企业项目内云资源的权限受用户组的授权限制。

一体化计算加速平台·异构计算产品为您提供优质的服务体验，本文带您了解本产品的产品优势。 安全稳定的算力底座 高性价比国产化算力支持。 大规模分布式训练支持。 万卡规模集群管理与实践。 多用户场景支持 使用标准资源组，用户可直接登录节点操作。 扩展资源组，为用户预装k8s集群及相应控制器，用户直接进行自定义任务创建与管理。 全流程监控与故障感知 训前环境健康一键检测。 训中多维度指标实时监控。 多场景故障感知与断点续训。 智算加速套件 高性能集合通信库提高拥塞条件下的通信性能与故障感知。 高性能CheckPoint框架，实现接近于0的模型状态保存时间开销。

本文介绍全站加速在教育行业的最佳实践。 行业概况 当前，数字化日益成为教育管理、教学和工作等各个环节的基本手段，在线教育的教学体验以及数据安全问题也愈加凸显。在线教育用户分布广、流量大，师生互动交互性强，对于时延及稳定性要求极高。 天翼云全站加速产品，依托全球2300+分布式加速节点，基于云网融合优势，通过动静分离、多级缓存、智能路由、协议优化、链路优化等多项技术，为用户提供低时延、高流畅度、高可用的加速网络服务，为教育行业数字化转型注智赋能、保驾护航。 方案架构 天翼云全站加速旨在帮助在线教育用户在教学文件上传/下载，网站高峰期集中访问、动态指令互动等环节，为客户构建低时延、高流畅度的访问体验。可以在不做任何源站架构变动的情况下，快速开通全站加速服务。 需求场景 大文件上传/下载 业务挑战：在线教学场景下，师生日常需要上传、下载教学视频及课件，共享教学资源，因此对于上传及下载的及时性要求较高。 方案优势：天翼云全站加速，提供稳定、优质的上传加速服务，实时探测优质上传路径，保障教学内容上传/下载的实时性。

本节介绍分布式缓存服务Redis版常见问题IAM子用户无法看到新买的Redis 问题现象 子账户看不到新购买的Redis资源。 问题原因 新购Redis所在的企业项目没给这个iam子用户添加权限。 解决方案 1. 登录控制中心。 2. 左侧菜单选择“主子账号及授权中心” 3. 单击“企业项目”中，单击企业项目名称后操作列的“查看资源”进入该企业项目的详细信息页面 4. 单击“查看用户组”进入选择用户组页面，可添加用户组或者选择已有的用户组列表进行操作。操作列支持设置策略和对用户组进行管理。 5. 单击用户组名称后操作列的“设置策略”跳转至策略管理页面，将缓存相关策略如DCS2 viewer分配至该用户组。 6. 单击用户组名称后操作列的“用户管理”跳转至用户管理页面，可将对应的子账号加入该用户组，点击确认完成权限策略配置。

本文为您介绍如何搭建Spark应用。 背景信息 Spark是新一代分布式内存计算框架，Apache开源的顶级项目。相比于Hadoop MapReduce计算框架，Spark将中间计算结果保留在内存中，速度提升10~100倍；同时它还提供更丰富的算子，采用弹性分布式数据集(RDD)实现迭代计算，更好地适用于数据挖掘、机器学习算法，极大提升开发效率。 前提条件 确保您已经创建Serverless集群，具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。 操作步骤 步骤一：准备镜像和创建命名空间namespace 1. 从dockerHub镜像仓库获取Spark相关镜像。 docker pull index.docker.io/caicloud/spark:1.5.2 docker pull index.docker.io/caicloud/zeppelin:0.5.6 2. 创建命名空间。 namespacesparkcluster.yaml apiVersion: v1 kind: Namespace metadata: name: sparkcluster labels: name: sparkcluster $ kubectl create f namespacesparkcluster.yaml 3. 查看Namespace。 $ kubectl get ns NAME LABELS STATUS default Active sparkcluster namesparkcluster Active 步骤二：启动master服务 1. 创建无状态工作负载，sparkmasterdeployment.yaml可参考如下： sparkmasterdeployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: sparkmastercontroller namespace: sparkcluster spec: replicas: 1 selector: matchLabels: component: sparkmaster template: metadata: labels: component: sparkmaster spec: containers: name: sparkmaster image: index./spark:1.5.2

本文介绍控制台（或API）用量分析里的流量与日志统计的流量有差异的原因。 客户控制台上可查询带宽、流量等统计数据，该数据同时也应用于生成计费账单，其流量会比基于访问日志统计的流量偏多。原因是全站日志中记录的流量数据是基于应用层日志中响应消息头+响应body体统计出的流量，而在实际网络请求中产生的网络流量，由于存在TCP/IP包头消耗和TCP重传，要比应用层统计到的流量数据高出7%~15%。因此按照业界标准，应用于账单的计费值会比基于访问日志计算得出的计费值上浮10%。 TCP/IP包头的消耗 HTTP请求是基于TCP/IP协议的，数据包是TCP/IP协议通信传输中的数据单位，我们在使用基于TCP/IP协议的网络时，网络中传递的其实就是数据包。每个数据包的大小最大是1500字节，这1500字节中包括了TCP和IP协议组成的40个字节的包头，这两个协议包头其实也会产生流量，但是却无法被应用层统计到，因此这40个字节的流量就不会被统计到日志里，这部分的流量会占到我们通过日志计算出流量的2.74%（40/1460）以上，即3%左右。 TCP重传 根据互联网中网络的负载情况，通常情况下，会有接近3%~10%的数据包会因为网络堵塞、设备故障等各种异常情况被丢弃。发生丢包后，服务器会对丢弃的数据包进行重传，这部分的具体操作是由内核层的协议栈处理完成的，通常无法被应用层统计到的，因此在一定程度上也会造成日志统计与实际网络响应流量的差异。 综上所述，天翼云全站加速产品取平均值10%作为网络层额外消耗的流量比例，即应用于账单的计费值会比基于访问日志计算得出的计费值上浮10%。

分布式缓存Redis缓存实例创建后，支持在控制台修改实例的服务端口。 说明 修改服务端口功能目前为白名单特性，如需要使用该特性，请联系技术支持开通后使用。 前提条件 只有当分布式缓存Redis缓存实例处于“运行中”状态且未开启IP白名单，才能执行此操作。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情管理。 4. 在连接信息栏，可点击修改端口入口，进行端口修改。 5. 填写目标端口后，点击确定按钮，即开始修改端口。 注意 端口变更后，现有连接将全部中断；为恢复连接，业务需要使用新端口重新连接Redis；请谨慎操作。

本页介绍天翼云TeleDB数据库部署架构。 TeleDB采用分布式集群架构， 该架构为分布式无共享(share nothing)模式，节点之间相互独立，各自处理自己的数据，处理后的结果会向上层汇总或在节点间流转，各处理单元之间通过网络协议进行通信。它的优点是SQL兼容能力好，扩展能力高、业务迁移成本低。为客户提供更可靠的数据库云服务。

本节介绍如何将Redis 3.0一键升级到高版本。 分布式缓存服务Redis 3.0已停售，且Redis 3.0版本较老，开源社区已不再对其进行更新，DCS提供的Redis高版本兼容Redis 3.0，建议客户尽快将DCS Redis 3.0升级到高版本。本章节介绍如何将Redis 3.0一键升级到高版本。 约束与限制 目前仅支持升级Redis 3.0实例到高版本，暂不支持Redis 4.0及以上版本的实例升级大版本。 建议在业务低峰期进行实例升级操作。 实例升级大版本后不支持自助回退。 升级影响 在版本升级的过程中会产生一分钟以内的只读和秒级的连接闪断，请确保客户端应用具备重连机制和处理异常的能力。 Redis 3.0实例版本升级后带宽有所降低，请评估变更后的带宽能否满足业务需求。若不满足需求，可在版本升级后 调整实例带宽。 升级前的备份文件在升级后不可用于恢复实例。 升级Redis 3.0实例大版本 1. 登录分布式缓存服务管理控制台。 2. 在管理控制台左上角单击，选择实例所在的区域。 3. 单击左侧菜单栏的“缓存管理”。 4. 在“缓存管理”页面，单击Redis缓存实例的名称，进入实例详情页面。 5. 在“基本信息”区域，单击“缓存类型”后的“升级大版本”。 6. 在升级大版本页面选择“目标版本”，并确认目标版本的带宽和价格。 建议选择Redis5.0及以上版本。 7. 单击“提交订单”。当升级任务的状态显示“成功”后，升级版本完成。 说明 Redis 3.0实例升级后，对于原实例和高版本实例都存在的配置参数，在升级后会继承原实例的参数配置值；对于升级后高版本实例新增的配置参数，会保持该配置参数的默认值。 结束

本节主要介绍函数管理 新建函数 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“函数”，单击页面左上侧“新建函数”。 2. 在新建函数弹出框中填写函数名称，设置返回值类型及描述信息，单击“确定”，进入函数编辑页面。 3. 在函数编辑页面，您只需在已生成函数的创建模板中编写函数体部分。 4. 在新建函数窗口左上方选择“选项”，您可在选项弹出框中按需设置相关信息，单击“确定”。 您可“保存”当前新建函数，也可单击执行函数，调用该对象，并在页面下方消息栏查看运行情况。 修改或执行函数 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“函数”，单击页面操作栏的“修改或执行”。 2. 在函数详情页面修改函数信息，按需设置选项，单击“保存”保存修改信息，或者您可直接单击“执行函数”，调用该对象。 删除函数 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“函数”，单击页面操作栏的“删除函数”。 2. 在删除函数弹出框中，单击“确定”。 注意 删除操作无法恢复，请谨慎选择。 查看函数详情 操作步骤 1. 在顶部导航栏选择“库管理”，在对象列表页签下选择“函数”，单击页面操作栏的“查看函数详情”。 2. 在查看函数详情弹出框中，查看函数详情，单击“关闭”。

全局索引是一组非分片键和分片键的映射关系，通过非分片键查询到分片键，直接计算出数据所在的分片节点，从而提升非分片键查询（select语句）时的效率，避免广播查询。本文对分布式关系数据库DRDS全局索引功能进行说明。 核心特性 全局索引的核心特性说明如下： 增量索引追加 解析binlog数据，提取非分片键和分片键的映射关系。 支持全量索引重建 通过JDBC从数据库中获取全量数据。 以单索引单分片为最小任务单元分配重建任务。 索引存储 索引数据以keyvalue方式存储在分布式缓存中。 索引配置 索引项相关的配置与DRDS实例共用，配置修改实时同步。 库表信息变更自动同步更新。 索引延时 正常情况下，索引与数据库延时在秒级以内。 注意事项 DRDS实例版本不同全局索引的管理入口可能存在差异，具体版本说明如下，请以控制台实际情况为准： V5.1.20.0.13及以后版本：Giserver与DBProxy合并部署，不再区分DBProxy和Giserver两种实例，即购买DRDS实例时，将自动为该实例部署Giserver与DBProxy，且两者之间底层服务与进程互相隔离、故障互相隔离，更具安全性和性价比。 说明 您可以在控制台的左侧导航栏选择DRDS > 实例管理 ，进入实例列表页面，再单击目标DRDS实例操作 列的管理 ，进入实例基本信息 页面，然后单击目录树的全局索引，管理您的GiServer。 V5.1.20.0.13以前的版本：存在DBProxy和Giserver两种实例，存量GiServer实例不影响使用。 说明 您可以在控制台的左侧导航栏选择DRDS > 全局索引，进入全局索引管理页面，管理您的GiSever实例。

本章节介绍DRDS如何从外界导入逻辑库 操作场景 跨region容灾，创建备实例的逻辑库。 前提条件 DRDS实例没有逻辑库。 操作步骤 1、在分布式数据库服务，实例管理列表页面，选择目标DRDS实例，单击实例名称，进入实例基本信息页面。 2、在实例基本信息页面左侧导航栏，选择“逻辑库列表”选项卡，查看DRDS实例逻辑库。 3、在逻辑库列表页面，单击“导入逻辑库信息”进入导入逻辑库信息页面。 说明 json可重复导入，但可重复导入的前提是： 目标DRDS实例没有同名逻辑库。 4、在“导入逻辑库信息”页面单击“添加文件”，在本地选择需要导入的.json文件，选择需要使用RDS，输入正确的数据库密码，单击完成即可。 说明 选择的RDS的数量与导出DRDS关联的RDS数量一致。

本节基于天翼云分布式缓存服务实践所编写，用于指导您在以下场景使用DCS实现排行榜功能。 场景介绍 在网页和APP中常常需要用到榜单的功能，对某个keyvalue的列表进行降序显示。当操作和查询并发大的时候，使用传统数据库就会遇到性能瓶颈，造成较大的时延。 使用分布式缓存服务（DCS）的Redis版本，可以实现一个商品热销排行榜的功能。它的优势在于： 数据保存在缓存中，读写速度非常快。 提供字符串（String）、链表（List）、集合（Set）、哈希（Hash）等多种数据结构类型的存储。 实践指导 1. 准备一台弹性云主机（ECS），选择Windows系统类型。 2. 在ECS上安装JDK1.8以上版本和Eclipse，下载jedis客户端（点此处直接下载jar包）。 3. 在天翼云控制台购买DCS缓存实例。注意和ECS选择相同虚拟私有云、子网以及安全组。 4. 在ECS上运行Eclipse，创建一个java工程，为示例代码创建一个productSalesRankDemo.java文件，并将jedis客户端作为library引用到工程中。 5. 将DCS缓存实例的连接地址、端口以及连接密码配置到示例代码文件中。 6. 编译并运行得到结果。 代码示例 package dcsDemo02; import java.util.ArrayList; import java.util.List; import java.util.Set; import java.util.UUID; import redis.clients.jedis.Jedis; import redis.clients.jedis.Tuple; public class productSalesRankDemo { static final int PRODUCTKINDS 30; public static void main(String[] args) { //实例连接地址，从控制台获取 String host "192.168.0.246"; //Redis端口 int port 6379; Jedis jedisClient new Jedis(host, port); try { //实例密码 String authMsg jedisClient.auth(""); if (!authMsg.equals("OK")) { System.out.println("AUTH FAILED: " + authMsg); } //键 String key "商品热销排行榜"; jedisClient.del(key); //随机生成产品数据 List productList new ArrayList<>(); for(int i 0; i sortedProductList jedisClient.zrevrangeWithScores(key, 0, 1); for(Tuple product : sortedProductList) { System.out.println("产品ID： " + product.getElement() + ", 销量： " Double.valueOf(product.getScore()).intValue()); } System.out.println(); System.out.println(" "+key); System.out.println(" 前五大热销产品"); //获取销量前五列表并输出 Set sortedTopList jedisClient.zrevrangeWithScores(key, 0, 4); for(Tuple product : sortedTopList) { System.out.println("产品ID： " + product.getElement() + ", 销量： " Double.valueOf(product.getScore()).intValue()); } } catch (Exception e) { e.printStackTrace(); } finally { jedisClient.quit(); jedisClient.close(); } } }

字段解释 字段 单位 说明 rxpck/s pps 每秒收包量，即接收 pps txpck/s pps 每秒发包量，即发送 pps rxkB/s kB/s 接收带宽 txkB/s kB/s 发送带宽 测试场景 测试场景 客户端运行命令 SAR 监控指标 UDP 64 netperf t UDPSTREAM Hl 10000 m 64 R 1 & PPS TCP 1500 netperf t TCPSTREAM Hl 10000 m 1500 R 1 & 带宽 TCP RR netperf t TCPRR Hl 10000 r 32,128 R 1 & PPS 命令说明： netperf: 这是 Netperf 工具的命令，用于执行网络性能测试。 t UDPSTREAM/TCPSTREAM: 指定测试的类型为 UDP/TCP 流量测试。 H: 指定远程主机的地址。在这里，H 后面应该跟上远程主机的地址或主机名。 l : 指定测试的时间限制，后接时间，单位为秒。 m : 设置消息大小，单位为字节。 R : 指定测试运行的数量 。 &: 将测试命令放入后台运行。 性能指标 指标 说明 64字节 UDP 收发 PPS（包/秒） 表示通过 UDP 进行批量数据传输时的数据传输吞吐量， 能反映网络极限转发能力（可能会存在丢包）。 1500字节 TCP 收发带宽（Mbits/秒） 表示通过 TCP 进行批量数据传输时的数据传输吞吐量， 能反映网络极限带宽能力（可能会存在丢包）。 TCPRR（次/秒） 表示在 TCP 长链接中反复进行 Request/Response 操作的交易吞吐量， 能反映 TCP 不丢包网络转发能力。

参数 类型 说明 是否必要 Bucket string 执行本操作的桶名称 是 Delimiter string 与Prefix参数一起用于对对象key进行分组的字符。所有key包含指定的Prefix且第一次出现Delimiter字符之间的对象作为一组。如果没有指定Prefix参数，按Delimiter对所有对象key进行分割，多个对象分割后从对象key开始到第一个Delimiter之间相同的部分形成一组 否 KeyMarker string 和UploadIdMarker参数一起用于指定返回哪部分分片上传的信息。如果没有设置UploadIdMarker参数，则只返回对象key按照字典顺序排序后位于KeyMarker标识符之后的分片信息。如果设置了UploadIdMarker参数，则会返回对象key等于KeyMarker且UploadId大于UploadIdMarker的分片信息 否 MaxUploads int64 用于指定相应消息体中正在进行的分片上传信息的最大数量，最小值为1，默认值和最大值都是1000 否 Prefix string 与Delimiter参数一起用于对对象key进行分组的字符。所有key包含指定的Prefix且第一次出现Delimiter字符之间的对象作为一组 否 UploadIdMarker string 和KeyMarker参数一起用于指定返回哪部分分片上传的信息，仅当设置了KeyMarker参数的时候有效。设置后返回对象key等于KeyMarker且UploadId大于UploadIdMarker的分片信息 否

相关操作 您可以在上传对象时指定对象的存储类别，也可以在上传后修改对象的存储类别，修改步骤如下： 步骤 1 在OBS管理控制台桶列表中，单击待操作的桶，进入“对象”页面。 步骤 2 选中目标对象，并单击右侧“更多>修改存储类别”。 您也可以选中多个文件，单击对象列表上方的“更多>修改存储类别”，批量修改对象的存储类别。 步骤 3 选择目标存储类别，并单击“确定”。 说明 标准存储的对象可以修改为低频访问存储或归档存储的对象。低频访问存储的对象可以修改为标准存储或归档存储的对象。归档存储的对象要先恢复，才可以修改为标准存储、低频访问存储。后两种修改会涉及恢复费用，请根据对象的使用频率和场景择优选择。 对象存储类别修改为归档存储时，恢复状态为未恢复。 您也可以通过配置生命周期规则转换对象的存储类别。 表单上传（POST上传） 如果待上传的文本文件、图片、视频等资源小于5GB，您可以选择表单上传，即POST操作的方式将对象上传到桶中。 POST上传作为消息体中的表单域传递，上传提交的URL为桶域名，无需指定对象名。 该能力通过API能力实现，详情请参考天翼云对象存储API文档。

相关操作 您可以在上传对象时指定对象的存储类别，也可以在上传后修改对象的存储类别，修改步骤如下： 步骤 1 在OBS管理控制台桶列表中，单击待操作的桶，进入“对象”页面。 步骤 2 选中目标对象，并单击右侧“更多>修改存储类别”。 您也可以选中多个文件，单击对象列表上方的“更多>修改存储类别”，批量修改对象的存储类别。 步骤 3 选择目标存储类别，并单击“确定”。 说明 标准存储的对象可以修改为低频访问存储或归档存储的对象。低频访问存储的对象可以修改为标准存储或归档存储的对象。归档存储的对象要先恢复，才可以修改为标准存储、低频访问存储。后两种修改会涉及恢复费用，请根据对象的使用频率和场景择优选择。 对象存储类别修改为归档存储时，恢复状态为未恢复。 您也可以通过配置生命周期规则转换对象的存储类别。 表单上传（POST上传） 如果待上传的文本文件、图片、视频等资源小于5GB，您可以选择表单上传，即POST操作的方式将对象上传到桶中。 POST上传作为消息体中的表单域传递，上传提交的URL为桶域名，无需指定对象名。 该能力通过API能力实现，详情请参考天翼云对象存储API文档。

相关操作 您可以在上传对象时指定对象的存储类别，也可以在上传后修改对象的存储类别，修改步骤如下： 步骤 1 在OBS管理控制台桶列表中，单击待操作的桶，进入“对象”页面。 步骤 2 选中目标对象，并单击右侧“更多>修改存储类别”。 您也可以选中多个文件，单击对象列表上方的“更多>修改存储类别”，批量修改对象的存储类别。 步骤 3 选择目标存储类别，并单击“确定”。 说明 标准存储的对象可以修改为低频访问存储或归档存储的对象。低频访问存储的对象可以修改为标准存储或归档存储的对象。归档存储的对象要先恢复，才可以修改为标准存储、低频访问存储。后两种修改会涉及恢复费用，请根据对象的使用频率和场景择优选择。 对象存储类别修改为归档存储时，恢复状态为未恢复。 您也可以通过配置生命周期规则转换对象的存储类别。 表单上传（POST上传） 如果待上传的文本文件、图片、视频等资源小于5GB，您可以选择表单上传，即POST操作的方式将对象上传到桶中。 POST上传作为消息体中的表单域传递，上传提交的URL为桶域名，无需指定对象名。 该能力通过API能力实现，详情请参考天翼云对象存储API文档。

名称 二级子节点 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 所有的返回信息都以JSON形式保存 alive Integer 实例是否存活 createTime Long 创建时间 diskSize Integer 实例数据最大磁盘空间，单位G diskType String 磁盘类型，例如：SATA，SSD expireTime Long 过期时间 machineSpec String 实例机器规格 netName String VPC名称 orderId Integer 订单ID outerProdInstId String 对外的实例ID，对应PaaS平台 parameterGroupUsed String 参数配置所使用的名称，对应PaaS平台 prodDbEngine String 数据库实例引擎 prodId Long 固定值:10001001 prodInstFlag String 实例标识 prodInstId Long 实例ID，组件侧唯一ID prodInstName String 实例名称 prodInstSetName String 实例集群名称 prodOrderStatus Integer 订单处理结果 0>normal, 1>frozen, 2>delete, 3>running, 4>failed prodRunningStatus Integer 实例当前的运行状态 0>running, 1>restarting, 2backuping, 3>recoverying， 4> modifying params， 5>use param group， 6>expand preprocess, 7>expand finish， 8>modifying port, 9>switching master or slave each other prodType Integer 实例部署方式0：单机部署1：集群部署 readPort Integer 实例读端口 securityGroup String 安全组名称 subnet String 子网名称 tenantId String 租户ID tplCode String 对应PaaS平台Skucode tplName String userId Long 用户ID vip String 实例集群VIP vip6 String vpcId String VPCID writePort integer 写端口

本章节主要介绍ALM24003 Flume Client连接中断的告警。 告警解释 告警模块对Flume Server的连接端口状态进行监控。当Flume Client连接到Flume Server的某个端口，Client端连续3分钟未与Server端连接时，系统产生此告警。 当Flume Server收到Flume Client连接消息，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24003 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 客户端IP Flume客户端IP地址。 客户端名称 Flume客户端的Agent名称。 sink名称 Flume Agent的sink名称。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信，Flume Client端的数据无法传输到Flume Server端。 可能原因 Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。 Flume Client端配置错误。 处理步骤 检查Flume Client与Flume Server的网络状况 1.以root用户登录到告警定位参数中描述的Flume ClientIP所在主机。 2.执行ping Flume Server IP地址命令，检查Flume Client到Flume Server的网络是否正常。 是，执行步骤3。 否，执行步骤11。 检查Flume Client端进程故障 3.以root用户登录到告警定位参数中描述的Flume ClientIP所在主机。 4.执行ps efgrep flume grep client命令，查看是否存在Flume Client进程。 是，执行步骤5。 否，执行步骤11。

本章节主要介绍如何快速创建Hadoop分析集群。 本章节为您介绍如何快速创建一个Hadoop分析集群，Hadoop完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 快速创建Hadoop分析集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“Hadoop分析集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本节主要介绍云存储网关的功能特性。 接口适配 支持SAN网络存储类型，即通过标准iSCSI协议支持块存储。 访问加速 采用分布式双控架构，提升读写性能，延迟极低。同时也实现了本地缓存和云端存储的冷热数据分离，提高了数据访问速度。 统一管理 提供统一管理功能，支持单机和集群部署，并可以集中管理服务器和存储卷。 支持系统监控和报警，可以监控服务器CPU、内存、数据读写速度等信息，系统运行异常时立即发出告警。 自动部署 支持部署在通用硬件服务器上，支持一键自动化软件部署、滚动升级，运维简单、易用、高效。 通过在线增加服务器或者磁盘进行扩容，且在扩容过程中，不影响用户业务，数据平滑迁移。 数据保护 支持多副本和纠删码数据冗余保护机制，可以提高空间的利用效率并获得较好的数据保护效果，保证了海量数据的存储可靠性和持续可用性。 支持数据完整性校验、传输加密，确保数据安全可靠，同时利用了OOS独有的原子操作，能够真正确保云上数据的一致性。 上云能力 支持多种数据上云方式，本地既可只缓存热数据，又可以保留全量数据，数据自动同步到云端，实现存储空间弹性扩展。 云存储网关功能特性 功能模块 功能特性 安装部署 支持单机版、集群版部署具备安装、初始化、密码修改、升级、卸载功能。 基础服务 卷：创建、查询、删除、启用、禁用、扩容、修改。 基础服务 iSCSI Target：创建、查询、删除、修改。 基础服务 服务器：添加、查询、移除、修改、启动、停止、重启、还原。 基础服务 数据目录：添加、移除。 系统设置 邮件通知：启用、禁用、查询、删除。 系统设置 远程协助：启用、禁用、查询、删除。 系统设置 备份配置：启用、禁用、查询、删除、执行备份。 系统设置 系统信息：查询部署信息、状态信息、版本信息。 监控 CPU使用率、内存使用率、各数据目录的磁盘使用率和使用量、数据传输情况（当天写入量，当前读取量，当天写请求成功率，当天读请求成功率，累计写入量，累计读取量）。

3.4 安装nvidiafabricmanager 命令如下：（和驱动版本强相关，本文按照GPU驱动 530.30.02版本为例） wget c 安装并启动该服务 dpkg i nvidiafabricmanager530530.30.021amd64.deb systemctl enable nvidiafabricmanager systemctl start nvidiafabricmanager 验证方法：安装无报错 systemctl status nvidiafabricmanager 打印正常运行 nvidiasmi topo m 可以看到相关信息 四、 升级内核后，保证环境正常运行指南 用户执行apt y update / upgrade操作，可能会导致内核的升级，新内核与智算组件相关驱动不兼容，为保证环境的正确运行，主要分为以下三个情况进行判断并解决： 情况1：错误操作导致内核升级：删除新内核，以旧内核重新启动操作系统，不需对组件驱动进行任何操作； 情况2：原组件与新内核不兼容：环境无法正常使用，则需要查看内核版本，筛选出不兼容的组件，并根据新内核的版本对组件进行重装； 情况3：原组件与新内核兼容：环境可以正常使用，则不需要对原组件进行更新和重装； 由于apt y update / upgrade升级内核后需重启系统才能使用新内核，若非错误操作导致内核升级的情况，可先命令行输入reboot，重启系统。 4.1 验证驱动兼容性 主要组件包括Nvidia Gpu driver、CUDA与cudnn、OFED、nvidiafabricmanager。 检查内核版本 查看可用的内核版本 ：您可以使用以下命令列出当前已安装的内核版本： dpkg list grep linuximage 查看正在使用的内核，是否为新内核，若不是新内核则reboot重启系统后默认使用新内核 uname r 验证Nvidia Gpu driver 显示gpu相关信息 nvidiasmi 执行该命令后，会详细展示显卡的运行状态，包括GPU的驱动程序版本、温度、显存使用情况等。 验证CUDA和cudnn 检查 CUDA 是否正常工作：运行以下命令验证 CUDA 是否正常工作： nvcc version 若显示正常的CUDA版本，则正常 检查 CuDNN 是否正常工作：运行以下命令验证 CuDNN 是否正常工作： cat /proc/version grep CuDNN 如果输出中包含 CuDNN 的版本信息，并且没有出现错误消息，则正常 验证OFED ibstat ib卡State为 active 并且 Link Layer 为: InfiniBand 则正常 ibvdevinfo 检查端口的模式是否为 InfiniBand 验证nvidiafabricmanager systemctl status nvidiafabricmanager 打印正常运行 nvidiasmi topo m 可以看到相关信息 若上述组件验证皆正常，应进一步测试 （1）机器学习框架以确保一切正常。（运行一些简单的示例代码，检查模型训练和推断是否仍然正常工作） （2）查看网络连接以及与其它节点的通信是否正常。

本章节主要介绍在天翼云大数据平台翼MapReduce的大数据集群中如何添加、运行作业。 用户可将自己开发的大数据应用程序提交到翼MapReduce中，执行程序并获取结果。 本章节以MapReduce作业为例，MapReduce作业用于提交jar程序快速并行处理大量数据，是一种分布式数据处理模式和执行环境。通过此次的指导，希望用户能够对如何在翼MapReduce服务中提交、运行MapReduce作业有清晰的认知。 当前翼MR服务尚不支持通过前台界面化进行作业提交、运行的功能。本次的介绍仅说明如何通过后台功能来提交作业。 通过后台提交作业 天翼云大数据平台 翼MapReduce服务中的大数据集群客户端默认安装路径为“/usr/local/”。 1. 登录翼MR管理控制台。 2. 选择“集群列表 > 我的集群”，选中一个运行中的集群并单击集群名，进入集群基本信息页面。 3. 选择“节点管理”，单击展开节点组，显示节点列表。 4. 在目标节点的右侧“操作”列中，单击“远程连接”。 5. 在VNC方式新标签页Web页面中，可以看到服务器的命令行界面，类似于Linux服务器登录模式，输入root账号，并输入密码。 6. 当前翼MR集群默认都是开启Kerberos认证，大数据集群服务及用户使用到的keytab文件默认放置在“/etc/security/keytabs/”目录下，执行以下命令做Kerberos认证。 kinit 翼MapReduce集群用户 进入“/etc/security/keytabs/”目录下，选择你要使用的keytab文件，本文以hdfs.keytab为例，执行如下命令，获取到正确的Principal名称。 klist kt hdfs.Keytab 使用上一步骤获取到的Principal名称，执行如下认证命令。 kinit kt hdfs.Keytab Principal 名称 7. 执行如下命令提交pi计算作业。 cd /usr/local/hadoop3/share/hadoop/mapreduce hadoop jar hadoopmapreduceexamples3.3.3.jar pi 10 10

本页介绍天翼云TeleDB数据库高效的分布式关联能力。 分布式关联是指在不同节点或服务器上存储的数据表之间的关联操作。这种关联操作涉及到跨多个物理位置的数据处理，需要在逻辑上保持数据的一致性和完整性，同时确保查询的高效执行。分布式关联的实现依赖于分布式数据库管理系统（DDBMS）的功能，该系统能够协调和管理分布在多个地点的数据，使得用户或应用程序可以像操作单一数据库一样操作分布式数据库‌。 如，TBLA、TBLB两表关联，其中TBLA和TBLB都有f1，f2两列，其两表分布式关联分为如下三种场景。 场景一：两表关联，关联条件与两张表的分布键相同，都是f1 select from TBLA join TBLB on TBLA.f1 TBLB.f1; 由于两张表的数据分布算法一致，相同f1的数据位于同一个DN节点中，那么只需要在每个DN节点内完成关联，将结果返回CN汇总即可，SQL可以下推DN执行。 场景二：TBLB关联字段没有用到分布键，TBLB很小 select from TBLA join TBLB on TBLA.f1 TBLB.f2; 两张表的数据分布算法一致，相同f1的数据位于同一个DN节点中，由于TBLB的关联字段为f2，TBLA关联需要的TBLB数据,和TBLB数据在DN上的分布情况不一致，不能下推到DN执行。 解决方案： 将TBLB定义为复制表（在每个DN都有一个完整的副本）。此时，每个DN上都有TBLA关联TBLB所需要的数据，关联可以在每个DN节点内完成，SQL就可以下推DN执行。

Chatbox 访问链接：< 点击Setting，然后配置Api Host、API path、API key和Model，就可以使用了。 注意 chatbox web如果api setting配置错误，更改后，仍然会报错。报错如下： 如遇上述报错，建议重新开启一个对话，再次尝试即可。 CherryStudio 访问链接：< 按照下图配置即可。 一旦出现以下报错，重新开启一个对话，再次尝试，则可以看到正确的对话。 Langchain 参考langchain的自定义模型文档通过OpenAI协议调用即可。 python from langchain.chatmodels import ChatOpenAI from langchain.schema import HumanMessage def main(): 初始化LangChain模型，配置自定义API端点 llm ChatOpenAI( modelname"9dc913a037774fc0b248376905c85da5", 自定义模型名称 从环境变量获取API密钥，如果没有设置，也可以直接终端执行export TYYAPIKEY"xxx" openaiapikeyos.getenv("XIRANGAPIKEY") openaiapibase" API基础URL temperature0.7 ) 创建一个聊天消息 message HumanMessage(content"你是谁") 使用LangChain进行对话 response llm([message]) print(response.content) if name "main": main()

本节主要介绍Kvrocks到GeminiDB Redis的迁移方案。 Kvrocks是一款开源的兼容Redis生态的NoSQL keyvalue数据库，底层基于RocksDB实现，并提供namespace功能支持数据分区。Kvrocks集群管理功能相对薄弱，自建集群时需要与外部组件配合，Kvrocks支持的redis命令还不够全面，例如缺少在消息流和统计场景经常使用的stream及hyperloglog数据结构。 GeminiDB Redis是一款兼容Redis生态的云原生NoSQL数据库，基于共享存储池的多副本强一致机制，保证数据的安全可靠。GeminiDB Redis具有高兼容、高性价比、高可靠、弹性伸缩、高可用、无损扩容等特点。不亚于RedisCluster的兼容度，使用户在应用时无需修改代码，可直接使用，100%兼容原生接口。GeminiDB Redis在适配Kvrocks业务的同时，还能克服器管理能力弱、对Redis兼容度不高等缺点。 迁移原理 使用开源工具kvrocks2redis进行Kvrocks到GeminiDB Redis的迁移，在此基础上，从GeminiDB Redis源码层面对Kvrocks的namespace功能进行适配。 迁移过程分为全量和增量两个阶段：迁移开始后，先进行全量迁移，此时对kvrocks打快照，并记录对应的数据版本（seq）。然后解析全量数据文件成redis命令写入GeminiDB Redis。全量迁移完成后进入持续的增量迁移过程，迁移工具循环给Kvrocks发送PSYNC命令，将获取到的增量数据不断转发给GeminiDB Redis，完成增量迁移 。