本章节介绍应用服务网格的服务监控能力 概述 应用服务网格具备控制面&数据面日志以及数据面指标采集上报、查询，链路数据上报能力，本章节介绍具体的观测能力。 服务监控 指标监控页面展示了网格内服务的访问数据，需要选择集群、命名空间和服务名称，可以查看服务的相关访问指标。这里给出了服务，以及更进一步的服务的客户端工作负载（调用该服务的工作负载）和服务工作负载（提供该服务的工作负载）的详细指标。 查询语句中涉及的指标名均为istio官方自带指标。

部署业务服务 部署nginx作为业务服务，请基于当前注入策略配置命名空间和pod的标签，确保nginx pod注入sidecar，如下 apiVersion: v1 kind: Service metadata: name: ngmtls labels: app: ngmtls service: ngmtls spec: ports: port: 8080 targetPort: 80 name: http selector: app: ngmtls apiVersion: apps/v1 kind: Deployment metadata: name: ngmtls labels: app: ngmtls spec: replicas: 1 selector: matchLabels: app: ngmtls name: ngmtls template: metadata: labels: app: ngmtls name: ngmtls source: CCSE spec: containers: name: ngmtls image: registryhuadong1.crsinternal.ctyun.cn/mstools/nginx:1.26alpineperlmtls imagePullPolicy: IfNotPresent ports: containerPort: 80 containerPort: 443 创建ingress网关 创建Ingress网关并绑定ELB，系统自动创建istio Gateway资源，如下 配置网关VirtualService 在VirtualService中指定路由名称为ngroute，匹配路径/index.html，转发到我们部署好的nginx服务 通过浏览器访问/index.html可以看到返回正常的页面

指标名称 指标介绍 logstashmaxjvmheapusage Logstash JVM堆内存使用率最大值 logstashavgjvmheapusage Logstash JVM堆内存使用率平均值 logstashmaxjvmyounggctime Logstash JVM Young GC最大耗时 logstashmaxjvmyounggccount Logstash JVM Young GC最大次数 logstashmaxjvmoldgctime Logstash JVM Old GC最大耗时 logstashmaxjvmoldgccount Logstash JVM Old GC最大次数 logstashmaxcpuusage Logstash CPU利用率最大值 logstashmaxloadaverage15 Logstash 15分钟负载最大值 logstashmaxloadaverage5 Logstash 5分钟负载最大值 logstashmaxloadaverage1 Logstash 1分钟负载最大值 logstashavgcpuusage Logstash CPU使用率平均值 logstashavgloadaverage15 Logstash 15分钟负载平均值 logstashavgloadaverage5 Logstash 5分钟负载平均值 logstashavgloadaverage1 Logstash 1分钟负载平均值 logstashsumeventsin Logstash 经过input插件数据总数 logstashsumeventsfiltered Logstash 经过filter插件数据总数 logstashsumeventsout Logstash 经过output插件数据总数 logstashmaxjvmusage Logstash 最大JVM利用率 logstashavgjvmusage Logstash 平均JVM利用率 logstashmaxmemoryusage Logstash 最大内存利用率 logstashavgmemoryusage Logstash 平均内存使用率 logstashmaxdiskusage Logstash 最大磁盘使用率 logstashavgdiskusage Logstash 平均磁盘使用率

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

本节介绍了云容器引擎的最佳实践:x86和ARM镜像的混合部署。 应用现状 云容器引擎允许在同一集群内同时创建两种不同架构的节点：x86架构和ARM架构。然而，由于这两种架构在底层技术上存在显著差异，因此通常来说，无法将为ARM架构设计的镜像（即应用程序）在x86架构的节点上成功运行，反之亦然。因此，在拥有同时支持x86和ARM节点的集群上部署工作负载时，可能会遭遇部署失败的情况。 解决方案 解决在不同架构的节点使用镜像创建工作负载通常有三种方法： 创建工作负载的时候通过亲和性设置，使用ARM架构镜像时让Pod调度到ARM架构的节点上，使用x86架构镜像时让Pod调度到x86架构的节点上。 创建工作负载的时候通过nodeSelector设置，使用ARM架构镜像时让Pod调度到ARM架构的节点上，使用x86架构镜像时让Pod调度到x86架构的节点上。 构建双架构镜像，同时支持ARM和x86架构。当Pod被调度到ARM架构节点时，将自动拉取针对ARM架构的镜像；而当Pod被调度到x86架构节点时，将自动拉取针对x86架构的镜像。尽管使用同一个地址，但背后实际上包含两个镜像。这种设计简化了工作负载描述文件，使其更具可读性和易于维护，无需单独配置节点亲和性和nodeSelector。

功能 描述 防护对象 多链路数据防护，网段数量不限。以域名和IP方式进行防护。IPv4/IPv6双协议栈。 攻击防护 注入类攻击：SQL注入、代码注入、命令注入、LDAP注入、文件注入、SSI注入等。 跨站脚本攻击：XSS。 通用攻击：HTTP请求走私、HTTP响应分割、SessionFixation等。 恶意软件：代码上传、Webshell后门、其他木马等。 信息泄露：目录信息泄露、服务器信息泄露、数据库信息泄露、源代码泄露、敏感文件信息泄漏、其他信息泄漏。 扫描工具：阻断Nikto、Paros proxy、WebScarab、WebInspect、Whisker、libwhisker、Burpsuite、Wikto、Pangolin、Watchfire AppScan、NStealth、Acunetix Web Vulnerability Scanner 等多种扫描器的扫描行为。 爬虫攻击：恶意网络爬虫，百度、Google、Yahoo等搜索引擎爬虫。 第三方组件漏洞：Web容器漏洞、开源CMS漏洞、Web服务器插件漏洞。 HTTP协议规范性：协议违规、报头缺失、HTTP方法限制、畸形请求、文件限制、头部长度限制。 其他：CC攻击、防敏感词发布、敏感信息隐藏、防盗链、Cookie防篡改/防劫持。 高级防护 智能语义分析：内置SQL注入、XSS语义分析安全规则。 机器学习：内置机器学习安全引擎，对用户Web业务系统建立安全的访问模型，学习内容包括URL、参数、参数类型、参数长度、匹配频率等。 地图区域访问控制：在地图上指定某一地理区域进行访问控制，阻断此区域IP的访问。 服务器隐藏：可删除服务器响应头信息。 自定义规则：对HTTP请求中URI、HOST、参数、参数名、请求头、Cookie、版本号、方法和请求体及HTTP响应的响应体等条件自定义正则，支持多种组合条件。 智能攻击者锁定：智能识别攻击者，对发起攻击的IP地址自动锁定禁止访问被攻击的网站。 威胁情报：云端威胁情报联动，主动发现僵尸IP、代理IP、扫描IP、黑产IP、C&C等恶意IP发起的访问行为，实时统计威胁情报攻击类型占比和攻击频率。 云端高防联动：一键开启防护，L3L7 DDoS安全防护，最高可提供1TB抗DDoS服务。 应用交付 HTML、TXT、JPG、DOC等静态文件缓存，响应内容gzip算法压缩，识别压缩的响应内容。 高可靠性 链路聚合提升网络带宽、增加容错性和链路负载均衡。VLAN子接口，业务口可承载多个VLAN通道。主主模式、主备模式。硬件BYPASS（即物理直通）。软件BYPASS（即过载BYPASS）。 SSL防护 支持第三方认证机构颁发的证书链，实现HTTPS应用系统的防御。 可选择SSL/TLS协议版本。 部署在SSL网关后可解析到真实的访问者IP，对真实的IP进行防护和阻断。 内置SSL加速卡提高设备HTTPS处理性能。 审计 记录攻击事件的HTTP请求头信息，含请求的URL、UserAgent、POST内容、Cookie等所有请求头内容。 记录服务器响应头信息、响应内容。 分析访问量最大的URL、IP地址、文件类型等。

前置条件 1.账号为主账号或者角色为IAM管理员的子账号 2.开通专属集群 操作步骤 队列旨在帮助用户精细化管理资源，队列是一个资源池中部分资源的集合，用于工作负载，比如训练任务、在线服务的运行，一个资源池中可创建多个队列。用户购买资源池后可将资源池划分成若干个队列，并使用队列中的资源处理不同业务的工作负载。 打开队列管理，顶部导航栏下拉选择集群的位置，选择到自己所有的专属集群。 【创建队列】操作 点击【创建队列】按钮，进入创建队列页面，填写相应信息。 说明 负载类型：选择的负载类型，代表对应的任务可以提交到该队列，占用该队列资源。比如某队列，负载类型选择了大模型微调、在线服务，则代表这两类任务可以提交到该队列，其他任务比如IDE、大模型评估等不可以提交到该队列。 实例规格和实例数：共同决定了该队列的资源额度上限。 管理员和成员：管理员的权限高于成员，成员只能使用该队列的资源，管理员除了能使用资源以外，还能管理该队列，具体包含管理用户，编辑，更配、启动/停止、删除操作。 【查询】操作 创建好的队列会出现在队列列表里，可通过负载类型、状态筛选，也可以通过队列ID、名称搜索。

字段 类型 必选 说明 workloadSelector WorkloadSelector N 用于选择匹配的工作负载 configPatches EnvoyConfigObjectPatch[] N 需要下发到数据面的配置 priority int N 优先级定义，可用于处理个EnvoyFilter匹配同一个工作负载，且EnvoyFilter之间存在依赖关系的场景 1. 默认的生效顺序为根命名空间 > 工作负载命名空间，在一个EnvoyFilter内的多个patch按照定义的顺序生效 2. 如果优先级为负，则在默认生效规则之前生效，如果为正则在默认生效规则之后生效 3. 建议优先级定义时保留足够的间隔，用于插入新的补丁

Nacossdkgo Nacossdkgo是Nacos的Go语言客户端，它实现了服务发现和动态配置的功能 使用限制 支持Go>v1.15版本 支持Nacos>2.x版本 安装 安装开源SDK go get github.com/nacosgroup/nacossdkgo/v2 快速使用 ClientConfig constant.ClientConfig{ TimeoutMs uint64 // 请求Nacos服务端的超时时间，默认是10000ms NamespaceId string // ACM的命名空间Id CacheDir string // 缓存service信息的目录，默认是当前运行目录 UpdateThreadNum int // 监听service变化的并发数，默认20 NotLoadCacheAtStart bool // 在启动的时候不读取缓存在CacheDir的service信息 UpdateCacheWhenEmpty bool // 当service返回的实例列表为空时，不更新缓存，用于推空保护 Username string // Nacos服务端的API鉴权Username Password string // Nacos服务端的API鉴权Password LogDir string // 日志存储路径 RotateTime string // 日志轮转周期，比如：30m, 1h, 24h, 默认是24h MaxAge int64 // 日志最大文件数，默认3 LogLevel string // 日志默认级别，值必须是：debug,info,warn,error，默认值是info } ServerConfig constant.ServerConfig{ ContextPath string // Nacos的ContextPath，默认/nacos，在2.0中不需要设置 IpAddr string // Nacos的服务地址 Port uint64 // Nacos的服务端口 Scheme string // Nacos的服务地址前缀，默认http，在2.0中不需要设置 GrpcPort uint64 // Nacos的 grpc 服务端口, 默认为 服务端口+1000, 不是必填 } 我们可以配置多个ServerConfig，客户端会对这些服务端做轮询请求 服务发现 注销实例：DeregisterInstance success, err : namingClient.DeregisterInstance(vo.DeregisterInstanceParam{ Ip: "${ipAddr}", Port: 8848, ServiceName: "demo.go", Ephemeral: true, Cluster: "clustera", // 默认值DEFAULT GroupName: "groupa", // 默认值DEFAULTGROUP }) 获取服务信息：GetService services, err : namingClient.GetService(vo.GetServiceParam{ ServiceName: "demo.go", Clusters: []string{"clustera"}, // 默认值DEFAULT GroupName: "groupa", // 默认值DEFAULTGROUP }) 获取所有的实例列表：SelectAllInstances services, err : namingClient.GetService(vo.GetServiceParam{ ServiceName: "demo.go", Clusters: []string{"DEFAULT"}, // 默认值 GroupName: "groupa", // 默认值DEFAULTGROUP }) 获取实例列表 ：SelectInstances // SelectInstances 只返回满足这些条件的实例列表：healthy${HealthyOnly},enabletrue 和weight>0 instances, err : namingClient.SelectInstances(vo.SelectInstancesParam{ ServiceName: "demo.go", GroupName: "groupa", // 默认值DEFAULTGROUP Clusters: []string{"clustera"}, // 默认值DEFAULT HealthyOnly: true, }) 获取一个健康的实例（加权随机轮询）：SelectOneHealthyInstance // SelectOneHealthyInstance将会按加权随机轮询的负载均衡策略返回一个健康的实例 // 实例必须满足的条件：healthtrue,enabletrue and weight>0 instance, err : namingClient.SelectOneHealthyInstance(vo.SelectOneHealthInstanceParam{ ServiceName: "demo.go", GroupName: "groupa", // 默认值DEFAULTGROUP Clusters: []string{"clustera"}, // 默认值DEFAULT }) 监听服务变化：Subscribe // Subscribe keyserviceName+groupName+cluster // 注意:我们可以在相同的key添加多个SubscribeCallback. err : namingClient.Subscribe(vo.SubscribeParam{ ServiceName: "rccdemo", GroupName: "DEFAULTGROUP", // 默认值DEFAULTGROUP Clusters: []string{"clustera"}, // 默认值DEFAULT SubscribeCallback: func(services []model.Instance, err error) { log.Printf("nn callback return services:%s nn", utils.ToJsonString(services)) }, })

本节介绍了:创建一个无状态工作负载——查看容器实例日志的用户指引。 在工作负载实例详情的界面中，选择日志可以查看容器实例的日志。

本章节介绍云原生网关的计费项、计费方式和计费规则。本产品计费不包含负载均衡和容器服务等IaaS层资源的费用。 计费项 MSE云原生网关的计费项包含MSE托管的网关实例费用和数据盘费用，其中数据盘费用单独计算。 计费方式 目前云原生网关提供包年包月和按需付费两种付费模式。 按需付费：按需付费是后付费模式，您只需按实际情况进行使用，然后按照使用账单付费即可。 为避免造成您的损失，如果您不想再使用此产品，则需要您在应用管理页面内删除应用，系统才会正式停止计费。 包年包月：包年包月是预付费模式，按照包年包月的方式进行付费购买。 只要您实际接入的实例数不超过您购买的实例数，不会造成额外的费用。 包年包月的模式下，您需要在到期前进行续费或选择自动续费的方式，确保产品持续可用。 计费规则 实例计费规则 云原生网关实例计费规则如下： 版本类型 主机类型 CPU(核） 内存（GB） 按需（元/节点/小时） 包月（元/节点/月） 云原生网关基础版 X86通用型 2 4 0.84 422 云原生网关基础版 X86通用型 4 8 1.68 844 云原生网关基础版 X86通用型 8 16 3.35 1688 云原生网关基础版 X86通用型 16 32 6.7 3376 云原生网关集群版 X86通用型 2 4 0.84 422 云原生网关集群版 X86通用型 4 8 1.68 844 云原生网关集群版 X86通用型 8 16 3.35 1688 云原生网关集群版 X86通用型 16 32 6.7 3376 云原生网关集群版(鲲鹏系列主机) ARM鲲鹏 2 4 1.764 886.2 云原生网关集群版(鲲鹏系列主机) ARM鲲鹏 4 8 3.528 1772.4 云原生网关集群版(鲲鹏系列主机) ARM鲲鹏 8 16 7.035 3544.8 云原生网关集群版(鲲鹏系列主机) ARM鲲鹏 16 32 14.07 7089.6 云原生网关集群版(飞腾系列主机) ARM飞腾 2 4 1.176 590.8 云原生网关集群版(飞腾系列主机) ARM飞腾 4 8 2.352 1181.6 云原生网关集群版(飞腾系列主机) ARM飞腾 8 16 4.69 2363.2 云原生网关集群版(飞腾系列主机) ARM飞腾 16 32 9.38 4726.4 云原生网关集群版(海光系列主机) X86海光 2 4 1.26 633 云原生网关集群版(海光系列主机) X86海光 4 8 2.52 1266 云原生网关集群版(海光系列主机) X86海光 8 16 5.025 2532 云原生网关集群版(海光系列主机) X86海光 16 32 10.05 5064 以订购云原生网关集群版2C4G为例，若订购3节点，则价格为：42231266元/月。

本文将指引您搭建一个IPv6网段的VPC,并在VPC中创建一个带有IPv6地址的集群和节点,使节点可以访问Internet上的IPv6服务。 简介 IPv6的使用，可以有效弥补IPv4网络地址资源有限的问题。如果当前集群中的工作节点（如ECS）使用IPv4，那么启用IPv6后，工作节点可在双栈模式下运行，即工作节点可以拥有两个不同版本的IP地址：IPv4地址和IPv6地址，这两个IP地址都可以进行内网/公网访问。 使用场景 如果您的应用需要为使用IPv6终端的用户提供访问服务，则您可使用：IPv6弹性公网IP或IPv6双栈。 如果您的应用既需要为使用IPv6终端的用户提供访问服务，又需要对这些访问来源进行数据分析处理，则您必须使用IPv6双栈。 如果您的应用系统与其他系统（例如：数据库系统）、应用系统之间需要使用IPv6进行内网访问，则您必须使用IPv6双栈。 使用IPv6双栈请参考IPv4/IPv6双栈网络、IPv6弹性公网IP。 搭建IPv4/IPv6双栈集群步骤 步骤 1 创建虚拟私有云，且创建已开启了IPv6的子网。若没有，则参考创建虚拟私有云和子网。 1. 创建VPC时需开启IPv6 2. 创建子网并开启IPv6 步骤 2 创建集群 1. 登录CCE控制台，在右上角中选择“创建集群”。 2. 网络配置请按如下设置，其余配置可参考订购集群： 虚拟私有云：选择已开启IPv6的VPC。 所在子网：仅支持选择已开启了IPv6的子网。 启用IPv6：选择开启，开启后将支持通过IPv6地址段访问集群资源，包括节点，工作负载等。 Pod子网：仅支持选择已开启了IPv6的子网。 Service CIDR：容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。 Service CIDRV6：该网段决定了支持 IPv6 地址的 Service 资源的上限，创建后不可修改，默认为fc00::/112。如需自定义该网段，需要满足以下要求，详情请参考如何设置Service CIDRV6网段： Service CIDRV6网段需属于fc00::/8网段内。 IPv6地址前缀长度范围为112120，您可以通过调整前缀数值，调整地址个数，地址数最多可支持65536个

本文将指引您搭建一个IPv6网段的VPC,并在VPC中创建一个带有IPv6地址的集群和节点,使节点可以访问Internet上的IPv6服务。 简介 IPv6的使用，可以有效弥补IPv4网络地址资源有限的问题。如果当前集群中的工作节点（如ECS）使用IPv4，那么启用IPv6后，工作节点可在双栈模式下运行，即工作节点可以拥有两个不同版本的IP地址：IPv4地址和IPv6地址，这两个IP地址都可以进行内网/公网访问。 使用场景 如果您的应用需要为使用IPv6终端的用户提供访问服务，则您可使用：IPv6弹性公网IP或IPv6双栈。 如果您的应用既需要为使用IPv6终端的用户提供访问服务，又需要对这些访问来源进行数据分析处理，则您必须使用IPv6双栈。 如果您的应用系统与其他系统（例如：数据库系统）、应用系统之间需要使用IPv6进行内网访问，则您必须使用IPv6双栈。 使用IPv6双栈请参考IPv4/IPv6双栈网络、IPv6弹性公网IP。 搭建IPv4/IPv6双栈集群步骤 步骤 1 创建虚拟私有云，且创建已开启了IPv6的子网。若没有，则参考创建虚拟私有云和子网。 1. 创建VPC时需开启IPv6 2. 创建子网并开启IPv6 步骤 2 创建集群 1. 登录CCE控制台，在右上角中选择“创建集群”。 2. 网络配置请按如下设置，其余配置可参考订购集群： 虚拟私有云：选择已开启IPv6的VPC。 所在子网：仅支持选择已开启了IPv6的子网。 启用IPv6：选择开启，开启后将支持通过IPv6地址段访问集群资源，包括节点，工作负载等。 Pod子网：仅支持选择已开启了IPv6的子网。 Service CIDR：容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。 Service CIDRV6：该网段决定了支持 IPv6 地址的 Service 资源的上限，创建后不可修改，默认为fc00::/112。如需自定义该网段，需要满足以下要求，详情请参考如何设置Service CIDRV6网段： Service CIDRV6网段需属于fc00::/8网段内。 IPv6地址前缀长度范围为112120，您可以通过调整前缀数值，调整地址个数，地址数最多可支持65536个

本章节介绍Redis节点CPU高负载故障演练。 背景介绍 Redis 是高性能内存数据库，当节点 CPU 被高计算量、大量连接或复杂命令占满时，会出现响应变慢、吞吐下降，甚至主备切换。本演练通过模拟 Redis 主/备节点的高 CPU 负载，验证业务在请求超时、重试等场景下的容错能力，并检查 Redis 实例的高可用切换机制。 基本原理 在节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式缓存服务Redis版 ，然后单击添加资源。 3. 在弹出的对话框中，勾选目标Redis 实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式缓存服务Redis版。 添加实例 ：单击添加实例 ，勾选上一步中添加的Redis实例。 添加故障动作 ：单击立即添加 ，在列表中选择CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点 ：注入故障的目标节点（主节点或备节点）。 CPU占用率：指定CPU负载百分比（取值 0100）。

本文将为您介绍通过专线网关实现物理专线双链路负载方式访问VPC。 应用场景 本地IDC通过两条物理专线接入天翼云华北2地域相同接入点。采用双链路负载方式，实现本地IDC网络与天翼云华北2地域中的VPC网络互通。如需使用云企业路由器搭建跨AZ入云网络架构，物理电路通过接入不同AZ接入点，实现双链路负载方式访问VPC网络，具体操作说明详见本地IDC通过负载专线入云。 本地IDC接入天翼云华北2地域的物理专线，配置如下。 物理专线名称 互联地址（天翼云侧） 互联地址（用户侧） 掩码 VLAN 物理专线1 10.250.0.1 10.250.0.2 255.255.255.252 100 物理专线2 10.250.0.5 10.250.0.6 255.255.255.252 200 天翼云华北2地域的VPC，配置如下。 VPC名称 VPC网段（IPv4） 子网网段（IPv4） VPC1 10.10.0.0/16 10.10.0.0/24 前提条件 1、在天翼云华北2已创建两条物理专线，具体操作说明详见创建物理专线。 2、在天翼云华北2已创建一个专线网关，具体操作说明详见创建专线网关。 3、在天翼云华北2已创建一个VPC，具体操作说明详见创建VPC。

本文主要介绍 Pod标签与注解。 Pod注解 CCE提供一些使用Pod的高级功能，这些功能使用时可以通过给YAML添加注解Annotation实现。具体的Annotation如下表所示。 Pod Annotation 注解 说明 默认值 kubernetes.AOM.log.stdout 容器标准输出采集参数，不配置默认将全部容器的标准输出上报至AOM，可配置采集指定容器或全部不采集。 示例： 全部不采集kubernetes.AOM.log.stdout: '[]' 采集container1和container2容器。kubernetes.AOM.log.stdout: '["container1","container2"]' metrics.alpha.kubernetes.io/customendpoints AOM监控指标上报参数，可将指定指标上报是AOM服务。 prometheus.io/scrape Prometheus指标上报参数，值为true表示当前负载开启上报。 prometheus.io/path Prometheus采集的url路径。 /metrics prometheus.io/port Prometheus采集的endpoint端口号。 prometheus.io/scheme Prometheus采集协议，值可以填写http或https kubernetes.io/ingressbandwidth Pod的入口带宽 kubernetes.io/egressbandwidth Pod的出口带宽 Pod标签 在控制台创建工作负载时，会默认为Pod添加如下标签，其中app的值为工作负载名称。您也可以根据需要为Pod添加其他标签。 在此处添加的Pod标签，同时也会在工作负载中添加selector.matchLabels，且一一对应，YAML示例如下。 ... spec: selector: matchLabels: app: nginx version: v1 template: metadata: labels: app: nginx version: v1 spec: ...

本文主要介绍管理节点标签。 节点标签可以给节点打上不同的标签，给节点定义不同的属性，通过这些标签可以快速的了解各个节点的特点。 节点标签使用场景 节点标签的主要使用场景有两类。 节点管理：通过节点标签管理节点，给节点分类。 工作负载与节点的亲和与反亲和： 有的工作负载需要的CPU大，有的工作负载需要的内存大，有的工作负载需要IO大，可能会影响其他工作负载正常工作等等，此时建议给节点添加不同标签。在部署工作负载的时候，就可以选择相应标签的节点亲和部署，保证系统正常工作；反之，可以使用节点的反亲和部署。 一个系统可以分为多个模块，每个模块由多个微服务组成，为保证后期运维的高效，可以将节点打上对应模块的标签，让各模块部署到各自的节点模块上，互不干扰，方便开发到各自节点上去维护。 节点固有标签 节点创建出来会存在一些固有的标签，并且是无法删除的，这些标签的含义请参见下表。 表节点固有标签 键 说明 新：topology.kubernetes.io/region 旧：failuredomain.beta.kubernetes.io/region 表示节点当前所在区域。 新：topology.kubernetes.io/zone 旧：failuredomain.beta.kubernetes.io/zone 表示节点所在区域的可用区。 新：node.kubernetes.io/baremetal 旧：failuredomain.beta.kubernetes.io/isbaremetal 表示是否为物理机节点。例如：false，表示非物理机节点 node.kubernetes.io/containerengine 表示容器引擎。例如：docker、containerd node.kubernetes.io/instancetype 节点实例规格。 kubernetes.io/arch 节点处理器架构。 kubernetes.io/hostname 节点名称。 kubernetes.io/os 节点操作系统类型。 node.kubernetes.io/subnetid 节点所在子网的ID。 os.architecture 表示节点处理器架构。例如：amd64，表示AMD64位架构的处理器 os.name 节点的操作系统名称。 os.version 操作系统节点内核版本。 node.kubernetes.io/containerengine 节点所用容器引擎。 accelerator GPU节点标签。 cce.cloud.com/ccenodepool 节点池节点专属标签。

本节介绍云容器引擎的最佳实践: 应用高可用部署推荐。 基本原则 可参考如下几点，实现容器应用高可用部署： 1. 集群控制节点高可用，控制节点数大于等于3； 2. 集群需有多个属于不同可用区的节点，业务根据自身需求合理配置调度策略，以实现多可用区部署及资源均匀分配； 3. 创建多个在不同可用区的节点池，通过节点池做节点伸缩； 4. 工作负载实例数需大于等于2； 5. 配置工作负载的亲和性规则，让Pod尽量分布在不同可用区、不同节点上。 操作步骤 假设集群3个控制节点和3个工作节点，工作节点可用区分布如下所示： $ kubectl get node L topology.kubernetes.io/zone grep v master NAME STATUS ROLES AGE VERSION ZONE ccseagent1b54ffbc17 Ready 40m v1.25.6 cnxinan11A ccseagent59ab9e7689 Ready 38m v1.25.6 cnxinan12A ccseagenta7527e3e80 Ready 36m v1.25.6 cnxinan13A 创建工作负载，如下所示，定义两条podAntiAffinity反亲和性规则： 工作负载多实例配置可用区反亲和，参数设置如下： 权重weight：权重值越高会被优先调度，本示例设置为50； 拓扑域topologyKey：为节点标签，用于指定调度时的作用域，下述示例为topology.kubernetes.io/zone，该标签用于识别节点在哪个可用区。 标签选择labelSelector：选择Pod的标签，与工作负载本身反亲和。 工作负载多实例配置节点反亲和，参数设置如下： 权重weight：设置为50； 拓扑域topologyKey：为标签kubernetes.io/hostname，该标签值为节点名； 标签选择labelSelector：即工作负载多个实例Pod的标签，实例间反亲和。 kind: Deployment apiVersion: apps/v1 metadata: name: demo namespace: default spec: replicas: 2 selector: matchLabels: app: demo template: metadata: labels: app: demo spec: containers: name: container0 image: nginx:latest resources: limits: cpu: 300m memory: 512Mi requests: cpu: 400m memory: 512Mi affinity: podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: weight: 50 podAffinityTerm: labelSelector:

本节介绍使用集群联邦实现应用多活容灾。 CCE One集群联邦支持将工作负载的实例分发至多个集群中，避免单集群故障引发业务中断，保障业务连续性。 前提条件 1. 已创建两个及以上的注册集群，具体操作参见 订购注册集群 章节。若已有集群，无需重复操作。 2. 已开通CCE One集群联邦实例。 环境搭建 1. 登录CCE One控制台，在左侧导航栏选择“集群资源” > “集群管理”，进入集群管理界面，确认待操作集群均处于“运行中”状态。 2. 在CCE One控制台左侧导航栏选择“舰队联邦” > “舰队管理”，新建一个容器舰队，并将待操作集群添加至舰队中。 3. 在CCE One控制台左侧导航栏选择“舰队联邦” > “联邦管理”，选择待操作联邦实例，进入联邦管理界面，查看“成员信息”，确认舰队及其下集群已接入联邦。 4. 在联邦管理界面左侧导航栏选择“工作负载” > “无状态”，创建一个nginx无状态负载。 填写负载名称、命名空间、实例数量、容器镜像等信息后，点击”下一步：调度与差异化“。 调度与差异化配置中，调度方式选择“集群权重”，并将两个集群权重设置为1:1。 注意 1. 如果待操作的多个集群位于不同资源池，建议打开“差异化配置”，按集群所在的资源池配置对应容器镜像，避免镜像拉取失败。 2. 配置完成后，点击“创建工作负载”进行创建，等待工作负载运行。

修复指导 请检查命名空间是否配置了自动注入sidecar，如果配置后重启Pod仍然无法注入，请检查实例数量是否超过了套餐限制。 如果网格未开启命名空间注入，可参考sidecar注入，为命名空间下所有工作负载关联的Pod注入sidecar。或者只为某个工作负载注入sidecar，方法如下： a.为工作负载所在命名空间打上istioinjectionenabled标签。 kubectl label ns istioinjectionenabled b.在CCE控制台为工作负载添加annotations字段。 annotations: sidecar.istio.io/inject: 'true' 您可以单击Installing the Sidecar了解更多sidecar注入的知识。 如果网格已经开启了命名空间注入，但是Pod未注入sidecar，需要在CCE控制台手动重启Pod，或者检查网格实例数量是否已经超出套餐配额。

本文主要介绍如何使用第三方镜像。 操作场景 CCE支持拉取第三方镜像仓库的镜像来创建工作负载。 通常第三方镜像仓库必须经过认证（帐号密码）才能访问，而CCE中容器拉取镜像是使用密钥认证方式，这就要求在拉取镜像前先创建镜像仓库的密钥。 前提条件 使用第三方镜像时，请确保工作负载运行的节点可访问公网。 通过界面操作 步骤 1 创建第三方镜像仓库的密钥。 单击集群名称进入集群，在左侧导航栏选择“配置项与密钥”，在右侧选择“密钥”页签，单击右上角“创建密钥”，密钥类型必须选择为kubernetes.io/dockerconfigjson，如下图所示。详细操作请参见创建密钥。 此处的“用户名”和“密码”请填写第三方镜像仓库的帐号密码。 图 添加密钥 步骤 2 创建工作负载时，可以在“镜像名称”中直接填写私有镜像地址，填写的格式为domainname/namespace/imagename:tag，并选择步骤1中创建的密钥。 步骤 3 填写其他参数后，单击“创建工作负载”。

通过本地磁盘存储将容器所在宿主机的文件目录挂载到容器的指定路径中，也可以不填写源路径。 本地磁盘使用场景 使用本地硬盘有四种形式： 主机路径挂载：将容器所在宿主机的文件目录挂载到容器指定的挂载点中，如容器需要访问/etc/hosts则可以使用HostPath映射/etc/hosts等场景。 临时路径挂载：用于临时存储，生命周期与容器实例相同。容器实例消亡时，EmptyDir会被删除，数据会永久丢失。 配置项挂载：将ConfigMap配置项中的key映射到容器中，可以用于挂载配置文件到指定容器目录。ConfigMap的创建请参见创建配置项，具体使用请参见使用配置项。 密钥挂载：将密钥中的数据挂载到容器的某一路径中。密钥是一种用于存储工作负载所需要认证信息、密钥的敏感信息等的资源类型，内容由用户决定。Secret的创建请参见创建密钥，具体使用请参见使用密钥。 下面分别介绍如何通过这四种形式进行挂载。 主机路径(HostPath)挂载 主机路径(HostPath)挂载表示将主机上的路径挂载到指定的容器路径。通常用于：“容器工作负载程序生成的日志文件需要永久保存”或者“需要访问宿主机上Docker引擎内部数据结构的容器工作负载”。 步骤 1 参照创建无状态负载(Deployment)、创建有状态负载(StatefulSet)或创建守护进程集(DaemonSet)，在“容器设置”步骤中，展开“数据存储”，单击“添加本地磁盘”。 步骤 2 设置添加本地磁盘参数，如下表。 表卷类型选择主机路径挂载 参数 参数说明 存储类型 主机路径(HostPath)。 主机路径 输入主机路径，如/etc/hosts。 说明 请注意“主机路径”不能设置为根目录“/”，否则将导致挂载失败。挂载路径一般设置为： /opt/xxxx（但不能为/opt/cloud） /mnt/xxxx（但不能为/mnt/paas） /tmp/xxx /var/xxx （但不能为/var/lib、/var/script、/var/paas等关键目录） /xxxx（但不能和系统目录冲突，例如bin、lib、home、root、boot、dev、etc、lost+found、mnt、proc、sbin、srv、tmp、var、media、opt、selinux、sys、usr等） 注意不能设置为/home/paas、/var/paas、/var/lib、/var/script、/mnt/paas、/opt/cloud，否则会导致系统或节点安装失败。 添加容器挂载 配置如下参数： 1. 子路径：请输入子路径，如：tmp。 使用子路径挂载本地磁盘，实现在单一Pod中重复使用同一个Volume。不填写时默认为根。 2. 挂载路径：请输入挂载路径，如：/tmp。 数据存储挂载到容器上的路径。请不要挂载在系统目录下，如“/ ”、“/var/run ”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 须知： 挂载高危目录的情况下 ，建议使用低权限帐号启动，否则可能会造成宿主机高危文件被破坏。 3. 权限： 只读：只能读容器路径中的数据卷。 读写：可修改容器路径中的数据卷，容器迁移时新写入的数据不会随之迁移，会造成数据丢失。 单击“添加容器挂载”可增加多条设置，单击“确定”完成配置。 临时路径(EmptyDir)挂载 临时路径(EmptyDir)挂载适用于临时存储、灾难恢复、共享运行时数据等场景，工作负载实例的删除或者迁移会导致临时路径被删除。 步骤 1 参照创建无状态负载(Deployment)、创建有状态负载(StatefulSet)或创建守护进程集(DaemonSet)，在添加容器后，展开“数据存储”，单击“添加本地磁盘”。 步骤 2 选择本地磁盘类型为“临时路径挂载”，设置添加本地磁盘参数，如下表。 表卷类型选择临时路径挂载 参数 参数说明 存储类型 临时路径(EmptyDir)。 磁盘介质 若勾选“内存”，可以提高运行速度，但存储容量受内存大小限制。适用于数据量少，读写效率要求高的场景。 说明： Memory的EmptyDir使用的是内存，注意内存大小，用超过了容易oom。 Memory的EmptyDir的大小为实例规格的50%，暂时无法更改。 不使用Memory的EmptyDir不会占用系统内存。 若不勾选“内存”，即存储在硬盘上，适用于数据量大，读写效率要求低的场景。 添加容器挂载 配置如下参数： 1. 子路径：请输入子路径，如：tmp。 使用子路径挂载本地磁盘，实现在单一Pod中重复使用同一个Volume。不填写时默认为根。 2. 挂载路径：请输入挂载路径，如：/tmp。 数据存储挂载到容器上的路径。请不要挂载在系统目录下，如“/ ”、“/var/run ”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 须知： 挂载高危目录的情况下 ，建议使用低权限帐号启动，否则可能会造成宿主机高危文件被破坏。 3. 权限： 只读：只能读容器路径中的数据卷。 读写：可修改容器路径中的数据卷，容器迁移时新写入的数据不会随之迁移，会造成数据丢失。 单击“添加容器挂载”可增加多条设置，单击“确定”完成配置。 配置项(ConfigMap)挂载 配置项(ConfigMap)挂载是将配置项中的数据挂载到指定的容器路径。平台提供工作负载代码和配置文件的分离，“配置项挂载”用于处理工作负载配置参数。用户需要提前创建工作负载配置，操作步骤请参见创建配置项。 步骤 1 参照创建无状态负载(Deployment)、创建有状态负载(StatefulSet)或创建守护进程集(DaemonSet)，在添加容器后，展开“数据存储”，单击“添加本地磁盘”。 步骤 2 选择本地磁盘类型为“配置项挂载”，设置添加本地磁盘参数，如下表。 表卷类型选择配置项挂载 参数 参数说明 存储类型 配置项(ConfigMap)。 配置项 选择对应的配置项名称。 配置项需要提前创建，具体请参见“创建配置项”。 添加容器挂载 配置如下参数： 1. 子路径：请输入子路径，如：tmp。 使用子路径挂载本地磁盘，实现在单一Pod中重复使用同一个Volume。不填写时默认为根。 2. 挂载路径：请输入挂载路径，如：/tmp。 数据存储挂载到容器上的路径。请不要挂载在系统目录下，如“/ ”、“/var/run ”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 须知： 挂载高危目录的情况下 ，建议使用低权限帐号启动，否则可能会造成宿主机高危文件被破坏。 3. 设置权限：只读。只能读容器路径中的数据卷。 单击“添加容器挂载”可增加多条设置，单击“确定”完成配置。 密钥(Secret)挂载 密钥(Secret)挂载将密钥中的数据挂载到指定的容器路径，密钥内容由用户决定。用户需要提前创建密钥，操作步骤请参见创建密钥。 步骤 1 参照创建无状态负载(Deployment)、创建有状态负载(StatefulSet)或创建守护进程集(DaemonSet)，在添加容器后，展开“数据存储”，单击“添加本地磁盘”。 步骤 2 选择本地磁盘类型为“密钥挂载”，设置添加本地磁盘参数，如下表。 卷类型选择密钥挂载 参数 参数说明 存储类型 密钥(Secret)。 密钥 选择对应的密钥名称。 密钥需要提前创建，具体请参见“创建密钥”。 添加容器挂载 配置如下参数： 1. 子路径：请输入子路径，如：tmp。 使用子路径挂载本地磁盘，实现在单一Pod中重复使用同一个Volume。不填写时默认为根。 2. 挂载路径：请输入挂载路径，如：/tmp。 数据存储挂载到容器上的路径。请不要挂载在系统目录下，如“/ ”、“/var/run ”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 须知 挂载高危目录的情况下 ，建议使用低权限帐号启动，否则可能会造成宿主机高危文件被破坏。 3. 设置权限：只读。只能读容器路径中的数据卷。 单击“添加容器挂载”可增加多条设置，单击“确定”完成配置。

功能 说明 回源配置模块支持客户自定义源站。支持IP或域名，支持配置多个源站地址，多源站场景下，支持设置源站的主备优先级和权重，实现负载均衡。 如果您的加速域名有多个源站，可以配置合适的回源策略来实现不同的效果。动态回源策略支持择优回源、按权重回源、保持登录三种回源方式；静态回源策略默认轮询回源，无需配置。 回源协议指全站加速节点回源站请求资源时使用的协议。配置该功能后，全站加速节点将根据指定的协议回源。全站加速支持HTTP回源协议，HTTPS回源协议、跟随客户端请求使用的协议回源三种回源协议。 回源协议为HTTPS协议时，全站加速默认使用国际标准加密算法回源，也可以选择使用国密加密算法回源或者跟随客户端加密算法回源；未选择默认使用国际加密算法回源。 源站端口，是指源站接收用户请求时所用的端口，一般http协议和https协议使用不同的源站端口。 当您的源站的同一个IP地址上绑定多个域名或站点时配置回源HOST，全站加速在回源时根据HOST信息去对应站点获取资源。 当您的加速域名配置了多个回源站点，且回源站点与加速域名不同时，您可以使用指定源站回源HOST功能，为不同的源站配置不同的回源HOST，天翼云全站加速产品在回源时会根据配置的回源HOST信息去访问不同站点的资源。 当源站绑定了多个域名，且源站服务运行在非80/443端口（比如8080）时，开启回源HOST带端口功能，全站加速回源时可以在回源HOST中带上具体的端口（如test.ctyun.cn:8080），精准找到源站服务。 如果一个源站IP地址绑定多个域名，且全站加速使用HTTPS协议回源时，需通过配置回源SNI的方式，在SNI中指定具体的请求域名，此时源站服务器可以返回该域名对应的SSL证书，以达到多个域名共用源站的目的。 回源URI改写可以实现在用户请求回源时对回源URI进行改写，配置回源URI改写功能后，全站加速节点向源站发起回源请求时将使用改写后的URI。 回源参数改写功能可改写回源请求URL中的查询参数，即问号后的参数值。可支持参数的新增、删除、修改，以及保留或忽略所有参数。 开启Common Name白名单功能后，全站加速节点以HTTPS协议与源站建连时，将会对请求的SNI和源站返回证书的Common Name进行校验。 配置回源302/301跟随功能后，全站加速节点会代替用户去处理源站响应的302/301状态码内容，即全站加速节点会直接跳转到源站302/301响应中的Location地址请求资源，不会把源站响应的302/301跳转地址直接返回给用户，让用户自己去请求跳转地址的资源。 Range回源功能开启后，全站加速节点可以以分片的形式缓存文件，可以有效提高文件分发效率，降低首包时延，同时提高缓存利用率，减少不必要的回源。 回源超时时间包括回源连接超时时间跟回源请求超时时间： 回源连接超时时间指回源节点与源站服务器建立连接的超时时间。 回源请求超时时间指回源节点与源站服务器建连成功后，向源站服务器发送请求的超时时间。 “回源超时时间设置（新）”与“回源超时时间设置”的区别：新的回源连接超时时间和回源请求超时时间具备内部链路超时时间从回源层往边缘层逐层递增的能力，默认递增1s。可促进回源重试，降低访问异常的概率。 如果您的域名有多个源站，且希望通过全站加速实现多个源站之间负载均衡，您可以按照区域或者运营商划分源站，让不同区域或者运营商的客户端IP回不同的源，从而实现同运营商回源，或者就近回源。 如果您的域名既有ipv4源站，又有ipv6源站，可以配置区分ipv4/ipv6协议回源，可实现ipv4协议的客户端回ipv4的源站，ipv6协议的客户端回ipv6的源站。同时也可基于客户实际需求，设置V4和V6用户按指定权重回对应V4和V6源站。 当客户希望全站基于某些特殊场景回不同源站时，例如需要根据请求的不同文件后缀名、不同目录回不同的源站时，可以使用天翼云高级回源功能。 若客户使用天翼云媒体存储/对象存储作为源站，在新建Bucket权限选择【私有】之后，需要配置私有Bucket回源功能。

本章节主要介绍故障演练服务技术类问题。 故障演练的实现原理是什么？ 不同类型的故障动作实现原理各不相同，详细说明请参考故障动作库中的具体文档，下表简要概述了各类动作的核心原理： 分类 资源类型 动作类型 动作 简介 原理描述 计算 云主机 主机资源 主机宕机 使用云主机接口对实例进行关机 通过调用云主机关机OpenAPI触发关机 计算 云主机 CPU资源 CPU高负载 使用内部自研工具实施CPU高负载 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是启动自定义程序，空跑for循环来消耗CPU时间片 计算 云主机 内存资源 内存高负载 使用内部自研工具实施内存高负载 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是启动自定义程序不断申请内存，模拟主机内存负载升高 注意：设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 计算 云主机 磁盘资源 IO高负载 使用内部自研工具实施磁盘IO高负载 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 计算 云主机 磁盘资源 IO Hang 模拟磁盘产生IO Hang效果 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过fsfreeze命令模拟磁盘夯死表现 注意：设置磁盘夯死故障注入后，可能会导致应用无法读写文件产出异常，请谨慎使用 计算 云主机 磁盘资源 磁盘填充 使用内部自研工具实施磁盘填充 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过dd命令将数据写入文件 计算 云主机 网络资源 网络丢包 使用TC和Netem模拟主机内网络丢包 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络丢包 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 网络延迟 使用TC和Netem模拟主机内网络延迟 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络延迟 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 网络包重复 使用TC和Netem模拟主机内网络包重复 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络包重复 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 网络包乱序 使用TC和Netem模拟主机内网络包乱序 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络包乱序 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 网络包损坏 使用TC和Netem模拟主机内网络包损坏 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络包损坏 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 端口占用 模拟指定端口占用 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是启动自定义程序， 创建Socket对象并绑定到指定端口 计算 云主机 网络资源 DNS篡改 篡改指定域名解析到指定IP 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过修改本地DNS解析文件实现 计算 云主机 网络资源 DNS不可用 DNS解析不可用 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过修改本地DNS解析文件或防火墙规则实现 注意：该动作风险较大，请谨慎操作 计算 云主机 JVM故障 JVM延迟 向特定JVM进程注入方法调用延迟故障 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过Java Agent在JVM进程内插入sleep代码来实现 中间件 Redis 集群资源 主从切换 Redis主从切换 通过调用Redis主从切换OpenAPI，触发Redis集群实例进行主从切换 中间件 Redis 节点资源 Redis节点故障 Redis节点发生故障 通过调用Redis停止Redis服务OpenAPI，模拟Redis节点故障，故障会触发Redis HA机制进行自动恢复 中间件 Redis 节点资源 Proxy节点故障 Proxy节点发生故障 通过调用Redis停止Proxy服务OpenAPI，模拟Proxy节点不可用 中间件 Redis 节点资源 节点主机宕机 Redis节点关机 通过关闭节点主机，模拟节点宕机 中间件 Redis 节点资源 CPU高负载 Redis节点CPU高负载 在节点启动自定义程序，空跑for循环来消耗CPU时间片 中间件 Redis 节点资源 内存高负载 Redis节点内存高负载 在节点启动自定义程序不断申请内存，模拟主机内存负载升高 注意：设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 中间件 Redis 节点资源 磁盘IO高负载 Redis节点磁盘IO高负载 在节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 中间件 Redis 节点资源 磁盘IO Hang Redis节点磁盘IO Hang 在节点通过fsfreeze命令模拟磁盘夯死表现 中间件 Redis 节点资源 网络丢包 Redis节点网络丢包 在节点通过增加TC和Netem规则模拟主机内网络丢包 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 中间件 Kafka 节点资源 Broker节点主机宕机 Broker节点关机 指定或随机一个Broker节点进行关机 中间件 Kafka 节点资源 Broker节点CPU高负载 Broker节点CPU高负载 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片 中间件 Kafka 节点资源 Broker节点磁盘IO高负载 Broker节点磁盘IO高负载 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 中间件 Kafka 节点资源 分区Leader不可用 分区Leader发生故障 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举 中间件 RCC 集群资源 停止服务 注册配置中心集群服务故障 通过调用RCC停止集群OpenAPI，模拟RCC集群服务故障 中间件 RCC 节点资源 停止节点 注册配置中心节点故障 通过调用RCC停止节点OpenAPI，模拟RCC节点故障 云容器 容器集群 节点资源 托管Master节点宕机 关闭云容器引擎Master节点主机 通过关闭云容器引擎Master节点主机，模拟Master节点宕机（支持托管版本和智算版） 云容器 容器集群 节点资源 节点宕机 关闭云容器引擎纳管的节点主机 通过关闭云容器引擎纳管的节点主机，模拟节点宕机（支持Worker节点或专有版容器Master节点） 云容器 容器集群 节点资源 Etcd节点宕机 停止Etcd服务，模拟Etcd节点宕机 通过停止Etcd节点上的服务，模拟Etcd节点宕机 云容器 集群Node CPU资源 CPU高负载 使用内部自研工具实施CPU高负载 启动自定义程序，空跑for循环来消耗CPU时间片 云容器 集群Node 内存资源 内存高负载 使用内部自研工具实施内存高负载 启动自定义程序不断申请内存，模拟主机内存负载升高 注意：设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 云容器 集群Node 磁盘资源 IO高负载 使用内部自研工具实施磁盘IO高负载 先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 云容器 集群Node 磁盘资源 磁盘填充 使用内部自研工具实施磁盘填充 通过dd命令将数据写入文件 云容器 集群Node 网络资源 网络丢包 使用TC和Netem模拟Node内网络丢包 通过增加TC和Netem规则模拟Node内网络丢包 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 网络延迟 使用TC和Netem模拟Node内网络延迟 通过增加TC和Netem规则模拟Node内网络延迟 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 网络包重复 使用TC和Netem模拟Node内网络包重复 通过增加TC和Netem规则模拟Node内网络包重复 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 网络包乱序 使用TC和Netem模拟Node内网络包乱序 通过增加TC和Netem规则模拟Node内网络包乱序 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 网络包损坏 使用TC和Netem模拟Node内网络包损坏 通过增加TC和Netem规则模拟Node内网络包损坏 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 DNS篡改 篡改指定域名解析到指定IP 通过修改本地DNS解析文件实现 云容器 集群Node 应用进程 进程停止 终止节点上的指定进程 通过kill 9停止节点上的指定进程 云容器 集群Node 应用进程 进程挂起 挂起节点上的指定进程 通过kill STOP挂起节点上的指定进程 云容器 集群Pod CPU资源 CPU高负载 使用内部自研工具实施CPU高负载 启动自定义程序，空跑for循环来消耗CPU时间片 云容器 集群Pod 内存资源 内存高负载 使用内部自研工具实施内存高负载 启动自定义程序不断申请内存，模拟主机内存负载升高 注意：设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 云容器 集群Pod 磁盘资源 IO高负载 使用内部自研工具实施磁盘IO高负载 先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 云容器 集群Pod 磁盘资源 磁盘填充 使用内部自研工具实施磁盘填充 通过dd命令将数据写入文件 云容器 集群Pod 网络资源 网络丢包 使用TC和Netem模拟Pod内网络丢包 通过增加TC和Netem规则模拟Pod内网络丢包 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 网络延迟 使用TC和Netem模拟Pod内网络延迟 通过增加TC和Netem规则模拟Pod内网络延迟 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 网络包重复 使用TC和Netem模拟Pod内网络包重复 通过增加TC和Netem规则模拟Pod内网络包重复 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 网络包乱序 使用TC和Netem模拟Pod内网络包乱序 通过增加TC和Netem规则模拟Pod内网络包乱序 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 网络包损坏 使用TC和Netem模拟Pod内网络包损坏 通过增加TC和Netem规则模拟Pod内网络包损坏 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 DNS篡改 篡改指定域名解析到指定IP 通过修改本地DNS解析文件实现 云容器 集群Pod Pod资源 Pod删除 删除指定Pod 调用云容器引擎K8S API删除Pod 云容器 集群Pod 应用进程 进程停止 终止节点上的指定进程 通过kill 9停止节点上的指定进程 云容器 集群Pod 应用进程 进程挂起 挂起节点上的指定进程 通过kill STOP挂起节点上的指定进程 云容器 集群Pod JVM故障 JAVA方法调用延迟 指定JVM进程与方法增加调用延迟 通过Java Agent拦截指定JVM进程内方法，增加sleep操作模拟调用延迟 云容器 集群Pod JVM故障 JAVA方法抛自定义异常 指定JVM进程与方法抛出自定义异常 通过Java Agent拦截指定JVM进程内方法，增加thow操作模拟抛出异常 云容器 容器镜像 Harbor服务 Harbor服务不可用 停止Harbor服务，模拟容器镜像仓库不可用 通过调用容器镜像服务OpenAPI，停止Harbor服务，模拟容器镜像仓库不可用

本章节介绍如何访问服务网格CRD资源 服务网格通过K8s CRD（Custom Resource Definition）实现网格治理规则配置能力，当前服务网格的治理规则CRD全部配置在控制面所在的集群，您可以通过是要kubectl命令行工具操作控制面集群实现CRD配置。 步骤 1. 选择一台可以连接到服务网格控制面部署所在的容器集群API Server的机器，比如跟控制面集群在同VPC下的虚拟机，如果您的API Server通过公网ELB暴露了地址，您也可以通过其他可以通过公网连到控制面集群的机器访问API Server 2. 到K8s官网下载和安装kubectl命令行工具，具体根据所选择的连接API Server的客户端机器的系统以及目标集群的版本下载对应版本的kubectl 3. 登录云容器引擎控制台，选择要连接的集群，查看连接信息，可以看到对应集群的KubeConfig配置，选择公网或者私网的KubeConfig，按照提示保存到本地 4. 执行命令验证 plaintext kubectl get vs A NAMESPACE NAME GATEWAYS HOSTS AGE istiosystem istiodvs ["istiodgateway"] [""] 25d

管理BGP 操作 步骤 修改BGP 1、在专线网关客户侧路由页签，选择目标BGP路由，在操作列中单击【修改】。 2、在修改客户侧路由，修改以下配置参数后，单击【确定】。 客户侧子网：修改专线网关要转发的目的网段。 BGP邻居名称：修改BGP邻居名称。 网络检测：选择是否开启网络检测功能。 MD5认证：选择是否开启MD5认证和设置密钥。 删除BGP 1、在专线网关客户侧路由页签，选择目标BGP路由，在操作列中单击【删除】。 2、在弹出的对话框，单击【确定】。 多路径 1、登录云专线控制台，在左侧导航栏中，单击【专线网关】。 2、在专线网关页面，选择目标专线网关，在操作列中单击【详情】。 3、在专线网关客户侧路由页签，单击【多路径】，配置以下参数信息，然后单击【确定】。 配置 说明 IP负载线路数 选择开启或关闭IP负载线路数，如需BGP路由支持负载，请选择开启，否则选择关闭。 开启后，可实现不同下一跳相同目的网段的BGP路由负载。 说明 BGP多路径使用条件需满足：客户侧路由中至少有两个相同IP类型的下一跳。

操作场景 上传模板到“模板市场 > 我的模板”中，为后期创建工作负载准备。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“模板市场 > 我的模板”，单击“上传模板”。 步骤 2 单击“添加文件”，选中待上传的工作负载包后，单击“上传”。 说明： 由于上传模板时创建对象存储桶的命名规则由ccecharts{region}{domainname} 变为ccecharts{region}{domainid}，其中旧命名规则中的domainname系统会做base64转化并取前63位，如果您在现有命名规则的对象存储桶中找不到模板，请在旧命名规则的桶中进行查找。 相关操作 模板创建完成后，在“我的模板”页面您还可以执行下表中的操作。 操作 说明 安装模板 单击“安装”，安装该模板用于创建工作负载，具体请参见通过模板创建工作负载。 更新模板 更新模板是针对同名同版本的模板，即只更新内容不更新版本，操作同“上传模板”。 下载模板 单击“更多 > 下载”，将模板下载到本地。 删除模板 单击“更多 > 删除”，删除已创建的模板。 模板删除后不能恢复，请谨慎操作。

本文介绍了触发器的用户指南。 概述 触发器功能支持镜像版本更新时自动更新使用该镜像的云容器引擎工作负载，从而简化工作负载的发布流程。 前置条件 已开通容器镜像服务企业版实例 已开通云容器引擎集群 创建触发器 1. 进入容器镜像服务控制台。 2. 点击已开通的企业版实例名称。 3. 左侧导航栏点击 "容器镜像" "镜像仓库"，选择需要创建触发器的镜像仓库。 4. 在触发器标签页点击创建触发器按钮。 5. 在创建页面填写触发器相关的参数进行创建 参数 说明 触发器名称 触发器的名称。 Tag匹配条件 通过正则表达式设置规则匹配的镜像版本。使用方式示例如下： 匹配全部: . 匹配多个版本: v1v2v3 匹配前缀: v1. 集群 触发器关联的云容器引擎集群。 命名空间 触发器关联的命名空间。 工作负载类型 触发器关联的工作负载类型，包括：无状态，有状态，守护进程和定时任务。 工作负载 触发器关联的工作负载。 容器 触发器关联的容器。 镜像更新方式 触发器更新容器镜像的方式，包括通过Tag更新和通过Digest更新。当容器的镜像拉取策略为 IfNotPresent 时，由于云容器引擎节点本地存在镜像缓存，此时推送相同Tag的镜像将无法通过Tag触发容器拉取新镜像，因此推荐通过Digest更新。 当容器的镜像拉取策略为 Always 时，推荐通过Tag更新。 6. 创建完成后，可在列表页面查看创建的触发器。 7. 操作栏的编辑按钮可以修改触发器。禁用/启用按钮可以修改触发器的启用状态。删除按钮可以删除触发器。查看触发记录按钮可以查看触发器的触发记录。每当新推送的镜像命中触发器的Tag匹配条件时，则会新增一条触发记录，并且云容器引擎工作负载的镜像会自动更新。

本节介绍调度策略。 调度概述 通过任务调度和异构资源调度，可提升智算集群的资源利用率和作业运行效率。 任务调度 任务调度为 AI/ML 任务提供了 Gang scheduling 和 Capacity Scheduling 调度能力。 功能 描述 Gang scheduling 在分布式计算场景需要一组Pod紧密协作，Gang scheduling策略可在并发系统中将多个相关联的进程调度到不同处理器上同时运行。最主要的原则是保证所有相关联的进程能够同时启动，防止部分进程的异常，避免整个关联进程组的阻塞。这种AllorNothing调度场景，就被称作Gang scheduling。CCSE提供Gang scheduling功能保障相关联的进程的同时启动和失败，防止因部分失败导致整个任务阻塞的情况。 Capacity Scheduling 在多用户共用集群的环境，如果仅仅依赖于Kubernetes的ResourceQuota机制来划分固定资源，由于每个用户对资源的需求和使用模式各异，这往往会导致集群资源未能被充分利用，从而降低了资源的整体使用效率。为了解决这一问题，CCSE创新性地引入了弹性配额组的概念。这种Capacity Scheduling功能在保障各用户获得其所需资源的同时，通过资源的动态共享，有效地提升了整个集群的资源使用效率。 异构资源调度 GPU 共享调度、GPU/CPU 拓扑感知调度等能力。 功能 描述 共享GPU调度 通过实施GPU的共享调度，可以实现多个Pod共享使用GPU卡，可以有效减少对GPU资源的投入，常用于模型推理等场景。 GPU/CPU拓扑感知调度 调度器基于异构资源的拓扑信息，比如GPU卡之间的NVLink、PcieSwitch等通信方式、CPU的NUMA拓扑结构等，调度的时候选择最优的GPU/CPU组合，为工作负载提供更好的性能。

创建节点 集群创建成功后，您还需要在集群中创建运行工作负载的节点。 步骤 1 登录CCE控制台。 步骤 2 单击创建的集群，进入集群控制台。 步骤 3 在左侧菜单栏选择节点管理，单击右上角“创建节点”，在弹出的页面中配置节点的参数。 本例中大多数配置保留默认值，仅解释必要参数。 计算配置 可用区：默认即可。 节点类型：选择“虚拟机节点”。 节点规格：请根据业务需求选择相应的节点规格。 容器引擎：请根据业务需要选择相应的容器引擎。 操作系统：请选择节点对应的操作系统。 节点名称：自定义节点名称。 登录方式： 选择“密码”：用户名默认为“root”，请输入登录节点的密码，并确认密码。请妥善管理密码，登录节点时需要使用该密码，系统无法获取您设置的密码内容。 选择“密钥对”：在选项框中选择用于登录本节点的密钥对，并单击勾选确认信息。 密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 存储配置 系统盘：按您的业务需求选择，缺省值为50GB。 数据盘：按您的业务需求选择，缺省值为100GB。 网络配置 虚拟私有云：使用默认，即创建集群时选择的子网。 节点子网：选择节点所在的子网。 节点IP：支持指定节点IP地址。 弹性公网IP：默认为“暂不使用”。支持“选择已有”和“自动创建”。 步骤 4 在页面最下方选择节点的数量，单击“下一步: 规格确认”。 步骤 5 查看节点规格无误后，阅读页面上的使用说明，勾选“我已阅读并知晓上述使用说明”，单击“提交”。 等待节点创建成功，添加节点预计需要610分钟左右，请耐心等待。 创建成功后在节点管理下会显示一个运行中的节点。

本文介绍关系数据库PostgreSQL版的性能测试方法。 前提条件 快速创建关系数据库PostgreSQL版实例。 创建弹性云主机ECS。 测试环境 测试使用ECS和RDS实例均在西南1可用区1。 测试使用ECS和RDS实例在同一VPC内。 测试使用ECS信息： 规格为s6.4xlarge.2 镜像为CentOS 7.9 测试使用关系数据库PostgreSQL版信息： 规格为S7系列下各规格 版本为PostgreSQL 12.20 存储类型为超高IO数据盘500G 参数模板为RDS默认参数模板 说明 1.ECS规格较高是为了保证测试时性能瓶颈不在ECS端。 2.RDS数据盘大小涉及IOPS及IO吞吐量上限，需确保容量符合IO能力要求。 测试工具 Sysbench工具 Sysbench是一个跨平台且支持多线程的模块化基准测试工具，用于评估系统在运行高负载的数据库时相关核心参数的性能表现。 本次测试使用的Sysbench版本为1.0.20，具体的参数说明及安装命令如下： 表1 Sysbench参数说明 参数 说明 dbdriver 数据库引擎。 pgsqlhost 实例连接地址。 pgsqlport 实例连接端口。 pgsqluser 实例账号。 pgsqlpassword 实例账号对应的密码。 pgsqldb 实例用于测试的数据库名。 tablesize 测试表大小。 tables 测试表数量。 events 测试请求数量。 time 测试时间。 threads 测试并发线程数。 percentile 需要统计的百分比，默认值为95%，即请求在95%的情况下的执行时间。 reportinterval 测试进度报告输出频率，表示N秒输出一次测试进度报告。 skiptrx 是否跳过事务。1：跳过0：不跳过 安装方法 ECS实例执行如下命令安装Sysbench。 bash wget c sudo yum install make automake libtool pkgconfig libaiodevel postgresqldevel unzip 1.0.20.zip cd sysbench1.0.20

本页主要介绍关系数据库MySQL版的性能测试方法。 前提条件 快速创建关系数据库MySQL版实例。 创建弹性云主机ECS。 测试环境 测试使用ECS和RDS实例均在同一地域、同一可用区。所有测试在西南1资源池完成。 测试使用ECS和RDS实例在同一VPC内。 测试使用ECS信息： 规格为s8.4xlarge.2 镜像为CentOS 7.9 测试使用RDS信息： 规格为通用计算增强型C7下各规格、存储类型为超高IO数据盘500G； 通用计算增强型C8下各规格、存储类型为XSSD1数据盘500G； 参数模板均为RDS默认参数模板。 说明 1.ECS规格较高是为了保证测试时性能瓶颈不在ECS端。 2.RDS数据盘大小涉及IOPS及IO吞吐量上限，需确保容量符合IO能力要求。 测试工具 Sysbench工具 Sysbench是一个跨平台且支持多线程的模块化基准测试工具，用于评估系统在运行高负载的数据库时相关核心参数的性能表现。 本次测试使用的Sysbench版本为1.0.20。 表1 Sysbench参数说明 参数 说明 dbdriver 数据库引擎。 mysqlhost RDS实例连接地址。 mysqlport RDS实例连接端口。 mysqluser RDS实例账号。 mysqlpassword RDS实例账号对应的密码。 mysqldb RDS实例用于测试的数据库名。 tablesize 测试表大小。 tables 测试表数量。 events 测试请求数量。 time 测试时间。 threads 测试并发线程数。 percentile 需要统计的百分比，默认值为95%，即请求在95%的情况下的执行时间。 reportinterval 测试进度报告输出频率，表示N秒输出一次测试进度报告。 skiptrx 是否跳过事务。1：跳过0：不跳过 安装方法 ECS实例执行如下命令安装Sysbench。 plaintext sudo yum install gcc gccc++ autoconf automake make libtool mysqldevel git mysql git clone