全局网络架构
集群联邦控制面和成员集群间存在互联互通网络,以支撑联邦控制面与成员集群间的数据交互需求。联邦控制面整体组网,分为两个步骤来进行:
三方集群接入云上注册集群:可选专线内网或公网方式接入,接入后三方集群均以HUB网关为代理向云上暴露访问接口;
接入集群注册到具体联邦实例:注册集群和联邦实例间存在可能同资源池或跨资源池情况,不同情况下可选组网方式不一样,部分情况下也需要依赖用户介入来打通网络;
三方集群接入到注册集群HUB网关
第一步:三方集群到云上接入网络规划
首先,需要规划天翼云上的资源池、VPC及子网信息,建议资源池与用户三方集群真实地域尽量就近或相同,以实现就近互联以及确保相关调度器识别的地理位置信息准确;云上VPC、子网可选择新建也可选择已有,只要确保不影响业务且有足够的VPC下资源配额即可;
如果选择新建VPC或子网,需要在这一步将相关资源准备好;
其次,用户集群与天翼云上VPC网络打通方式主要有公网和专线内网两种方式,具体选择哪个与用户场景对质量、成本的要求有关:
网络模式 | 优点 | 缺点 | 建议场景 |
---|---|---|---|
公网 | 方便快捷、成本低廉 | 稳定性及安全性差,不适合对网络质量及带宽高要求的场景。 例如云上云下一体化组网等混合云场景 | 建议只功能验证场景使用 不建议应用于生产环境 |
专线内网 | 基于天翼云专业的云间网络产品,将用户云下集群网络与云上VPC网络内网打通; 具备高安全性、高带宽低延时、高稳定性等特点 | 成本相对公网略高; 建设周期相对公网方式略长; | 建议用户生产环境,或对云上云下网络稳定性、安全性等有较高要求的场景使用 |
规划好云上资源池、VPC、子网及云上云下网络互通方式后,即可继续下一步;
第二步:创建云上注册集群,根据具体场景选择本地集群或三方云集群
进入天翼云【分布式容器云平台】产品页面,顶部切换到规划好的资源池,然后选择【集群资源】->【注册集群】,根据实际场景选择注册本地集群或注册三方云集群;
在集群订购页,选择步骤一中规划好的VPC、子网;若规划为公网方式接入注册集群,则还需启用【使用EIP暴露APIServer】,若规划为内网方式则无需启用;其他配置项按需设置即可;
最终根据指引,提交注册集群订购,并在【集群资源】->【集群管理】页面确认订购的注册集群已处于【待接入】状态;
第三步:打通用户集群到云上注册集群的网络连接
根据第一步规划的云上云下网络打通方式,参考下面指引进行实际网络打通:
网络模式 | 打通方式 |
---|---|
公网 | 该方式要求用户集群具备主动访问公网的能力。 若用户集群为三方云集群,可参考三方云VPC下启用NAT主动访问公网配置指引进行操作;若用户集群为本地集群,则需按照本地实际网络情况进行配置,或联系您的网络管理员进行协助; |
专线内网 | 天翼云提供了专业的云产品能力,来支持用户将云下IDC网络或三方云网络与天翼云上VPC网络内网打通。建议可选产品有:
具体产品配置指引,请登录天翼云官网对应产品页查看。 |
在配置完网络互通策略后,用户可通过ping或telnet 注册集群网关地址,来验证实例的具体联通情况;
第四步:在用户集群中部署Agent,反向连接接入到云上
进入【集群资源】->【集群管理】,在对应注册集群右侧点击【接入配置】按钮,然后选择【接入信息】标签页。
根据选择的接入方式,下载对应网络模式的接入部署配置文件,然后apply到用户集群中。
待相关workload拉起后,可登录【集群管理】控制台,确认注册集群状态是否已变更为【运行中】;集群状态运行中代表注册集群已接入成功;
注册集群到联邦控制面网络
第一步:规划集群联邦实例部署网络环境
首先,需要清楚需要联邦调度的成员集群(注册集群)在天翼云上的资源池及VPC分布信息;
其次,规划集群联邦实例部署资源池、VPC及子网,其中联邦实例资源池应尽量与成员注册集群资源池相同,或和大部分成员集群资源池相同,这样可以避免大量跨资源池网络互通带来的带宽成本。同样,若资源池和VPC均相同,可进一步降低网络互通成本。
具体可按实际情况规划,不同的规划只影响联邦和成员集群间的互通网络成本,不影响相关功能的使用;
第二步:订购集群联邦,或加入已有集群联邦,基于默认策略打通联邦到注册集群网络
控制台顶部切换到规划的集群联邦资源池,然后进入【容器舰队】->【联邦管理】页面,点击【创建联邦】进入联邦实例订购页面。
订购页中,VPC和子网选择规划好的数据,舰队选择包含相关注册集群的舰队实例,其他按需配置即可。
然后根据指引提交订单,最终确保相关联邦实例状态处于【运行中】即可。
在联邦实例关联舰队的同时,CCEOne后台将主动尝试将成员集群和联邦控制面之间网络打通并进行注册。其不同场景下网络打通默认策略如下:
成员集群与联邦实例网络模式 | 默认互联策略 | 是否允许用户修改 | 可选互联策略 |
---|---|---|---|
同资源池同VPC | VPC内网直接互联 | 否 | |
同资源池跨VPC | VPCE:后台将尝试创建将成员集群APIServer地址,以内网VPCE IP方式暴露给联邦实例所在网络 | 否 | |
跨资源池 | 默认公网互联 要求联邦实例所在VPC具备主动访问公网能力,同时成员集群APIServer有绑定EIP暴露公网,并放通了来自联邦实例VPC的公网请求 | 是 | 云间高速内网 |
第三步:联邦与成员集群间网络连通性校验与调整修复
进入联邦单实例控制台总览页面,最底部可切换列表或视图方式展示成员集群信息,包括成员集群与联邦实例网络互联方式及网络互联情况。
其中:
- 成员集群与联邦同资源池场景:不可修改
会基于是否同VPC区分展示VPCE或VPC内网互联,同时展示成员集群到联邦的注册情况。若注册状态异常,请检查成员集群本身服务是否正常,以及安全组是否有放通相关来源流量;
- 成员集群与联邦跨资源池场景:可修改
默认展示【公网】互联方式,同时会展示成员集群到联邦的注册状态;公网方式要求联邦VPC有配置NAT启用公网主动访问能力,同时成员集群APIServer有绑定公网EIP,并配置放通来自联邦的公网请求流量;若联邦注册状态异常,请检查集群状态是否正常以及网络配置是否符合要求;
若基于安全性或稳定性考虑,或联邦与成员集群本身已内网打通,此时用户可点击修改联通方式,可选【内网】。跨资源池内网互联,需要用户启用云间高速产品能力,将跨资源池的两个VPC内网打通。具体云间高速配置方式,请参考具体产品对应用户指引文档;
在用户调整跨资源池网络互联方式后,后台将周期性校验环境配置是否正确,并尝试再次将成员集群注册到联邦控制面中。稍等一会儿时间后,用户可以在控制台看到最新网络互联及注册状态信息。