searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

一种基于负载预测的云资源弹性伸缩方法(一)

2023-06-08 08:24:18
85
0

随着大型数据中心的出现,托管 IT 服务,云计算正成为 IT 行业的关键技术之一。弹性云服务,是指云平台中的虚拟云资源能够根据工作负载的变化动态调整所分配的云资源,使实际分配的资源接近实际所需资源。它允许用户按需增加或减少虚拟化资源的容量,所以只需要支付他们使用的资源。传统业务以独特的虚拟机(VM)的形式在云平台上部署应用或服务,并通过云平台提供商的虚拟化网络提供给用户。云间服务还涉及面向服务的架构(SOA),其中提供者通过从不同的云平台(即认证,数据存储,数据分析等)选择功能来开发应用或服务。有很多供应商提供这种服务,并声称提供虚拟资源的“无限”的观点,这是指可扩展性。因为能够动态地调整负载,系统能够适应更大的负载和弹性。

对集群进行合理的负载预测是对集群中云资源进行弹性伸缩服务的一项重要的基础。为尽可能准确的对虚拟机集群的平均负载进行预测以便于准确的进行弹性伸缩规则的选择,需要构建负载预测模型。本篇文章讲述的为通过对多种预测模型的对比选定了灰色模型GM以及卷积神经网络CNN模型两种结合,对集群资源的CPU利用率以及内存使用量进行预测。

1、GM-CNN组合模型构建过程

基于历史数据的通过GM-CNN负载预测模型构建的过程。首先对监控服务采集到的数据集通过处理使得数据格式更加标准。以便提高负载预测模型的预测效果。利用经过处理后的测试集进行CNN卷积神经模型和GM灰色模型的训练,找到最优结构,包括CNN的输入输出层、隐藏层节点数量,层数等,描述如下图所示。

主要工作流程如下:

CNN模型预测同一天m时间点后的负载值 CNN模型包含l个隐层,即l+2层的结构,输入层节点为前m个时间点的CPU利用率或内存使用量,输出一条预测数据,为预测当天m+1时刻的负载值。在后文对该方法简称为横向预测。

 

CNN模型所有的参数就是各个层之间的连接权重以及偏置,包括W1、b1、W2、b2。

主要工作流程如下:

GM-CNN结合预测集群负载值,将成熟的CNN模型与灰色模型GM(1,1)通过权重组合成为GM-CNN模型共同构建云环境中集群的负载预测模型,提前预测集群下一时间点的负载变化。主要工作流程如下:

提出的GM-CNN组合预测模型,结合传统预测模型GM(1,1)以及卷积神经网络CNN模型,解决了在为集群进行合理的弹性伸缩服务之前,准确的进行集群负载值预测的问题。从两个维度进行组合预测,准确性更高。

0条评论
0 / 1000
石泽涛
8文章数
3粉丝数
石泽涛
8 文章 | 3 粉丝
原创

一种基于负载预测的云资源弹性伸缩方法(一)

2023-06-08 08:24:18
85
0

随着大型数据中心的出现,托管 IT 服务,云计算正成为 IT 行业的关键技术之一。弹性云服务,是指云平台中的虚拟云资源能够根据工作负载的变化动态调整所分配的云资源,使实际分配的资源接近实际所需资源。它允许用户按需增加或减少虚拟化资源的容量,所以只需要支付他们使用的资源。传统业务以独特的虚拟机(VM)的形式在云平台上部署应用或服务,并通过云平台提供商的虚拟化网络提供给用户。云间服务还涉及面向服务的架构(SOA),其中提供者通过从不同的云平台(即认证,数据存储,数据分析等)选择功能来开发应用或服务。有很多供应商提供这种服务,并声称提供虚拟资源的“无限”的观点,这是指可扩展性。因为能够动态地调整负载,系统能够适应更大的负载和弹性。

对集群进行合理的负载预测是对集群中云资源进行弹性伸缩服务的一项重要的基础。为尽可能准确的对虚拟机集群的平均负载进行预测以便于准确的进行弹性伸缩规则的选择,需要构建负载预测模型。本篇文章讲述的为通过对多种预测模型的对比选定了灰色模型GM以及卷积神经网络CNN模型两种结合,对集群资源的CPU利用率以及内存使用量进行预测。

1、GM-CNN组合模型构建过程

基于历史数据的通过GM-CNN负载预测模型构建的过程。首先对监控服务采集到的数据集通过处理使得数据格式更加标准。以便提高负载预测模型的预测效果。利用经过处理后的测试集进行CNN卷积神经模型和GM灰色模型的训练,找到最优结构,包括CNN的输入输出层、隐藏层节点数量,层数等,描述如下图所示。

主要工作流程如下:

CNN模型预测同一天m时间点后的负载值 CNN模型包含l个隐层,即l+2层的结构,输入层节点为前m个时间点的CPU利用率或内存使用量,输出一条预测数据,为预测当天m+1时刻的负载值。在后文对该方法简称为横向预测。

 

CNN模型所有的参数就是各个层之间的连接权重以及偏置,包括W1、b1、W2、b2。

主要工作流程如下:

GM-CNN结合预测集群负载值,将成熟的CNN模型与灰色模型GM(1,1)通过权重组合成为GM-CNN模型共同构建云环境中集群的负载预测模型,提前预测集群下一时间点的负载变化。主要工作流程如下:

提出的GM-CNN组合预测模型,结合传统预测模型GM(1,1)以及卷积神经网络CNN模型,解决了在为集群进行合理的弹性伸缩服务之前,准确的进行集群负载值预测的问题。从两个维度进行组合预测,准确性更高。

文章来自个人专栏
文章 | 订阅
0条评论
0 / 1000
请输入你的评论
0
0