专栏
天翼云开发者社区

浅谈云存储解决方案技术趋势

2024-04-09 09:19:06 19阅读

0 前言

云存储是一种基于云计算和分布式架构,能够在任意时间、任意地点,通过任何连网的设备连接到云存储系统中,进行方便、快速的数据存取。云存储通过独立资源池、弹性伸缩、层次管理等先进技术,帮助企业提升存储灵活性和成本效应,满足个行业个性化存储需求。

云存储通过提供按需付费、资源的灵活扩展、多层次数据安全措施、便利的访问与敏捷处理、持续的业务运营保障以及深度数据价值挖掘,使企业能够实现经济高效、安全可靠且具有洞察力的数据管理。

 

1 云存储解决方案定义与分类

云存储解决方案定义:

云存储服务是云存储系统提供的数据访问服务,使用户能够在任意时间、任意地点,通过任何连网的设备连接到云存储系统中,进行方便、快速的数据存取。与传统存储服务相比,云存储整合云计算的核心特征,包括即时自助服务、广泛网络接入、地理独立资源池、弹性伸缩和精确度量,并融合分布式数据库的层次化管理、多重冗余及透明操作等先进技术。云存储在保障存储方式的灵活性和可靠性同时,也保证了操作的高效性和专业性,满足不同行业用户对数据存储解决方案的严格要求。

云存储解决方案分类:

 

2 云存储解决方案技术趋势

2.1 关注“计算能力”:优化缓存加速与计算下推能力

大数据与AI技术高速发展,数据计算的规模和复杂性显著增加。在传统的计算架构中,计算工作与存储工作分离,这意味着在执行计算任务时,多个计算实例需要同时访问存储层,不可避免地导致网络带宽的抢占。此外,数据从存储层到计算层的传输路径较长,进一步增加了I/O响应时延,降低整体的计算效率。为解决这些挑战,云存储可协同数据缓存加速插件与提供计算下推的功能,从而提升计算效率,优化系统整体性能。

通过引入数据缓存加速插件,数据可以根据计算任务情况进行缓存,当计算实例需要执行任务时只需要读写缓存数据,避免数据跨节点传输导致作业执行等待,提高计算任务的效率。在这基础上,数据缓存加速插件可增强智能化能力,通过对计算任务的识别与调度,自动优化数据缓存的位置,为计算引擎提供最短的数据访问路径。同时,可根据对任务性质及数据量的判断,采取灵活的数据缓存策略,如先缓存部分数据,再根据需求逐步完成全量数据的缓存。

针对时延不敏感的计算任务,可以下推至云存储进行处理。这不仅能减少数据搬移的需求,还可以减轻计算节点处理非紧急或次要计算任务时的负担,最大化计算资源的使用效能,从而增强整个系统处理各种任务的能力。这一功能能够充分优化计算资源分配,实现系统性能和响应速度的提升,在处理大规模和复杂的数据计算任务时的价值显著,如AI模型训练与部署、高性能计算应用、大规模批流数据处理等。

 

2.2 关注“应用能力”:融合数据处理生态工具

随着数据规模的快速增长,企业在数据处理上面临效率低下、成本上升和操作复杂的挑战。这些问题主要源于数据处理过程中的多次读取、外部网络传输,这不仅消耗了计算资源和网络带宽,还带来了安全风险。同时,多样化的数据类型和繁杂的处理工具导致了标准不统一,增加了运维管理的难度。

应对这些挑战,云存储厂商提供数据处理生态工具,用户可在云存储服务内部进行手动或自动数据处理,简化数据处理的运维流程。同时,基于文件、适配、图像、音频和内容审核等数据处理需求,厂商开始引入AI技术,不仅丰富了数据处理功能的覆盖范围,还提供了如画质增强等传统手段难以实现的高级功能。

除了封装自主研发的数据处理能力,厂商还可以与第三方工具进行兼容。这样做不仅能够进一步扩展数据处理的功能,也能够对用户正在使用的外部数据处理产品进行统一运维,从而简化用户操作流程,优化整体使用体验。

 

2.3 关注“经济性”:完善存储类别与提高层级切换能力

用户选择云存储的核心动力之一在于减少购置与维护存储硬件的成本,以及降低数据冗余存储所带来的费用。然而,随着业务场景的日益复杂化和业务负载快速变化,用户对于云存储的需求变得更为多样化,要在实际应用场景中实现成本效益的最大化,企业面临着如成本与性能平衡、数据存储有效管理的挑战。

在解决成本与性能平衡问题时,云存储厂商提供归档/低频型(以HDD为主要存储介质)、容量型(底层介质主要为HDD+SSD)、性能型(主要采用SSD)的存储类别,满足不同数据存储场景下对于访问时延与成本的需求,并通过提供适用场景手册,指导用户选择最适合需求的类型。不过,据用户调研信息,部分用户使用容量(或标准)型存储无法满足场景需求,但是使用性能型存储则导致资源超配,如吞吐密度峰值400MB/s/TB,实际只需使用200MB/s/TB。云存储厂商应研发高性能网络技术和适配更广泛的存储介质,完善存储类别,为用户提供更具性价比的选择。

此外,在业务需求变化和数据访问频率动态调整方面,当前的数据存储管理策略只具备基于生命周期的归档或降温方案,这在应对频繁变化的访问热度时,无法提供最经济的解决方案。以游戏行业为例,游戏上线初期可能会有较大访问量,因此大部分数据被存储在标准存储中;当游戏热度降低后,虽然访问量减少,但如果继续全部使用标准存储,可能会导致不必要的高成本,而转移到低频访问型存储则会影响用户体验并产生额外的取回费用。因此,云存储厂商应提供智能分层功能,根据实时访问热度动态条横数据存储层级,以便在频繁变动的业务场景中有效地降低成本,更好地适应用户的实际使用情况。

 

3 小结

  • 在大数据和AI技术等需求场景中,传统计算与存储工作分离的架构面临着网络带宽抢占与I/O响应时延高的挑战。云存储可通过整合数据缓存加速插件与提供计算下推功能,能够更有效地应对需求,提高整体系统的计算效率;
  • 面对数据规模快速增长所带来的数据处理效率低、操作复杂等挑战,云存储服务与数据处理服务深度融合,能够显著提高数据处理效率,有效优化场景应用的性能表现;
  • 减少硬件成本和降低数据冗余费用是用户选择使用云存储的核心驱动力之一。随着业务的复杂化和需求的多样性增加,企业面临成本与性能的平衡及数据管理的挑战。云存储厂商通过发展高性能网络和多样存储介质,并提供智能数据分层,帮助企业解决这些挑战。
  • 1
  • 0
  • 0
0 评论
0/1000
评论(0) 发表评论
李****霖

李****霖

4 篇文章 0 粉丝
关注

浅谈云存储解决方案技术趋势

2024-04-09 09:19:06 19阅读

0 前言

云存储是一种基于云计算和分布式架构,能够在任意时间、任意地点,通过任何连网的设备连接到云存储系统中,进行方便、快速的数据存取。云存储通过独立资源池、弹性伸缩、层次管理等先进技术,帮助企业提升存储灵活性和成本效应,满足个行业个性化存储需求。

云存储通过提供按需付费、资源的灵活扩展、多层次数据安全措施、便利的访问与敏捷处理、持续的业务运营保障以及深度数据价值挖掘,使企业能够实现经济高效、安全可靠且具有洞察力的数据管理。

 

1 云存储解决方案定义与分类

云存储解决方案定义:

云存储服务是云存储系统提供的数据访问服务,使用户能够在任意时间、任意地点,通过任何连网的设备连接到云存储系统中,进行方便、快速的数据存取。与传统存储服务相比,云存储整合云计算的核心特征,包括即时自助服务、广泛网络接入、地理独立资源池、弹性伸缩和精确度量,并融合分布式数据库的层次化管理、多重冗余及透明操作等先进技术。云存储在保障存储方式的灵活性和可靠性同时,也保证了操作的高效性和专业性,满足不同行业用户对数据存储解决方案的严格要求。

云存储解决方案分类:

 

2 云存储解决方案技术趋势

2.1 关注“计算能力”:优化缓存加速与计算下推能力

大数据与AI技术高速发展,数据计算的规模和复杂性显著增加。在传统的计算架构中,计算工作与存储工作分离,这意味着在执行计算任务时,多个计算实例需要同时访问存储层,不可避免地导致网络带宽的抢占。此外,数据从存储层到计算层的传输路径较长,进一步增加了I/O响应时延,降低整体的计算效率。为解决这些挑战,云存储可协同数据缓存加速插件与提供计算下推的功能,从而提升计算效率,优化系统整体性能。

通过引入数据缓存加速插件,数据可以根据计算任务情况进行缓存,当计算实例需要执行任务时只需要读写缓存数据,避免数据跨节点传输导致作业执行等待,提高计算任务的效率。在这基础上,数据缓存加速插件可增强智能化能力,通过对计算任务的识别与调度,自动优化数据缓存的位置,为计算引擎提供最短的数据访问路径。同时,可根据对任务性质及数据量的判断,采取灵活的数据缓存策略,如先缓存部分数据,再根据需求逐步完成全量数据的缓存。

针对时延不敏感的计算任务,可以下推至云存储进行处理。这不仅能减少数据搬移的需求,还可以减轻计算节点处理非紧急或次要计算任务时的负担,最大化计算资源的使用效能,从而增强整个系统处理各种任务的能力。这一功能能够充分优化计算资源分配,实现系统性能和响应速度的提升,在处理大规模和复杂的数据计算任务时的价值显著,如AI模型训练与部署、高性能计算应用、大规模批流数据处理等。

 

2.2 关注“应用能力”:融合数据处理生态工具

随着数据规模的快速增长,企业在数据处理上面临效率低下、成本上升和操作复杂的挑战。这些问题主要源于数据处理过程中的多次读取、外部网络传输,这不仅消耗了计算资源和网络带宽,还带来了安全风险。同时,多样化的数据类型和繁杂的处理工具导致了标准不统一,增加了运维管理的难度。

应对这些挑战,云存储厂商提供数据处理生态工具,用户可在云存储服务内部进行手动或自动数据处理,简化数据处理的运维流程。同时,基于文件、适配、图像、音频和内容审核等数据处理需求,厂商开始引入AI技术,不仅丰富了数据处理功能的覆盖范围,还提供了如画质增强等传统手段难以实现的高级功能。

除了封装自主研发的数据处理能力,厂商还可以与第三方工具进行兼容。这样做不仅能够进一步扩展数据处理的功能,也能够对用户正在使用的外部数据处理产品进行统一运维,从而简化用户操作流程,优化整体使用体验。

 

2.3 关注“经济性”:完善存储类别与提高层级切换能力

用户选择云存储的核心动力之一在于减少购置与维护存储硬件的成本,以及降低数据冗余存储所带来的费用。然而,随着业务场景的日益复杂化和业务负载快速变化,用户对于云存储的需求变得更为多样化,要在实际应用场景中实现成本效益的最大化,企业面临着如成本与性能平衡、数据存储有效管理的挑战。

在解决成本与性能平衡问题时,云存储厂商提供归档/低频型(以HDD为主要存储介质)、容量型(底层介质主要为HDD+SSD)、性能型(主要采用SSD)的存储类别,满足不同数据存储场景下对于访问时延与成本的需求,并通过提供适用场景手册,指导用户选择最适合需求的类型。不过,据用户调研信息,部分用户使用容量(或标准)型存储无法满足场景需求,但是使用性能型存储则导致资源超配,如吞吐密度峰值400MB/s/TB,实际只需使用200MB/s/TB。云存储厂商应研发高性能网络技术和适配更广泛的存储介质,完善存储类别,为用户提供更具性价比的选择。

此外,在业务需求变化和数据访问频率动态调整方面,当前的数据存储管理策略只具备基于生命周期的归档或降温方案,这在应对频繁变化的访问热度时,无法提供最经济的解决方案。以游戏行业为例,游戏上线初期可能会有较大访问量,因此大部分数据被存储在标准存储中;当游戏热度降低后,虽然访问量减少,但如果继续全部使用标准存储,可能会导致不必要的高成本,而转移到低频访问型存储则会影响用户体验并产生额外的取回费用。因此,云存储厂商应提供智能分层功能,根据实时访问热度动态条横数据存储层级,以便在频繁变动的业务场景中有效地降低成本,更好地适应用户的实际使用情况。

 

3 小结

  • 在大数据和AI技术等需求场景中,传统计算与存储工作分离的架构面临着网络带宽抢占与I/O响应时延高的挑战。云存储可通过整合数据缓存加速插件与提供计算下推功能,能够更有效地应对需求,提高整体系统的计算效率;
  • 面对数据规模快速增长所带来的数据处理效率低、操作复杂等挑战,云存储服务与数据处理服务深度融合,能够显著提高数据处理效率,有效优化场景应用的性能表现;
  • 减少硬件成本和降低数据冗余费用是用户选择使用云存储的核心驱动力之一。随着业务的复杂化和需求的多样性增加,企业面临成本与性能的平衡及数据管理的挑战。云存储厂商通过发展高性能网络和多样存储介质,并提供智能数据分层,帮助企业解决这些挑战。
文章来自专栏

云存储解决方案

2 篇文章 1 订阅
0 评论
0/1000
评论(0) 发表评论
  • 1
    点赞
  • 0
    收藏
  • 0
    评论