专栏
天翼云开发者社区

为什么对象存储会取代NAS和SAN?

2023-12-06 14:42:08 29阅读

一、背景
存储是过去、现在和未来电脑、AI、企业信息化和云计算的核心。在存储和管理数据方面,有现代的云原生方式,也有传统的面向设备的方式。
不用说,对象存储是更现代的存储。在很多对象存储里面,MinIO无可救药地偏向和选择了对象存储(毕竟这是我们唯一做的事情)。对象存储是是很简单的。但是,这会遗漏一个关键点——即 MinIO 背后的团队构建了 GlusterFS。
鉴于 Gluster 曾经是(并且可能仍然是)市场上最优雅和功能最强大的分布式文件系统之一,团队展望未来并创办了一家对象存储公司这一事实应该告诉你这不是 MinIO 的唯一重点,它是关于什么是最具功能性、可扩展性和弹性的数据解决方案。
与传统的 SAN 和 NAS 解决方案相比,对象存储具有根本优势。在此篇文章中,我们将深入探讨对象存储的优势以及它为何成为许多组织的首选存储解决方案。


二、可扩展性
对象存储相对于 SAN/NAS 最明显的优势之一是它的可扩展性。随着数据量的增长,传统的 SAN 和 NAS 解决方案变得非常昂贵(资本支出和运营支出)。它们根本不是为规模而设计的。另一方面,对象存储旨在处理大量数据,并且可以根据需要轻松扩展,而无需对基础架构进行任何重大更改。这种可扩展性是通过使用分布式架构和基于软件的纠删码实现的。对象存储系统通常由许多单独的存储节点组成,这些节点协同工作以存储和管理数据。随着新节点被添加到系统中,系统的整体容量和性能都会增加。大规模性能是当今企业的一个关键概念,这就是像 MinIO 这样的现代高性能对象存储可以提供的。


三、成本效益
由于对象存储旨在处理大量数据,因此它通常比传统的 SAN 和 NAS 解决方案更具成本效益。对于需要存储大量非结构化数据(如媒体文件、备份和存档)的组织来说尤其如此。应该注意的是,MinIO 的“massive”和传统 SAN/NAS 解决方案的“massive”是完全不同的。SAN/NAS 的“海量”约为 1PB。这在对象存储世界中很小。现在每个人都有一个 PB——甚至是家庭实验室的人。海量对象存储是 EB 级规模并且还在不断增长。
在存储利用率方面,对象存储也非常高效。传统的 SAN 和 NAS 系统通常有很高的开销,这意味着很大一部分可用存储空间被系统本身消耗掉了。另一方面,对象存储的设计非常高效,这意味着您可以物有所值。
这是你可以自己测试的东西。查看我们的纠删码计算器。它使您能够直接了解您在不同奇偶校验选项下的使用情况。尝试找到愿意提供这种透明度的 SAN/NAS 供应商。你不会因为他们不喜欢谈论它。
数据持久性
对象存储被设计成高度持久和容错的。这意味着即使个别磁盘或服务器出现故障,您的数据仍然是安全的并且可以访问。此外,MinIO 的内置复制和数据保护功能确保数据始终受到保护和可用。
MinIO 的擦除编码方法经过高度优化(针对性能和弹性),纠删码为分布式存储提供数据保护,因为它具有弹性和效率。它将数据文件拆分为数据和奇偶校验块并对其进行编码,以便即使部分编码数据不可用,也可以恢复主要数据。水平可扩展的分布式存储系统依靠擦除编码通过跨多个驱动器和节点保存编码数据来提供数据保护。如果驱动器或节点发生故障或数据损坏,可以从保存在其他驱动器和节点上的块中重建原始数据。


四、辅助功能
可以随时随地在任何设备上访问对象存储。此外,对象存储设计为 API 驱动,这意味着开发人员可以轻松地将其集成到他们的应用程序和工作流中。大多数 SAN 仅限于遗留数据中心协议并仅限于单个数据中心。
这真的很重要!
在构建现代 Web 应用程序时,RESTful API 从根本上优于 POSIX。虽然有些人可能会争辩说这些技术有不同的用途,但在我们生活的云原生世界中,RESTful API 占主导地位。人们根本不会使用 POSIX 构建新的应用程序。
第一 RESTful API 在数据交换和通信协议方面提供了更大的灵活性。
与主要为文件系统访问而设计的 POSIX 不同,RESTful API 可以处理范围广泛的数据类型,从简单的文本字符串到复杂的多媒体文件。这使得它更容易与不同的应用程序、平台和设备集成,并处理不同的用例。
第二,RESTful API 被设计成可扩展的可以处理大量的并发请求。
通过使用 HTTP 协议,RESTful API 可以轻松利用缓存、负载平衡和其他性能优化技术。POSIX 是为本地文件系统访问而开发的,在分布式或基于云的环境中不能很好地扩展——它太啰嗦了。
第三,RESTful API 提供了比 POSIX 更好的安全选项。
通过使用 TLS、OAuth 和 JSON Web Tokens 等现代安全协议,RESTful API 可以提供安全的身份验证、授权和数据加密。另一方面,POSIX 依赖于传统的文件系统权限,这对于现代 Web 应用程序来说很少是足够的。
第四,RESTful API 被设计为独立于平台,可以从任何具有互联网连接的设备进行访问。这使得开发跨不同平台和操作系统的应用程序变得更加容易。
最后,也许最重要的是,RESTful API 比 POSIX 更易于使用和开发。借助 RESTful API,开发人员可以使用 GET、POST、PUT 和 DELETE 等简单的 HTTP 动词与数据进行交互。相比之下,POSIX 要求开发人员使用更复杂的系统调用和文件系统操作,这可能很难处理。随着时间的推移,具有 POSIX 经验的开发人员越来越少。


五、元数据驱动
与基于文件的传统 SAN 和 NAS 解决方案不同,对象存储是元数据驱动的。这意味着每个对象都伴随着一组描述它的元数据。此元数据可以包括对象的创建日期、文件类型或关键字等信息。
MinIO 的元数据原子方法是独一无二的、超可扩展的和超快速的。其他对象存储供应商并没有在这方面投入精力,而是依靠第三方、集中式、元数据数据库来处理工作。这是一个糟糕的选择。
元数据驱动的方法可以轻松地根据特定条件搜索和检索对象。它甚至允许像S3 Select这样的谓词下推。例如,您可以轻松搜索某个时间段内创建的所有对象或具有特定关键字的所有对象。要通过 SAN/NAS 实现这一点,您需要一个专用的应用程序层。正如您可能想象的那样,这催生了一个相当健康的公司生态系统,这些公司非常乐意对您的 SAN/NAS 征税,以便让它像 Web 应用程序一样工作。


总结
对象存储始终是云中的主要存储。随着云操作模型的扩展,对象存储成为本地、托管和边缘的主要存储类型。原因有很多——从可扩展性到安全性。用一家非常大的金融应用程序公司的话来说,“我们将根据需要添加到我们现有的 SAN/NAS 足迹——但所有新事物都将进入对象存储。随着时间的推移,那些遗留应用程序和工作负载将被淘汰,我们甚至不会费心对其进行现代化改造,我们只会编写云原生版本。”

  • 0
  • 0
  • 0
0 评论
0/1000
评论(0) 发表评论
刘***

刘***

2 篇文章 0 粉丝
关注

为什么对象存储会取代NAS和SAN?

2023-12-06 14:42:08 29阅读

一、背景
存储是过去、现在和未来电脑、AI、企业信息化和云计算的核心。在存储和管理数据方面,有现代的云原生方式,也有传统的面向设备的方式。
不用说,对象存储是更现代的存储。在很多对象存储里面,MinIO无可救药地偏向和选择了对象存储(毕竟这是我们唯一做的事情)。对象存储是是很简单的。但是,这会遗漏一个关键点——即 MinIO 背后的团队构建了 GlusterFS。
鉴于 Gluster 曾经是(并且可能仍然是)市场上最优雅和功能最强大的分布式文件系统之一,团队展望未来并创办了一家对象存储公司这一事实应该告诉你这不是 MinIO 的唯一重点,它是关于什么是最具功能性、可扩展性和弹性的数据解决方案。
与传统的 SAN 和 NAS 解决方案相比,对象存储具有根本优势。在此篇文章中,我们将深入探讨对象存储的优势以及它为何成为许多组织的首选存储解决方案。


二、可扩展性
对象存储相对于 SAN/NAS 最明显的优势之一是它的可扩展性。随着数据量的增长,传统的 SAN 和 NAS 解决方案变得非常昂贵(资本支出和运营支出)。它们根本不是为规模而设计的。另一方面,对象存储旨在处理大量数据,并且可以根据需要轻松扩展,而无需对基础架构进行任何重大更改。这种可扩展性是通过使用分布式架构和基于软件的纠删码实现的。对象存储系统通常由许多单独的存储节点组成,这些节点协同工作以存储和管理数据。随着新节点被添加到系统中,系统的整体容量和性能都会增加。大规模性能是当今企业的一个关键概念,这就是像 MinIO 这样的现代高性能对象存储可以提供的。


三、成本效益
由于对象存储旨在处理大量数据,因此它通常比传统的 SAN 和 NAS 解决方案更具成本效益。对于需要存储大量非结构化数据(如媒体文件、备份和存档)的组织来说尤其如此。应该注意的是,MinIO 的“massive”和传统 SAN/NAS 解决方案的“massive”是完全不同的。SAN/NAS 的“海量”约为 1PB。这在对象存储世界中很小。现在每个人都有一个 PB——甚至是家庭实验室的人。海量对象存储是 EB 级规模并且还在不断增长。
在存储利用率方面,对象存储也非常高效。传统的 SAN 和 NAS 系统通常有很高的开销,这意味着很大一部分可用存储空间被系统本身消耗掉了。另一方面,对象存储的设计非常高效,这意味着您可以物有所值。
这是你可以自己测试的东西。查看我们的纠删码计算器。它使您能够直接了解您在不同奇偶校验选项下的使用情况。尝试找到愿意提供这种透明度的 SAN/NAS 供应商。你不会因为他们不喜欢谈论它。
数据持久性
对象存储被设计成高度持久和容错的。这意味着即使个别磁盘或服务器出现故障,您的数据仍然是安全的并且可以访问。此外,MinIO 的内置复制和数据保护功能确保数据始终受到保护和可用。
MinIO 的擦除编码方法经过高度优化(针对性能和弹性),纠删码为分布式存储提供数据保护,因为它具有弹性和效率。它将数据文件拆分为数据和奇偶校验块并对其进行编码,以便即使部分编码数据不可用,也可以恢复主要数据。水平可扩展的分布式存储系统依靠擦除编码通过跨多个驱动器和节点保存编码数据来提供数据保护。如果驱动器或节点发生故障或数据损坏,可以从保存在其他驱动器和节点上的块中重建原始数据。


四、辅助功能
可以随时随地在任何设备上访问对象存储。此外,对象存储设计为 API 驱动,这意味着开发人员可以轻松地将其集成到他们的应用程序和工作流中。大多数 SAN 仅限于遗留数据中心协议并仅限于单个数据中心。
这真的很重要!
在构建现代 Web 应用程序时,RESTful API 从根本上优于 POSIX。虽然有些人可能会争辩说这些技术有不同的用途,但在我们生活的云原生世界中,RESTful API 占主导地位。人们根本不会使用 POSIX 构建新的应用程序。
第一 RESTful API 在数据交换和通信协议方面提供了更大的灵活性。
与主要为文件系统访问而设计的 POSIX 不同,RESTful API 可以处理范围广泛的数据类型,从简单的文本字符串到复杂的多媒体文件。这使得它更容易与不同的应用程序、平台和设备集成,并处理不同的用例。
第二,RESTful API 被设计成可扩展的可以处理大量的并发请求。
通过使用 HTTP 协议,RESTful API 可以轻松利用缓存、负载平衡和其他性能优化技术。POSIX 是为本地文件系统访问而开发的,在分布式或基于云的环境中不能很好地扩展——它太啰嗦了。
第三,RESTful API 提供了比 POSIX 更好的安全选项。
通过使用 TLS、OAuth 和 JSON Web Tokens 等现代安全协议,RESTful API 可以提供安全的身份验证、授权和数据加密。另一方面,POSIX 依赖于传统的文件系统权限,这对于现代 Web 应用程序来说很少是足够的。
第四,RESTful API 被设计为独立于平台,可以从任何具有互联网连接的设备进行访问。这使得开发跨不同平台和操作系统的应用程序变得更加容易。
最后,也许最重要的是,RESTful API 比 POSIX 更易于使用和开发。借助 RESTful API,开发人员可以使用 GET、POST、PUT 和 DELETE 等简单的 HTTP 动词与数据进行交互。相比之下,POSIX 要求开发人员使用更复杂的系统调用和文件系统操作,这可能很难处理。随着时间的推移,具有 POSIX 经验的开发人员越来越少。


五、元数据驱动
与基于文件的传统 SAN 和 NAS 解决方案不同,对象存储是元数据驱动的。这意味着每个对象都伴随着一组描述它的元数据。此元数据可以包括对象的创建日期、文件类型或关键字等信息。
MinIO 的元数据原子方法是独一无二的、超可扩展的和超快速的。其他对象存储供应商并没有在这方面投入精力,而是依靠第三方、集中式、元数据数据库来处理工作。这是一个糟糕的选择。
元数据驱动的方法可以轻松地根据特定条件搜索和检索对象。它甚至允许像S3 Select这样的谓词下推。例如,您可以轻松搜索某个时间段内创建的所有对象或具有特定关键字的所有对象。要通过 SAN/NAS 实现这一点,您需要一个专用的应用程序层。正如您可能想象的那样,这催生了一个相当健康的公司生态系统,这些公司非常乐意对您的 SAN/NAS 征税,以便让它像 Web 应用程序一样工作。


总结
对象存储始终是云中的主要存储。随着云操作模型的扩展,对象存储成为本地、托管和边缘的主要存储类型。原因有很多——从可扩展性到安全性。用一家非常大的金融应用程序公司的话来说,“我们将根据需要添加到我们现有的 SAN/NAS 足迹——但所有新事物都将进入对象存储。随着时间的推移,那些遗留应用程序和工作负载将被淘汰,我们甚至不会费心对其进行现代化改造,我们只会编写云原生版本。”

文章来自专栏

刘的专栏

2 篇文章 1 订阅
0 评论
0/1000
评论(0) 发表评论
  • 0
    点赞
  • 0
    收藏
  • 0
    评论