近几年来,云存储市场规模持续增长,从市场方面看,我国2020年的市场已达400亿,随着5G时代带来的网络化激增,未来云存储市场发展空间巨大,复合增长率保持在29.3%,预计2026年,市场规模可达1800亿元,数据量预估在163ZB级别。
同时,政策也在不停助力企业数字化转型,2020到2021年发布四次政策,推进教育、政府、企业等领域的数字化新形态,云存储作为云化产品的夯实基础,我们急需加强修炼内功,扩展市场。
市场有了,客户的需求就来了,对于存储的需求也是多方面多维度的,比如规模和容量方面的需求、长期存储、成本、性能方面的需求,还有访问方式方面的一些需求,对分布式存储的提出了更高的挑战,比如横向扩展、平滑需求、提升利用率、高可靠性、高并发、稳定高性能、还有多协议及协议互通方面的诉求。
那有同学会问了,为什么不集中式存储呢?集中式存储是双控的架构,典型的纵向扩展的一个模型,对比分布式存储横向扩展的模型,极好的应对了客户大规模扩容的诉求。详细比对一下,集中式存储一般是双控带数百块硬盘,而分布式存储则是上万甚至更多的硬盘,从架构上,大家能看到,集中式存储的性能瓶颈主要在控制器,而分布式存储则是性能随节点扩容线性增长,基本无瓶颈。数据保护方面,集中式存储是通过控制器RAID方式冗余保护,而分布式存储支持副本和纠删码模式进行冗余,安全性更高,利用率更高。在硬件方面,集中式一般采用专有硬件,成本高更新慢,而分布式存储采用标准服务器即可,成本低且迭代快。
政企、交通、能源等数字化转型,推动应用从传统软件架构向云软件建构演进,主要有解耦合、虚拟化、分布式、灾备安全等方面的转型,这种转型,滋生出了我们的分布式存储的包括云盘、对象存储、文件存储、存储灾备、容器存储、存储网关、迁移等产品。
接下来我们分享一下云存储产品的整体架构及未来演进,存储基础能力作为存储的核心底座提供文件对象块容器存储的基本能力,存储引擎采用一系列的核心技术保证了数据存储的高效和可靠性,当然了我们兼容了主流的操作系统和芯片,包括天翼云ctyunos自研操作系统。同时,在非公有云方面,我们也退出了我们的超融合方案,混合云、边缘云相关的方案包括未来的一体机方案,左边是我们的智能管控平台,在此存储底座上,向上衍生出我们的数据服务能力,云盘、视频存储、容器存储、灾备、数据库,包括未来的数据湖管理服务。
那我们有哪些主打优势呢,体现在四个方面,第一:自研架构,从存储引擎到各服务网关再到灾备、迁移方案,全栈解决方案均自主可控。第二:极致性能单桶对象十亿+,云盘iops 稳定5w,单文件系统2w+。第三:自主可控,能提供公私专混得信创及国家云的完整方案。第四,一站式智能运维,支持30分钟部署完成,及我们的独立可视化运维也是我们的一个亮点。
针对小型化私有云、一城一池的场景,我们也推出了我们的私有云版本,超融合部署方案实现了轻量化虚拟化平台上线,按需裁剪定制部分功能,满足客户小型化和定制化需求。我们丰富的运维特性,完全可以满足客户自运维的诉求。在定制化方面,我们也支持为客户提供自定义存储资源分布的能力。后续我们也会打造我们的软硬一体机,应对更小客户的诉求。
我们存储项目也是紧随公司云分布规划进行布局,按照2基地4大区31省资源池及x节点,包括预计2000+以上规模的一城一池,存储都是坚实的底座。以下是存储当前及未来规划的项目布局,属地化的服务能力承载各地不同的特色应用,就近访问及减少跨省专线,更具有网络时延和成本的极大优势。
接下来,我们就逐款存储产品进行介绍。
首先是云硬盘,云硬盘分布式架构,为云主机和裸机提供系统盘和数据盘的存储,同时,可以通过快照和备份进行数据保护,云盘为大家提供不同规格的IO级别,满足不同优先级客户的诉求。右边是我们的产品能力,大家可以看下。
接下来我们分享一下 云盘的几个主打特性,云硬盘共享能力为云盘同时挂载在多个云主机或裸机上提供支持,满足主流核心集群系统的无缝上线诉求。云硬盘快照秒级创建和恢复且占用空间少,可以方便的为客户备份数据,也可以通过多份快照满足不同业务需求。
基于Qos的智能IO管理满足不同优先级客户IOPS不被抢占的诉求,同时为小块云盘提供短时间内的性能激增的能力。比如在虚机启动的时候,通过该特性,虚机启动速度提升1到2倍以上。
接下来,选取一个云盘使用的典型案例供大家参考。Oracle RAC核心集群业务,主要关注高IOPS、低时延、大并发,我们为客户提供两种方案 云主机+iscsi+块存储、裸金属+块存储方案,客户可以按需选择。目前也有部分客户采用的是裸金属+FCSAN的方案,与我们云主机+iscsi云硬盘方案比对的 iops和时延如有图所示,在小文件读写这块 块存储很有优势,在超过256k数据读写方面,性能我们后续还会进一步调优提升。
接下来我们分享一下 对象存储。
我们产品名称叫 对象存储原生版I型,为非结构化的数据提供标准的S3、swift及标准的文件接口,为云主机、裸机、视频、大数据提供无限存储服务。我们产品分为三档,标准、低频和归档,同时我们支持跨地域、跨数据中心的容灾保护能力。
接下来,介绍下对象存储的几个优势特性。我们对象存储与云主机通过内网互通,这样云主机和云盘的备份不会产生公网流量,更加安全,成本更低,而且时延更低。
我们的多协议互通,通过云存储网关,客户可以直接通过标准文件接口读写对象数据,省去了协议转换的麻烦,并且也节约了存储空间。
同时我们也提供了对象迁移的能力,支持云上数据及本地数据的迁移,支持按照整桶、指定部分文件等多种粒度进行迁移。当然了,我们也支持跨区域的复制,提供Region级别的数据安全级别。同时,我们的3AZ能力,将副本分布在多个可用区,AZ之间专线互联,时延小。也支持跨AZ的服务能力,一个AZ写入,多个AZ访问。
接下来是对象存储的几个典型案例。
第一个,雄安视频对接,我们采用与海康平台合作,平稳接入2w路视频,并且每周持续增加1000路摄像头,单流带宽达到300MB,满足客户视频点播、视频转码、对接CDN直播的应用场景。同时我们也支持与福富、大华等各大主流视频平台对接,2022年我们将重点打造更完善的视频一体化全方位解决方案,通过高密硬件、性能优化的软件,满足海量多样化视频与图片存储诉求。
第二个,备份的场景,海量数据的便捷发布与跨域访问、温冷数据的低成本保存、备份与归档诉求增长,使得数据对象化存储的应用越来越广泛。我们对象存储支持多种应用的备份能力,大带宽低成本大比例纠删码满足客户 数据库应用、镜像、视频、图片等的备份,并且支持数据自动分级,以更节能方式进行长期保存,提升数据访问效率、降低海量数据储存成本。同时我们也支持防盗链、桶权限控制、黑白名单等安全手段为用户备份数据保驾护航。
第三个场景,视频会议转码,对象存储与视频会议服务器、转码服务器对接,用户可以自定义转码任务和转码工作流,转码服务器自动从对象存储中拉取视频文件处理后再持久到对象中。我们支持容量弹性伸缩至EB级,支持从单pool、多pool、多集群多种维度实现用户无感扩容。
第四个场景,配合云主机场景,支持私有镜像的上传、下载、导出、共享,云主机和公网随用随取。Region级的对象服务,上传一份镜像,多个可用区读取,进一步压缩了存储空间。
文件存储
弹性文件,为云主机、容器、裸金属提供共享访问的NAS存储。不同租户对应的应用,通过不同的VPC通过多个挂载点共享并发访问文件存储,性能高且安全隔离。
在政企、金融、公安这些安全系数要求比较高的场景下,文件存储为客户提供了多种安全手段保护文件,比如支持文件传输和存储通过KMS加密,租户可以完全控制秘钥,而且操作简单。比如可以根据需要提交保护要求,从存储设备层次上杜绝对文件内容的修改。
文件存储的几个案例,希望能给大家提供下参考。
吉利汽车HPC项目,最大的挑战和特点是数据量大、时效性强以及算法复杂,文件存储为多个租户提供并行访问的高性能存储。数据密集型HPC解决方案,是面向政府超算、科研机构以及创新企业等的数据基础设施,帮助企业更好地应对数据密集型应用爆发带来的种种挑战,打开数据价值新空间,让数据更智能。
雄安公积金项目,是政企应用上云的一个典型项目,文件存储支持了10000+用户并行访问,并且为租户配置全链路安全加密,在数据库服务、虚拟机化服务、备份服务,均对接文件存储。
自研的devops项目,整个项目从规划设计、跟踪进度、迭代开发、持续交付到生产发布,全部建立在文件存储之上,包括代码托管、软件仓管理、并行编译、版本迭代等环节,在海量小文件、提升编译效率有显著的明显优势。
接下来介绍下我们最新推出的容器存储。
CSI容器存储采用标准接口,接入K8S、openshift进行编排的调度,满足上层数据库、消息队列、持续构建的应用要求。一款插件,可以同时对接块、文件、对象,同时也具体足够的灾备能力。
在邮储私有云项目,是金融核心系统上云的一个里程碑项目,采用CSI插件对接快存储,支撑了容器用户的多种需求,当然了,该项目后续还会使用了文件、对象、云盘等存储产品。
最后介绍一下我们明年要推出的存储备份和容灾产品。通过我们的备份客户端注册到vmware、数据库、甚至是普通的目录,等应用中,通过自定义的备份任务,将备份数据上传天翼云、或者第三方云或者数据中心,按需收费。
另外我们还提供实时备份的能力,通过block io的方式同步或异步方式复制io上云。
我们采用应用一致性备份原理,保证备份文件能真实有效的还原应用。同时,针对备份数据做重删、压缩提升备份空间利用率,也可以通过加密,满足客户数据安全的要求。
最后,看下两地三中心的布局方案兼容同城容灾和异地容灾。同城双中心采用云双活容灾方式,在距离小于100公里,通过专线互联,时延小且可以支持选择不同带宽,实现同城应用级容灾。同时我们建设异地灾备中心,通过三层互联,可以建设在任意距离的异地,实现广域网应用级容灾,可以在两中心均故障的情况下,使用备份数据进行快速恢复业务,进一步将自然灾害等严重故障的危害降到最低。