业务要求 良好的扩展性,100个节点以上web服务器; Session操作的性能能横向扩展,容量横向扩展; 共享session数据支持超时机制 需求分析 天翼云分布式缓存单分组支持1000个web服务器*100个线程以上的连接池连接、后端redis存储节点支持1000个redis节点水平扩展,存储容量最大可支持500TB、支持按key设置超时时间 实现思路:通用实现思路,与web容器选型无关 使用filter拦截cookie中的sessionId,通过sessionId构造新的HttpServletRequestWrapper
本章节会介绍如何开启分布式事务 操作背景 分布式事务指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。简单的说,就是一次大的操作由不同的小操作组成,这些小的操作分布在不同的服务器上,且属于不同的应用,分布式事务需要保证这些小操作要么全部成功,要么全部失败。本质上来说,分布式事务就是为了保证不同数据库的数据一致性。
云日志服务支持采集分布式缓存服务Redis日志,您可在Redis实例控制台中进行开启日志收集,由云日志服务提供存储与采集能力。采集后,您可以在云日志服务控制台对redis日志进行查询、分析或告警配置。前提条件已订购分布式缓存服务Redis实例。已开通云日志服务。配置步骤登录分布式缓存服务Redis控制台。在实例管理列表中,点击目标实例名称,进入实例详情页面。点击左侧菜单栏“日志管理”-“审计日志”根据页面提示,点击“马上开启”按钮。
相比于传统的集中式数据库,分布式数据被分散存储在多个物理位置(多台服务器或数据中心)上,并将这些分散的存储资源构成一个虚拟的存储设备。这种存储方式不仅实现在线扩容能力,同时也提升了数据的检索能力。而且分布式数据库利用SQL语言进行分布式查询和处理,使其性能和扩展性得到显著提升。 分布式数据存储原理 分布式存储架构通常由三个部分组成:客户端、元数据服务器(协调节点)和数据服务器(数据节点)。其主要流程是:客户端负责发送读写请求,缓存文件元数据和文件数据。
容量型:对于普通共享文件的客户,文件存储采用普通HDD存储池,提供容量型弹性文件服务,接入部分由文件管理服务静态负载均衡+可扩展文件网关服务组成,使用浮动IP对外提供高可用的存储服务,底层基于分布式文件存储集群提供数据读写。 性能型:对于性能要求较高的客户,文件存储采用SSD全闪存储池,提供性能型弹性文件服务,接入部分由文件管理服务静态负载均衡+可扩展文件网关服务组成,使用浮动IP对外提供高可用的存储服务,底层基于分布式文件存储集群提供数据读写。
一、云存储服务全球分布式部署的概念 云存储服务是一种基于云计算技术的数据存储解决方案,它将大量的数据存储资源集中在云端,并通过网络向用户提供数据存储、访问和管理等服务。而全球分布式部署则是指云存储服务在全球范围内设置多个数据中心,通过高速网络连接,实现数据的全球分布存储和访问。 全球分布式部署的核心理念是将数据分散存储在全球各地的数据中心,以充分利用各地的网络资源和存储资源,提高数据的访问速度和可靠性。
一、云存储服务全球分布式部署的概念 云存储服务是一种基于云计算技术的数据存储解决方案,它将大量的数据存储资源集中在云端,并通过网络向用户提供数据存储、访问和管理等服务。而全球分布式部署则是指云存储服务在全球范围内设置多个数据中心,通过高速网络连接,实现数据的全球分布存储和访问。 全球分布式部署的核心理念是将数据分散存储在全球各地的数据中心,以充分利用各地的网络资源和存储资源,提高数据的访问速度和可靠性。
二、Ceph的优势 可靠性高:Ceph采用了多副本和分布式一致性协议,确保数据在多个节点上同时存储和备份,避免了单点故障的发生。 可扩展性强:Ceph具有良好的可扩展性,可以在多台服务器上部署,并根据数据规模和性能需求进行线性扩展。 高性能:Ceph采用了优化的数据分布算法和数据管理机制,使得它具有高性能的读写能力,可以满足各种应用的需求。 安全性高:Ceph提供了数据加密、访问控制和安全审计等功能,确保数据的安全性和隐私性。
兼容性强:HBlock适用于市面上通用的标准化服务器,覆盖常见的Linux操作系统,在一个分布式集群中可以包含不同架构的服务器,CPU和内存配置也可以各不相同,真正实现一云多芯。在一云多芯的基础上,HBlock还实现了“同云异盘”,即支持集群中各硬盘容量不同,从而盘活任何规格的、具有存储潜力的硬件。 采用分布式多控制器技术:HBlock支持多节点同时读写,避免单点瓶颈的问题,具备集中式软件低时延特性,并且宏观上通过分布式提供扩展性,微观上对每个卷具备多控能力,以提高系统可用性。
HBlock基于MPIO的“一主多备”方案,故障场景下支持数据链路自动切换,集群中所有服务都采用冗余模式部署,数据处理过程不依赖任何时钟服务器,使用天翼云自研的分布式租约和心跳机制进行主备切换,从发生故障到故障发现,再到完成服务接管,整个过程几秒内就能完成。在切换过程中,分布式多控制器保证了两个缓存之间的数据是强一致的,确保数据不丢失。
(不影响其他分布式消息服务的订购和使用) 2、存量客户:如您未对分布式消息服务进行迁移,也没有主动删除分布式消息服务下“队列管理”中的消息队列,消息队列将于2022年6月15日冻结直至删除,存在数据丢失风险。我们强烈建议您: 1)如您继续使用分布式消息服务,可将分布式消息服务迁移至天翼云体验更佳的分布式消息服务产品Kafka专享版、RabbitMQ专享版,天翼云运维团队将全程配合您完成业务迁移,确保业务正常稳定运行。
如今,数据已经成为金融行业重要的资产,构建新型的、安全可靠的数据存储底座,有助于推动金融行业数字化转型,为业务和服务创新提供有力的支撑。 天翼云在今年3月发布的存储资源盘活系统HBlock,是一款全用户态的软件定义存储产品,可满足金融业务的高可靠存储需求,有效提升存储资源利用率。HBlock采用分布式多控制器架构,具备高可用、易扩展等特性,其强大的兼容性和硬件异构特性,充分整合闲置存储资源,解决新业务存储需求,实现节能减排、绿色低碳。