背景信息
在云原生和大数据成本优化的大趋势下,分布式消息Kafka引入弹性存储功能,正是为了应对传统架构中“高成本、难扩展、利用率低”的痛点。通过弹性存储能力,实现存储成本的显著下降和资源的按需使用,使企业能够以更经济的方式处理海量流数据。弹性存储能力核心优势如下:
显著降低存储成本
存储费用通常常仅为超高IO云盘费用的30%左右。通过将不常访问的历史数据迁移到对象存储,企业可以在保留更长数据保留周期的同时,大幅降低总体拥有成本。
实现按需使用、弹性扩展
弹性存储解耦了计算与存储。对象存储具备近乎无限的扩展能力,无需预先规划容量。用户可以根据业务需求灵活延长数据保留时间(如从 7 天延长至 90 天甚至更久),而无需担心存储瓶颈。
提升资源利用率与运维效率
本地磁盘资源专注于服务高频访问的热数据,提升集群性能;冷数据由对象存储承载,减轻 Kafka服务端的存储压力。同时,减少了因存储不足而频繁扩容的运维负担。
支持更多数据应用场景
低成本的长期数据保留使得 Kafka 不仅可用于实时流处理,还可作为事件溯源、数据湖入湖前的缓冲层、合规归档等场景的统一数据平台,提升数据价值。
技术原理
本地存储
本地存储服务写流量/追尾读,提供与原Kafka实例一致的延时、可用性和一致性。
远程存储故障或者性能衰退,本地存储支持弹性扩容提供读写服务,参考智能运维中磁盘自动扩容能力。
远程存储
远程存储服务追赶读,对比本地存储时延较高,吞吐量降低。
按需使用,按量计费。
功能说明
使用限制
引擎版本
当前仅在 Kafka 3.6.x或以上引擎版本支持弹性存储。地域
仅在Ⅱ类资源池支持。弹性存储Topic禁止使用事务消息
暂时不建议在该形态下使用事务消息,如需使用,该Topic可不开启弹性存储。开放范围
功能处于白名单状态,如需使用,请您联系我们。规格范围
弹性存储该模式下暂不支持开通或扩容至16核及其以上规格。
使用说明
步骤 1:购买弹性存储实例
(1)登录管理控制台。
(2)进入Kafka管理控制台。
(3)在实例列表页右上角选择“订购实例”。
(4)在存储系列中选择“弹性存储模式”。