传统大数据平台的核心定位是"把数据存起来、业务查得快",而随着 AI 大模型与智能体的爆发,市场需求也逐渐发生变化,数据不再只是被"查询"的对象,而是成为大模型推理、规划和行动的"燃料"与"上下文"。大数据平台的角色,从企业的"后台仓库",演变为 AI 时代的"生产资料供给系统"。
传统大数据平台支撑的数据价值链是: 采集 → 存储 → 计算 → BI 报表 → 人 做决策。
AI 时代链路趋势为:数据平台 → 向大模型/Agent 供给上下文 → 机器自主完成分析、决策乃至执行。
主要有以下几大变化:
- (1)需求场景变化
a. 服务对象扩展:除了 BI 分析师,还要服务 Agent、Copilot 与自动化流程;
b. 交互方式变革:自然语言取代 SQL 成为新的数据入口,"对话式数据分析"让业务人员直接提问;
c. 时效要求升级: Agent 决策需要秒级甚至毫秒级的数据反馈,T+1 的批处理模式在很多场景下不再够用,实时湖仓成为标配。
- (2)数据形态变化
a. 非结构化数据价值重估:企业过去沉淀的文档、工单、图纸、音视频,因大模型的出现价值"活"了过来;
b. 语料治理成为主流需求:清洗、去重、脱敏、标注等面向模型训练与 RAG 的语料处理,重要性不亚于传统 ETL;
c. 数据资产化加速:数据入表、数据交易所让"数据是资产"从口号变为财务科目,而 AI 应用的效果(比如 RAG 问答的准确率)反过来为数据资产定价提供了可度量的标准。
- (3)应对需求的技术架构上也呈现以下变化趋势:
a. 湖仓一体架构成为标准。以 Iceberg、Paimon为代表的开放表格式,融合数据湖的低成本与数据仓库的高性能,一套存储同时支撑 BI、机器学习和 AI 训练/推理,解决"数据复制三份、口径对不上"的难题。
b. 向量检索能力成为常态需求。RAG(检索增强生成)建设驱动,越来越多商机提出向量索引、混合检索(向量+全文+结构化过滤)需求。
c. 数据平台与 AI 平台融合需求。传统的"大数据平台"和"机器学习平台"正在合并为一个 Data+AI 平台:同一份数据,既能跑批处理 SQL,也跑模型训练,还可以支持在线推理和 Agent 工具调用。
d. 多模态数据纳入统一管理。大模型需要文本、图像、音频、视频统一处理,非结构化数据的元数据管理、版本管理与血缘追踪成为新需求。
大数据平台不仅服务 AI,自身也在被 AI 改造:
a. 数据开发方面:自然语言生成 SQL/Python、自动补全数据管道、智能排查任务失败原因;
b. 元数据与血缘的自动发现方面:大模型自动解析脚本、表结构与业务语义,自动补全数据字典;
c. 主动式数据治理方面:平台自动识别敏感字段并打标、发现口径冲突、推荐数据质量规则,从"事后审计"走向"事前防控"。
在变化过程中难以规避的问题是数据质量决定 AI 上限。"垃圾进、垃圾出"在 Agent 场景被进一步放大,一次错误的数据供给可能导致 Agent 级联犯错,数据质量的 SLA 因此变得前所未有的刚性。
AI 与大数据不是简单的"1+1",而是一场全方位融合:AI 让沉睡的数据产生新的价值维度,大数据平台则为 AI 提供可信的上下文地基。未来大数据平台更注重融合(架构)、实时(时效)、智能(交互与治理)、可信(安全与质量),是企业智能化转型的心脏和基石。