背景
当前,以人工智能、云计算为代表的新一轮科技革命进展迅速,数字技术与实体经济迎来深度融合,数字经济正在成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量,推动构建大数据体系成为当前国资央企的一项重点工作。各部门出台一系列推进央国企数字化转型、数据治理的相关政策,为国资央企大数据体系建设和数据治理提供了指导和支持。而数据中台是数字化转型及数据治理的核心工具。
数据中台建设要求
结合国家政策及企业数字化战略,对于数据中台建设存在如下普遍要求:
一、 构建一体化数据目录
开展全企业数据普查摸底,梳理各部门业务系统、数据表、数据数量、类型、更新周期、产生来源、支撑应用等情况;分层分域构建覆盖不同业务过程、业务主体的数据模型;同时纳管企业外部数据资源目录,形成全企业内外数据“一张图”。
二、 加强数据共享
避免数据孤岛,深入挖掘各环节的数据价值,持续完善数据共享体系建设。开展企业内各部门,各子公司协同共享;推进上级机构数据下沉和下级机构数据按需采集上报,推动数据双向流动。广泛应用不同的同步技术,实现数据及时汇聚。
三、 强化数据治理能力中台
持续提升大数据数据处理和治理能力,加强元数据管理、数据生命周期管理、数据交换与共享管理、数据安全管理等,提升数据治理能力。梳理跨层级、跨地域、跨系统、跨部门、跨业务大数据应用共性需求,持续丰富数据中台服务能力,为各机构、部门及相关数据治理人员、开发者提供数据调研、数据上报、数据建模、数据集成、数据处理、即席查询、数据质量、数据安全、数据资产、数据服务等。
四、 提升数据质量
建立健全数据质量反馈整改责任机制和工作体系,加强数据质量事前、事中和事后监督检查,实现数据问题可反馈、共享过程可追溯、数据质量问题可定责,推动数据源头治理、系统治理。
数据治理模块
数据建模
数据建模是将无序、杂乱、繁琐、庞大且难以管理的数据,进行结构化有序的管理。使企业数据产生更多的价值,将数据价值最大化。
数据建模需支持制定并沉淀企业数据标准、数仓规划设计、数据指标定义、维度建模、逆向建模。通过逆向建模可以将其他建模工具建的存量物理表反向建模到维度建模中,进行统一管理。
数据集成
数据集成模块需提供从源数据库同步到目标数据库,并支持轻量级ETL能力和数据稽核能力。核心能力包括数据探查、数据同步、数据对账、任务监控。数据同步需支持增量、全量、离线、实时数据集成场景,具备离线同步、整库同步、实时同步等应用功能。数据对账是对同步后的数据进行核验,确保数据完整、正确同步至目标库,形成数据同步流程闭环。
数据处理
数据处理需支持通过界面化开发和规范化处理,提升数据价值密度,为数据应用实现数据增值、数据准备等,并通过即席查询实现轻量化的代码开发和脚本复用执行,同时通过统一的调度管理模块,实现工作流的执行策略配置,告警等。
数据质量
数据质量管理是指通过建立数据质量评估标准和管理规范,及时发现、监测定位、跟踪解决各类数据质量问题,形成数据质量问题的闭环处理,以保证数据质量的稳定可靠。需支持定义数据全生命周期的质量监测、质量分析、数据质量报告等相关策略。
数据安全
数据安全需提供权限管理,含基于用户、菜单、角色的权限管理;需提供敏感数据识别能力,含数据密级、数据分类、数据敏感任务的扫描等;需提供数据脱敏能力,含静态脱敏、动态脱敏等;还需提供数据水印,提供问题追溯的能力。
数据地图
数据地图是在元数据基础上提供的企业数据目录管理模块,涵盖全局数据总览、数据检索、数据发现等功能,帮助用户更好地管理、理解和使用数据。
数据服务
数据服务旨在为企业提供全面的数据服务及共享能力,帮助企业统一管理面向内外部的API服务。用户可将数据表快速生成数据API,或将已有API快速注册至本平台进行统一管理与发布,为上层业务提供灵活的数据查询。通过统一的接口,让数据使用者和物理数据源隔离。数据服务需提供了标准化、规范化的数据开发手段,实现API开发、API测试、API发布、API管理、API授权等全流程功能。