可靠丨安全可靠
大数据集群5000+规模,全年稳定性达99.95%,在中国电信生产环境得到验证
自主丨技术自主掌控
基于开源社区活跃的Apache Hadoop 3.2为核心,自主研发整合大数据计算组件构建的大数据能力平台,大数据平台无技术绑定风险,无协议风险,支持滚动升级
易用丨使用技术门槛低
提供Web图形化界面大数据开发环境、工作流编排、任务调度。元数据管理和数据血缘自动提取和查询、数据报表和Web大屏开发工具套件
全面丨功能全面
提供数据分布式文件存储、数据仓库、流式/离线计算引擎、SQL查询引擎、消息总线等大数据基础能力,在线数据开发IDE,数据报表,Web展示大屏开发,数据质量校验,数据治理等应用组件,帮助您的企业构建符合完整性、一致性、正确性、安全性的大数据体系
- 大数据能力
Hdfs分布式文件存储,Hbase分布式列式存储,Hive数据仓库,Spark Streaming流式处理引擎,Spark、MapReduce离线处理引擎,SQL查询引擎 ,Kafka分布式数据总线,Flume数据抽取工具,支持Kerberos证书权限管理
Hdfs分布式文件存储,Hbase分布式列式存储,Hive数据仓库,Spark Streaming流式处理引擎,Spark、MapReduce离线处理引擎,SQL查询引擎 ,Kafka分布式数据总线,Flume数据抽取工具,支持Kerberos证书权限管理
- 一站式数据开发
支持在线编写Spark Scala脚本,Pyspark、HiveQL、Spark SQL,Python,Shell等等大数据作业程序,一键提交到大数据集群执行,且支持UDF函数、资源管控
支持拖拽式DAG工作流编排,页面展示调度情况。支持定时调度、即时调度、事件依赖调度
支持实时管控每个系统和用户的资源使用情况,限制系统和用户的资源使用量和并发数,并提供实时的资源动态图表
支持在线编写Spark Scala脚本,Pyspark、HiveQL、Spark SQL,Python,Shell等等大数据作业程序,一键提交到大数据集群执行,且支持UDF函数、资源管控
支持拖拽式DAG工作流编排,页面展示调度情况。支持定时调度、即时调度、事件依赖调度
支持实时管控每个系统和用户的资源使用情况,限制系统和用户的资源使用量和并发数,并提供实时的资源动态图表
- 数据报表(BI)
支持配置数据源连接数据仓库表,图表组件配置数据源
图表组件包括:柱形图、折线图等常规图表,地图、文字、表格以及交互装饰等
一键发布到Web服务
支持配置数据源连接数据仓库表,图表组件配置数据源
图表组件包括:柱形图、折线图等常规图表,地图、文字、表格以及交互装饰等
一键发布到Web服务
- Web大屏开发
支持连接多种数据源,如:数仓、ES、MySQL、API、CSV等
组合Web展示组件,将不同数据组合成完整的业务大屏。Web组件包括:地图组件、统计图组件、多媒体和交互组件等60种以上组件
预置业务场景展示模板,按行业需求 快速生成专业系统展示大屏。可提供商业、金融、交通、政务、移动APP等行业的16个大屏模板
一键将页面发布到Web应用
支持连接多种数据源,如:数仓、ES、MySQL、API、CSV等
组合Web展示组件,将不同数据组合成完整的业务大屏。Web组件包括:地图组件、统计图组件、多媒体和交互组件等60种以上组件
预置业务场景展示模板,按行业需求 快速生成专业系统展示大屏。可提供商业、金融、交通、政务、移动APP等行业的16个大屏模板
一键将页面发布到Web应用
- 数据质量校验工具
支持采集数据质量校验、校验报告、校验任务调度管理
预定义17中校验规则,支持用户自定义规则,支持单表,跨表的数据校验规则
日志管理方便排查数据质量问题,支持异常数据提取和存储
支持采集数据质量校验、校验报告、校验任务调度管理
预定义17中校验规则,支持用户自定义规则,支持单表,跨表的数据校验规则
日志管理方便排查数据质量问题,支持异常数据提取和存储
- 数据治理工具
解决Hadoop数据仓库元数据治理问题,提数据血缘、数据安全和生命周期管理在内的元数据治理核心能力
元数据导入,自动捕获数据集和底层元素之间的关系,快速查找数据血缘关系
数据集血缘关系的可视化浏览
解决Hadoop数据仓库元数据治理问题,提数据血缘、数据安全和生命周期管理在内的元数据治理核心能力
元数据导入,自动捕获数据集和底层元素之间的关系,快速查找数据血缘关系
数据集血缘关系的可视化浏览
- 数据集成工具
数据库增量抽取工具
离线文件传输工具
实时采集数据工具
数据库增量抽取工具
离线文件传输工具
实时采集数据工具
1.项目背景及需求
客户具备多个业务系统,源数据格式多样,存储分散。
客户缺乏大数据处理及数据资产管理能力,数据价值未充分挖掘。
2.产品及解决方案
部署天翼云诸葛AI平台-大数据平台,提供大数据存储和计算引擎等大数据基础服务。
基于天翼云诸葛AI平台-大数据平台建设数据中台,满足数据清洗加载、数据治理、数据开发、数据报表、Web 展示大屏开发。和模型训练等数据需求。
3.项目收益
企业开始发现企业运营数据的潜在价值,运营数据成为企业数据资产, 打破数据孤岛,通过运营数据资产,发掘数据价值。
企业数据开发与治理复杂及精细度越来越高,数据量巨大、计算环境更复杂、数据处理任务多样化。
企业降低数据开发技术门槛需求,从专业研究走向千行百业的应用探索,门槛不断降低以支持普通开发人员。