天翼云诸葛AI平台

天翼云诸葛AI-鲁班大数据平台服务,可为用户提供按需灵活扩容的企业级大数据集群和数据全生命周期一站式开发运营服务。底层大数据底座运行于Hadoop、Hive、Spark等大数据组件,在底座之上,提供数据集成、数据开发、数据报表、Web大屏开发等功能。致力于提供给客户数据全生命周期的一站式开发运营服务,帮助企业快速开发基于大数据分析建模能力的业务系和统构建数据运营能力。

产品优势
  • 可靠丨安全可靠

    覆盖全生命周期的数据安全体系,资源隔离,保障租户安全、平台安全;

  • 自主丨技术自主掌控

    基于开源社区活跃的Apache Hadoop 3.2为核心,自主研发整合大数据计算组件构建的大数据能力平台,大数据平台无技术绑定风险,无协议风险,支持滚动升级

  • 易用丨使用技术门槛低

    提供Web图形化界面大数据开发环境、工作流编排、任务调度。数据报表和Web大屏开发工具套件

  • 全面丨功能全面

    提供数据分布式文件存储、数据仓库、离线计算引擎、SQL查询引擎等大数据基础能力,在线数据开发IDE,数据报表,Web展示大屏开发,数据质量校验等应用组件,帮助您的企业构建符合完整性、一致性、正确性、安全性的大数据体系

产品功能
  • 大数据能力

    HDFS分布式文件存储,Hive数据仓库,Spark、MapReduce离线处理引擎,SQL查询引擎等,支持Kerberos证书权限管理


    HDFS分布式文件存储,Hive数据仓库,Spark、MapReduce离线处理引擎,SQL查询引擎等,支持Kerberos证书权限管理


  • 一站式数据开发

    支持在线编写Spark Scala脚本,Pyspark、HiveQL、Spark SQL,Python,Shell等等大数据作业程序,一键提交到大数据集群执行,且支持UDF函数、资源管控

    支持拖拽式DAG工作流编排,页面展示调度情况。支持定时调度、即时调度、事件依赖调度

    支持实时管控每个系统和用户的资源使用情况,限制系统和用户的资源使用量和并发数,并提供实时的资源动态图表


    支持在线编写Spark Scala脚本,Pyspark、HiveQL、Spark SQL,Python,Shell等等大数据作业程序,一键提交到大数据集群执行,且支持UDF函数、资源管控

    支持拖拽式DAG工作流编排,页面展示调度情况。支持定时调度、即时调度、事件依赖调度

    支持实时管控每个系统和用户的资源使用情况,限制系统和用户的资源使用量和并发数,并提供实时的资源动态图表


  • 数据报表(BI)

    支持配置数据源连接数据仓库表,图表组件配置数据源

    图表组件包括:柱形图、折线图等常规图表,地图、文字、表格以及交互装饰等,一键发布到Web服务


    支持配置数据源连接数据仓库表,图表组件配置数据源

    图表组件包括:柱形图、折线图等常规图表,地图、文字、表格以及交互装饰等,一键发布到Web服务


  • Web大屏开发

    支持连接多种数据源,如:数仓、ES、MySQL、API、CSV等

    组合Web展示组件,将不同数据组合成完整的业务大屏。Web组件包括:地图组件、统计图组件、多媒体和交互组件等60种以上组件

    预置业务场景展示模板,按行业需求 快速生成专业系统展示大屏。可提供商业、金融、交通、政务、移动APP等行业的16个大屏模板

    一键将页面发布到Web应用


    支持连接多种数据源,如:数仓、ES、MySQL、API、CSV等

    组合Web展示组件,将不同数据组合成完整的业务大屏。Web组件包括:地图组件、统计图组件、多媒体和交互组件等60种以上组件

    预置业务场景展示模板,按行业需求 快速生成专业系统展示大屏。可提供商业、金融、交通、政务、移动APP等行业的16个大屏模板

    一键将页面发布到Web应用


  • 数据质量校验工具

    支持采集数据质量校验、校验报告、校验任务调度管理

    预定义17中校验规则,支持用户自定义规则,支持单表,跨表的数据校验规则

    日志管理方便排查数据质量问题,支持异常数据提取和存储


    支持采集数据质量校验、校验报告、校验任务调度管理

    预定义17中校验规则,支持用户自定义规则,支持单表,跨表的数据校验规则

    日志管理方便排查数据质量问题,支持异常数据提取和存储


  • 数据集成工具

    支持对结构化、半结构化及无结构化等异构数据源之间的数据传输。可构建异构数据间不落地的数据增量和全量交换,还提供标准化的数据交换格式,在采集交换处理过程中实现从源到目标的格式转变。


    支持对结构化、半结构化及无结构化等异构数据源之间的数据传输。可构建异构数据间不落地的数据增量和全量交换,还提供标准化的数据交换格式,在采集交换处理过程中实现从源到目标的格式转变。


应用场景
  • 应用场景一
  • 应用场景二
  • 应用场景三

1.项目背景及需求

  • 客户具备多个业务系统,源数据格式多样,存储分散。
  • 客户缺乏大数据处理及数据资产管理能力,数据价值未充分挖掘。

2.产品及解决方案

  • 部署天翼云诸葛AI-鲁班大数据平台,提供大数据存储和计算引擎等大数据基础服务。
  • 基于天翼云诸葛AI-鲁班大数据平台建设数据中台,满足数据清洗加载、数据开发、数据报表、Web 展示大屏开发。和模型训练等数据需求。

3.项目收益

  • 企业开始发现企业运营数据的潜在价值,运营数据成为企业数据资产, 打破数据孤岛,通过运营数据资产,发掘数据价值。
  • 企业数据开发与治理复杂及精细度越来越高,数据量巨大、计算环境更复杂、数据处理任务多样化。
  • 企业降低数据开发技术门槛需求,从专业研究走向千行百业的应用探索,门槛不断降低以支持普通开发人员。