活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
- 创建自定义集群Loader:基于开源sqoop 1.99.7开发,专为Apache Hadoop和结构化数据库(如关系型数据库)设计的高效传输大量数据的工具。(MRS 3.x版本不支持) Hadoop为必选组件,且Spark与Hive组件需要配套使用。请根据业务选择搭配组件。Flink:分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。Oozie:Hadoop作业调度系统。(仅MRS 3.x版本支持)HetuEngine:HetuEngine是一个同异构大数据集的分布式SQL查询引擎。
- x86 V5实例（CPU采用Intel Skylake架构）该规格使用V5 CPU服务器,并结合IB网卡,适用于HPC高性能计算等场景。 规格名称业务场景CPU内存本地磁盘扩展配置physical.h2.large数据库、大数据36coresIntel(R) Xeon(R) Gold 26151(2*18core,3.00GHz)192GB1*1.6TB NVME2*10GE + 1*100G IB GPU加速型 提供优秀的浮点计算能力,从容应对高实时、高并发的海量计算场景。特别适合于深度学习、科学计算、CAE、3D动画渲染、CAD等应用。
- 与其他云服务的关系本小节主要介绍态势感知与其他云服务之间的关系。 与安全服务的关系 态势感知从企业主机安全(Host Security Service,HSS 2.0)等安全防护服务中获取必要的安全事件记录,进行大数据挖掘和机器学习,智能AI分析并识别出攻击和入侵,帮助用户了解攻击和入侵过程,并提供相关的防护措施建议。 与ECS的关系 态势感知为弹性云主机(Elastic Cloud Server,ECS)提供资产安全管理服务,结合HSS主机防护状态,全方位呈现当前ECS安全风险态势,并提供相应防护建议。
- 非天翼云用户数据迁移至弹性文件服务本文介绍非天翼云用户数据如何迁移至云上弹性文件服务。 应用场景 在第三方云厂商存储大量数据的用户,如果想要将数据迁移至天翼云弹性文件服务,若使用传统的方法,需要先将存储在第三方云厂商上的数据下载到本地,再手动将数据上传到弹性文件服务,整个过程耗时又耗力,容易存在漏传、误传等问题。 本文推荐您配置一个弹性云主机实例挂载文件系统作为数据传输的中转节点,然后通过迁移工具迁移数据至天翼云弹性文件服务,迁移工具可以选择SFTP客户端。仅需简单配置,即可把数据从第三方云厂商轻松、平滑地迁移至SFS。
- CronHPA定时策略当CronHPA与HPA兼容使用时,需要将CronHPA中的scaleTargetRef字段设置为HPA策略,而HPA策略的scaleTargetRef字段设置为Deployment,这样CronHPA策略会在固定的时间调整HPA策略的实例数量上下限,即可实现工作负载定时伸缩和弹性伸缩的兼容。 步骤 1 为Deployment创建HPA策略。
- 扩容云硬盘云硬盘扩容功能支持扩大云硬盘容量,不支持缩小云硬盘容量。 当磁盘已经投入使用后,请在扩容前务必检查磁盘的分区形式,具体说明如下: 分区形式注意事项MBR分区容量最大支持2TB(2048GB),超过2TB的部分无法使用。GPT分区容量最大支持18EB(19327352832 GB)。云硬盘服务支持的最大数据盘容量为32TB(32768 GB),即您最大可将数据盘扩容至32TB。
- 使用限制类型限制项默认配额备注数据查询最大查询时间范围 11000暂不支持调整单次接口查询超时时间30秒暂不支持调整单次查询最多扫描时间线数量2万提交工单申请扩容,扩容不会对之前上报数据生效。单次查询扫描最大数据量1000万暂不支持调整单词查询返回的最大数据量100万暂不支持调整最大查询QPS50QPS暂不支持调整数据采集和上报每个数据点最大支持大小32kB,超过会解析失败暂不支持调整每个用户最大时间线数量-实际上系统会在到达限额之前为您自动做相关的扩容,因此您无需关注该限制。
- MRS Spark PythonMRS集群名 是 选择支持spark python的mrs集群。MRS只有特定版本支持spark python的集群,请先测试运行,保证集群支持。如需新建集群,请参考以下方法:单击,进入“集群列表”页面新建MRS集群。前往MRS管理控制台进行新建。如何新建集群,请参见《MapReduce服务使用指南》中的创建集群。 作业名称 是 MRS作业名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。说明 作业名称不得包含中文字符、超出长度限制等。
- 云日志服务Logback SDK此处需要填入5个必填参数,相关参数获取,详情参考天翼云官网云日志服务-SDK接入概述。与其他云服务的关系本小节主要介绍态势感知与其他云服务之间的关系。 与安全服务的关系 态势感知(专业版)从主机安全(Host Security Service,HSS)、Web应用防火墙(Web Application Firewall,WAF)等安全防护服务中获取必要的安全事件记录,进行大数据挖掘和机器学习,智能AI分析并识别出攻击和入侵,帮助用户了解攻击和入侵过程,并提供相关的防护措施建议。云硬盘概述适用场景 如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。 如大数据分析,数据湖,数据备份和归档等大规模数据存储和分析场景;静态网站托管解决方案存储。 如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化;大规模数据处理与分布式计算等高性能计算场景。 容量 弹性文件服务可按需扩展,单文件系统容量默认最大为32TB。如需更大容量的文件系统,可提工单申请。 对象存储服务没有容量限制,存储资源可无限扩展。搭建Spark应用本文为您介绍如何搭建Spark应用。 背景信息 Spark是新一代分布式内存计算框架,Apache开源的顶级项目。相比于Hadoop Map-Reduce计算框架,Spark将中间计算结果保留在内存中,速度提升10~100倍;同时它还提供更丰富的算子,采用弹性分布式数据集(RDD)实现迭代计算,更好地适用于数据挖掘、机器学习算法,极大提升开发效率。 前提条件 确保您已经创建Serverless集群,具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。pg_transparent_crypt_policy_algorithm本页介绍天翼云TeleDB数据库元数据pg_transparent_crypt_policy_algorithm的内容。 存储透明加密中的算法策略。自建MySQL迁移至中国电信TeleDB本节为您介绍自建MySQL迁移至中国电信TeleDB任务配置。 限制条件 中国电信TeleDB for MySQL在使用Udal组件的情况下,全量迁移阶段无法自动迁移表定义。您需要提前手动创建表。 目标端配置请参照自建MySQL迁移至自建MySQL。自建PostgerSQL迁移至中国电信TeleDB本节为您介绍自建PostgerSQL迁移至中国电信TeleDB任务配置。 限制条件 中国电信TeleDB for MySQL在使用Udal组件的情况下,全量迁移阶段无法自动迁移表定义。您需要提前手动创建表。 目标端配置请参照自建PostgreSQL迁移至自建MySQL。自建Oracle迁移至中国电信TeleDB本节为您介绍自建Oracle迁移至中国电信TeleDB任务配置。 限制条件 中国电信TeleDB for MySQL在使用Udal组件的情况下,全量迁移阶段无法自动迁移表定义。您需要提前手动创建表。 目标端配置请参照自建Oracle迁移至自建MySQL。功能特性数据开发:一站式协同开发平台 DataArts Studio数据开发是一个一站式敏捷大数据开发平台,提供可视化的图形开发界面、丰富的数据开发类型(脚本开发和作业开发)、全托管的作业调度和运维监控能力,内置行业数据处理pipeline,一键式开发,全流程可视化,支持多人在线协同开发,支持管理多种大数据云服务,极大地降低了用户使用大数据的门槛,帮助用户快速构建大数据处理中心。功能特性DLI在开源Flink基础上进行了特性增强和安全增强,提供了数据处理所必须的Stream SQL特性。 DLI服务架构:Serverless DLI是无服务器化的大数据查询分析服务,其优势在于: 自动扩缩容:根据业务负载,对计算资源进行预估和自动扩缩容。产品定义处理层:实现对采集到的数据做统一规范化,对数据进行关键信息提取,标签化分类,过滤,归并等数据ETL操作,为后续的数据分析做准备。存储层:实现海量安全大数据的分布式存储,提供结构化数据和非结构化数据的存储能力,并为上层的数据分析应用提供高效的数据库功能支撑。引擎层:综合数据处理分析的能力提供层,提供由大数据技术和架构支撑的快速检索和数据关联发掘功能。是支撑上层数据呈现和分析结果输出的计算引擎层,提供丰富的大数据统计、关联分析、数据挖掘以及态势分析能力,是系统的分析处理的核心。数据导出介绍支持大规模数据导出 当前支持最大数据量100万行,确保高效率、高质量的数据导出。对于MongoDB/DDS数据源,当前支持最大数据量10万行。 友好的用户界面 数据导出功能的用户界面简单直观,即使您不是技术专家,也能轻松上手使用。 应用场景 业务报告与分析: 通过导出数据,您可以生成详细的业务报告和数据分析,为管理层提供决策依据。 数据迁移: 在更换系统或平台时,数据导出可以帮助您将旧数据迁移到新系统中。 数据备份: 将数据导出为可读格式,可以作为紧急备份,防止数据丢失。DeleteAccountPasswordPolicyResponseMetadata DeleteAccountPasswordPolicyResponse>云专线的功能支持MSTP专线接入 依托中国电信传送网,为用户提供具有灵活调整带宽和以太网接入功能数据专线。通过MSTP专线可实现自有IT环境(私有云)与云资源的高效、安全的连接和统一管理。 为客户提供从客户站点到云资源池站点的以太专线服务(IPRAN、MSTP、PON等),客户端采用以太网接口接入,在客户端和局端设备以太网端口允许范围内,可以根据客户需求增加或减少带宽而不需频繁更换客户端和局端设备。 物理专线 连接天翼云与本地数据中心的物理线路连接,您的数据中心和天翼云专线网络接入点间建立网络连接。支持的云服务、大数据和非结构化数据的海量存储形态,通过S3协议和标准的服务接口,提供非结构化数据(图片、音视频、文本等格式文件)的无限存储服务 对象存储产品定义 其他 服务说明相关文档云日志服务 云日志服务是天翼云打造的一款云原生日志观测分析平台产品,可为应用的海量日志数据提供大规模、低成本、集中式的平台化服务,具备一站式的日志采集、加工、查询分析、可视化、告警等能力,全面满足应用研发、运维、服务监控与业务分析等应用场景云日志服务产品定义弹性伸缩弹性伸缩服务(CT-AS,Auto Scaling)是根据用户的业务需求应用场景serverless应用部署适用场景开发、测试环境搭建,中小型应用或微服务产品优势按需资源: 以Serverless SaaS的方式按需使用算力,无须关注底层IaaS/PaaS,平台全托管免运维快速部署:应用快速部署和启动灵活管理:随时启停应用,停止应用后不计费专属资源应用部署适用场景大型Web应用与关键业务系统搭建,多组件部署产品优势安全性强: 用户独占的专属集群,数据安全性高,性能稳定自主性强:可自主分配资源,可将多个应用部署到同个专属资源组内,资源利用率高数据开发如果不通过数据开发,手动将作业实例中的业务场景处理后,可以强制成功作业实例,后续作业也会继续正常运行。 通过DataArts Studio调度大数据服务时需要注意什么? DLI和MRS作为大数据服务,不具备锁管理的能力。因此如果同时对表进行读和写操作时,会导致数据冲突、操作失败。 如果您需要对大数据服务数据表进行读表和写表操作,建议参考以下方式之一进行串行操作处理: 将读表和写表操作拆分为同一作业的不同节点,两个节点通过连线建立先后执行关系,避免同时执行冲突。云硬盘扩容概述云硬盘扩容功能支持扩大云硬盘容量,不支持缩小云硬盘容量。当磁盘已经投入使用后,请在扩容前务必检查磁盘的分区形式,具体说明如下:分区形式注意事项MBR分区容量最大支持2TB(2048GB),超过2TB的部分无法使用。GPT分区容量最大支持18EB(19327352832 GB)。云硬盘服务支持的最大数据盘容量为32TB(32768 GB),即您最大可将数据盘扩容至32TB。存储概述云硬盘存储卷:CCE支持将云硬盘创建的硬盘挂载到容器的某一路径下。当容器迁移时,挂载的云硬盘将一同迁移。这种存储方式适用于需要永久化保存的数据。详情参见云硬盘存储卷。文件存储卷:CCE支持创建SFS存储卷并挂载到容器的某一路径下,也可以使用底层SFS服务创建的文件存储卷,SFS存储卷适用于多读多写的持久化存储,适用于多种工作负载场景,包括媒体处理、内容管理、大数据分析和分析工作负载程序等场景。详情参见文件存储卷。数据集成概述本章节主要介绍数据集成概述。 DataArts Studio数据集成是一种高效、易用的数据集成服务,围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud Data Migration,后简称CDM)服务,本文中的“云数据迁移”、“CDM”均指“数据集成”。UpdateAccountPasswordPolicy本节主要介绍UpdateAccountPasswordPolicy。 此操作用来更新账户的密码规则设置。 请求参数 名称描述是否必须ActionUpdateAccountPasswordPolicy。是Version请求版本。取值:2010-05-08。默认值为2010-05-08。否AllowUsersToChangePassword是否允许IAM用户自己更改控制台的密码。类型:布尔型取值:true:允许用户自己更改控制台的密码。false:不允许用户自己更改控制台的密码。默认值为true。安全声明JDK使用声明 MRS是一个大数据集群,为用户提供分布式的数据分析计算能力。本产品自带的JDK为OpenJDK,主要使用场景如下: 平台服务运行及维护使用。 Linux客户端运行时使用(主要为业务提交、应用运维等)。 JDK风险说明 系统对自带的JDK进行了权限控制,只有属于FusionInsight平台相关群组的用户才有权限访问,且平台部署在客户内网,安全风险较低。 JDK加固 JDK加固相关操作请参考加固策略的“加固JDK”部分。组件WEB UI便捷访问本章节主要介绍翼MapReduce服务的Web UI便捷访问特性。 大数据组件都有自己的WEB UI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。如访问HDFS的WEB UI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。 翼MR提供了基于内网IP地址来便捷访问开源组件UI。 操作步骤 1.登录翼MR控制台,点击正常运行的集群名称,进入集群详情页面。数据库连接失败规格偏小,请对数据库进行规格扩容。修改最大连接数。数据库实例默认最大数据连接数为3000,您可以通过下述命令查看当前实例设置的最大连接数:show global variables like 'max_connections';如果您需要对最大数据连接数进行调整,您可以通过调整数据库实例参数max_connections进行调整,修改方式参见修改参数组。如果ECS和数据库部署在了不同的VPC,无法连接怎么办您可以采用如下任一方式处理该问题:可以将ECS的虚拟私有云切换为与数据库相同的虚拟私有云。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
