活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 618智算钜惠季 爆款云主机2核4G限时秒杀，88元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云脑AOne NEW 连接、保护、办公，All-in-One！
- 中小企业服务商合作专区 国家云助力中小企业腾飞，高额上云补贴重磅上线
- 出海产品促销专区 NEW 爆款云主机低至2折，高性价比，不限新老速来抢购！
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
行业应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
电信云云hbase数据库_相关内容
- 配置HBase连接本章节主要介绍数据治理中心的配置HBase连接功能。 目前CDM支持连接的HBase数据源有以下几种: MRS HBase FusionInsight HBase Apache HBase MRS HBase 连接MRS上的HBase数据源时,相关参数如下表所示。 说明 新建MRS连接前,需在MRS中添加一个kerberos认证用户并登录MRS管理页面更新其初始密码,然后使用该新建用户创建MRS连接。如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。
- ALM-19018 HBase合并队列超出阈值对系统的影响 产生该告警表示HBase服务的compaction队列长度已经超过规定的阈值,如果不及时处理,可能会导致集群性能下降,影响数据读写。 可能原因 HBase RegionServer数太少。 HBase 单个RegionServer上Region数过多。 HBase RegionServer堆大小较小。 资源不足。 相关参数配置不合理。
- 恢复HBase元数据本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据(主要包括tableinfo文件和HFile)安全,防止因HBase的系统表目录或者文件损坏导致HBase服务不可用,或者系统管理员需要对HBase系统表进行重大操作(如升级或迁移等)时,需要对HBase元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。
- 备份HBase元数据本章主要介绍翼MapReduce的备份HBase元数据功能。 操作场景 为了确保HBase元数据(主要包括tableinfo文件和HFile)安全,防止因HBase的系统表目录或者文件损坏导致HBase服务不可用,或者系统管理员需要对HBase系统表进行重大操作(如升级或迁移等)时,需要对HBase元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份元数据。
- 备份HBase业务数据HBase备份业务数据时,可能存在以下场景: 用户创建HBase表时,“KEEP_DELETED_CELLS”属性默认值为“false”,备份该HBase表时会将已经删除的数据备份,可能导致恢复后出现垃圾数据。请根据业务需要,在创建HBase表时手动修改参数值为“true”。 用户在HBase表写入数据时手动指定了时间戳,且时间早于上一次该HBase表的备份时间,则在增量备份任务中可能无法备份新数据。
- HBase/CloudTable增量迁移本章节主要介绍HBase/CloudTable增量迁移。 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。
- 恢复HBase业务数据本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对HBase进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。
- 配置HBase/CloudTable目的端参数否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据,会转换为Byte[]数组(二进制)写入HBase,其他类型的按字符串写入。如果这几种类型中,有合并做rowkey的,则依然当字符串写入。 该功能作用是:降低存储占用空间,存储更高效;特定场景下rowkey分布更均匀。否:源端数据库中所有类型的数据,都会按照字符串写入HBase。 否
- ALM-19007 HBase GC时间超出阈值说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用,则“定位信息”中显示服务名=HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。
- 使用HBase客户端kinit 组件业务用户 直接执行HBase组件的客户端命令。 hbase shell HBase客户端常用命令 常用的HBase客户端命令如下表所示。更多命令可参考http://hbase.apache.org/2.2/book.html 详见下表:HBase客户端命令 命令 说明 create 创建一张表,例如create 'test', 'f1', 'f2', 'f3'。 disable 停止指定的表,例如disable 'test'。
- 快速创建HBase查询集群本章节主要介绍如何快速创建一个HBase查询集群。 本章节为您介绍如何快速创建一个HBase查询集群,HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 快速创建HBase查询集群 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。
- 配置HBase/CloudTable源端参数本章节主要介绍配置HBase/CloudTable源端参数。 作业中源连接为配置HBase连接或配置CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如下表所示。 说明 CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含该表的所有字段,用户需要自己手工添加字段。
- ALM-19006 HBase容灾同步失败本章节主要介绍ALM-19006 HBase容灾同步失败的告警。 告警解释 告警模块每30s检查一次HBase容灾数据的同步状态,当同步容灾数据到备集群失败时,发送该告警。 当容灾数据同步成功后,告警清除。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用,则“定位信息”中显示服务名=HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。
- ALM-19008 HBase服务进程堆内存使用率超出阈值本章节主要介绍ALM-19008 HBase服务进程堆内存使用率超出阈值的告警。 告警解释 系统每30秒周期性检测HBase服务堆内存使用状态,当检测到HBase服务堆内存使用率超出阈值(最大内存的90%)时产生该告警。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用,则“定位信息”中显示服务名=HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。
- 记录数据迁移入库时间这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器,或者目的端为HBase连接器。 4.单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能: 作业失败重试:如果作业执行失败,可选择是否自动重试,这里保持默认值“不重试”。 作业分组:选择作业所属的分组,默认分组为“DEFAULT”。
- ALM-19000 HBase服务不可用本章节主要介绍ALM-19000 HBase服务不可用的告警。 告警解释 告警模块按120秒周期检测HBase服务状态。当HBase服务不可用时产生该告警。 HBase服务恢复时,告警清除。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用,则“定位信息”中显示服务名=HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。
- ALM-19009 HBase服务进程直接内存使用率超出阈值本章节主要介绍ALM-19009 HBase服务进程直接内存使用率超出阈值的告警。 告警解释 系统每30秒周期性检测HBase服务直接内存使用状态,当检测到HBase服务直接内存使用率超出阈值(最大内存的90%)时产生该告警。 直接内存使用率小于阈值时,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。
- HBase健康检查指标项说明本章节主要介绍翼MapReduce服务HBase健康检查指标项说明。 运行良好的RegionServer数 指标项名称: 运行良好的RegionServer数 指标项含义 :检查HBase集群中运行良好的RegionServer数。 恢复指导: 如果该指标项异常,请检查RegionServer的状态是否正常并处理,然后建议检查网络是否正常。 服务健康状态 指标项名称: 服务状态 指标项含义 :检查HBase服务状态是否正常。如果状态不正常,则认为不健康。
- ALM-19012 HBase系统表目录或文件丢失hbase:namespace表在HDFS上的目录、.tableinfo和.regioninfo文件。 hbase:hindex表在HDFS上的目录、.tableinfo和.regioninfo文件。 hbase:acl表在HDFS上的目录、.tableinfo和.regioninfo文件(该表在普通模式集群默认不存在)。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。
- 配置HBase允许修改操作的IP地址白名单本章主要介绍翼MapReduce的配置HBase允许修改操作的IP地址白名单功能。 当HBase集群开启Replication功能时,为了保护主备集群的HBase数据一致性,对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时,首先检查发出该请求的用户的权限,只有HBase管理用户才有修改权限;其次检查发出该请求的IP的有效性,备集群只接收来自IP白名单中的机器发起的修改请求。
- ALM-19019 HBase容灾等待同步的HFile文件数量超过阈值执行kinit hbase命令,按提示输入密码(向管理员获取密码)。 8.执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是,执行步骤10。 否,执行步骤9。 9.在hbase shell中执行命令打开负载均衡功能,并执行命令查看确认成功打开。 balance_switch true balancer_enabled 10.执行balancer命令手动触发负载均衡。 说明 建议打开和手动触发负载均衡操作在业务低峰期进行。
- ALM-19020 HBase容灾等待同步的wal文件数量超过阈值执行kinit hbase命令,按提示输入密码(向管理员获取密码)。 8.执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是,执行步骤10。 否,执行步骤9。 9.在hbase shell中执行命令打开负载均衡功能,并执行命令查看确认成功打开。 balance_switch true balancer_enabled 10.执行balancer命令手动触发负载均衡。 说明 建议打开和手动触发负载均衡操作在业务低峰期进行。
- 安全配置设置为“privacy”表示通道加密,认证、完整性和隐私性功能都全部开启,设置为“integrity”表示不加密,只开启认证和完整性功能,设置为“authentication”表示不加密,仅要求认证报文,不要求完整性和隐私性。说明 privacy会对传输内容进行加密,包括用户token等敏感信息,以确保传输信息的安全,但是该方式对性能影响很大,对比另外两种方式,会带来约60%的读写性能下降。请根据企业安全要求修改配置,且客户端与服务端中该配置项需使用相同设置。
- 加密HFile和WAL内容本章主要介绍翼MapReduce的加密HFile和WAL内容功能。 加密HFile和WAL内容 须知 设置HFile和WAL为SMS4加密或AES加密方式对系统的影响较大,一旦操作失误会导致数据丢失。不推荐使用此功能。 使用Bulkload批量导入的数据不支持加密。 缺省情况下,HBase中的HFile和WAL(Write ahead log)内容是不加密的。如果用户需要对其进行加密,可通过如下操作进行配置。 1.在任一安装HBase服务节点,使用omm用户执行如下命令创建密钥。
- DataArts Studio支持的数据源MapReduce服务(MRS HBase) HBase是一个开源的、面向列(Column-Oriented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。使用MRS HBase可实现海量数据存储,并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析。
- ALM-19011 RegionServer的Region数量超出阈值对系统的影响 RegionServer的Region数超出阈值,会影响HBase的数据读写性能。 可能原因 RegionServer的Region分布不均衡。 HBase集群规模过小。 处理步骤 查看告警定位信息 1.在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19011”的告警,查看“定位信息”中产生该告警的服务实例和主机名。
- ALM-19014 在ZooKeeper上的容量配额使用率严重超过阈值告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode容量使用率超出紧急告警的阈值(默认90%)时产生该告警。 当znode的容量使用率小于严重告警的阈值时,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示“服务名=HBase-1”,处理步骤中的操作对象也应由HBase调整为HBase-1。
- ALM-19016 在ZooKeeper上的数量配额使用率严重超过阈值告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode数量使用率超出紧急告警的阈值(默认90%)时产生该告警。 当znode的数量使用率小于严重告警的阈值时,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示服务名=HBase-1,处理步骤中的操作对象也应由HBase调整为HBase-1。
- ALM-19015 在ZooKeeper上的数量配额使用率超过阈值告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode数量使用率超出告警的阈值(默认75%)时产生该告警。 当znode的数量使用率小于告警的阈值时,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示服务名=HBase-1,处理步骤中的操作对象也应由HBase调整为HBase-1。
- ALM-19017 在ZooKeeper上的容量配额使用率超过阈值告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode容量使用率超出告警的阈值(默认75%)时产生该告警。 当znode的容量使用率小于告警的阈值时,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示服务名=HBase-1,处理步骤中的操作对象也应由HBase调整为HBase-1。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
