事件监控
更新时间 2024-07-04 11:23:24
最近更新时间: 2024-07-04 11:23:24
本节主要介绍事件监控。
事件监控简介
事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务，并在事件发生时进行告警。
事件即云监控服务保存并监控的GeminiDB Influx资源的关键操作，您可以通过“事件”了解到谁在什么时间对系统哪些资源做了什么操作，如修改实例名称、规格变更等。
事件监控为您提供上报自定义事件的接口，方便您将业务产生的异常事件或重要变更事件采集上报到云监控服务。
事件监控默认开通，您可以在事件监控中查看系统事件和自定义事件的监控详情，目前支持的系统事件请参见本章节 事件监控支持的事件说明。
查看事件监控数据
操作场景
事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务，并在事件发生时进行告警。
事件监控默认开通，您可以在事件监控中查看系统事件和自定义事件的监控详情。
操作步骤
- 登录管理控制台。
- 在服务列表中选择“数据库 > 云数据库 GeminiDB”。
- 在“实例管理”页面，选择目标实例，在“基本信息”页面的“节点信息”区域，单击操作列的“查看监控指标”，跳转到云监控页面，查看事件监控数据。
- 单击上方的
返回云监控服务主界面。 - 单击业务左侧导航栏的“事件监控”。
进入“事件监控”页面。在“事件监控”页面，默认展示近24小时的所有系统事件。
您也可以根据需要选择“近1小时”“近3小时”“近12小时”“近24小时”“近7天”“近30天”，分别查看不同时段的事件。
- 展开对应的事件类型，单击具体事件右侧的操作列的“查看事件”，可查看具体事件的内容。
创建事件监控的告警通知
操作场景
介绍指导用户创建事件监控的告警通知。
操作步骤
- 登录管理控制台。
- 在页面左上角单击
，选择“管理与部署 > 云监控服务”，进入“云监控服务”页面。 - 在左侧导航栏选择“事件监控”，进入“事件监控”页面。
- 在事件列表页面，单击页面右上角的“创建告警规则”。
- 在“创建告警规则”界面，配置参数。
表1 告警内容参数说明
| 参数 | 参数说明 |
|---|---|
| 名称 | 系统会随机产生一个名称，用户也可以进行修改。 |
| 描述 | 告警规则描述（此参数非必填项）。 |
| 归属企业项目 | 可选择已有的企业项目，或单击“创建企业项目”进行创建。 |
| 告警类型 | 用于指定告警规则对应的告警类型。 |
| 事件类型 | 用于指定告警规则对应指标的事件类型。 |
| 事件来源 | 事件来源的云服务名称。选择云数据库GeminiDB。 |
| 监控范围 | 创建事件监控针对的资源范围。 |
| 选择类型 | 选择自定义创建。 |
| 告警策略 | 事件名称：用户操作系统资源的动作，如用户登录，用户登出，为一个瞬间的操作动作。事件监控支持的操作事件请参见本章节 事件监控支持的事件说明。用户根据需要选择触发方式、告警级别。 |
单击
开启“发送通知”，生效时间默认为全天，若没有您想要选择的主题，可以单击下一行的“创建主题”进行添加。
表2 发送通知
| 参数 | 参数说明 |
|---|---|
| 发送通知 | 配置是否发送邮件、短信、HTTP和HTTPS通知用户。 |
| 通知对象 | 需要发送告警通知的对象，可选择“云账号联系人”或主题。 云账号联系人：注册账号时的手机和邮箱。 主题：消息发布或客户端订阅通知的特定事件类型，若此处没有需要的主题，需先创建主题并订阅该主题。 |
| 生效时间 | 该告警规则仅在生效时间内发送通知消息。如生效时间为08:00-20:00，则该告警规则仅在08:00-20:00发送通知消息。 |
| 触发条件 | 出现告警 |
- 配置完成后，单击“立即创建”，完成告警规则的创建。
事件监控支持的事件说明
表3 云数据库GeminiDB事件监控支持的事件说明
事件来源 事件名称 事件ID 事件级别 事件说明 处理建议 事件影响 NoSQL 创建实例业务失败 NoSQLCreateInstanceFailed 重要 一般是由于实例配额不足或底层资源不足等原因导致。 先释放不再使用的实例再尝试重新发放，或者提交工单调整配额上限。 无法创建数据库实例。 变更规格失败 NoSQLResizeInstanceFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试规格变更操作。 业务中断。 添加节点失败 NoSQLAddNodesFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源，删除添加失败的节点，重新尝试添加新节点。 无 删除节点失败 NoSQLDeleteNodesFailed 重要 一般是由于底层释放资源失败导致。 重新尝试删除节点。 无 扩卷失败 NoSQLScaleUpStorageFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源再重试扩卷操作。 如果磁盘满，会导致业务中断。 重置密码失败 NoSQLResetPasswordFailed 重要 一般是由于重置密码命令超时导致。 重新尝试重置密码操作。 无 修改参数模板失败 NoSQLUpdateInstanceParamGroupFailed 重要 一般是由于修改参数模板命令超时导致。 重新尝试修改参数模板操作。 无 设置备份策略失败 NoSQLSetBackupPolicyFailed 重要 一般是由于数据库连接异常导致。 重新重试设置备份策略操作。 无 创建手动备份失败 NoSQLCreateManualBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 创建自动备份失败 NoSQLCreateAutomatedBackupFailed 重要 一般是备份文件导出失败或上传失败等原因导致。 提交工单让运维处理。 无法备份数据。 实例运行状态异常 NoSQLFaultyDBInstance 重要 由于灾难或者物理机故障导致实例故障时，会上报该事件，属于关键告警事件。 提交工单。 可能导致数据库服务不可用。 实例运行状态异常已恢复 NoSQLDBInstanceRecovered 重要 针对灾难性的故障，NoSQL有高可用工具会自动进行恢复或者手动恢复，执行完成后会上报该事件。 不需要处理。 无 节点运行状态异常 NoSQLFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时，会上报该事件，属于关键告警事件。 检查数据库服务是否可以正常使用，并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 NoSQLDBNodeRecovered 重要 针对灾难性的故障，NoSQL有高可用工具会自动进行恢复或者手动恢复，执行完成后会上报该事件。 不需要处理。 无 实例主备切换 NoSQLPrimaryStandbySwitched 重要 在手动触发的主备倒换或节点故障自动触发的故障倒换场景下，会上报该事件。 不需要处理。 无 出现热点分区键 HotKeyOccurs 重要 客观上是因为主键设置不合理，使得热点数据集中分布在一个分区。客户端不合理的应用程序设计，造成对某一key的频繁读写。 1. 选择合理的分区键。 2. 业务增加缓存，业务应用先从缓存中读取热点数据。
影响业务请求成功率，存在影响集群性能及稳定性的风险。 出现超大分区键 BigKeyOccurs 重要 主键设计不合理，单个分区的记录数或数据量过大，引起了节点负载不均。 1. 选择合理的分区键 2. 基于现有分区键，增加分区键散列。
随着数据量增长，集群稳定性会下降。 数据盘空间不足 NoSQLRiskyDataDiskUsage 重要 数据盘空间不足，产生此告警。 请参见对应服务用户指南中“扩容磁盘”的内容，进行磁盘扩容。 实例被设为只读模式，数据无法写入。 数据盘空间已扩容并恢复可写 NoSQLDataDiskUsageRecovered 重要 数据盘空间已扩容并恢复可写，产生此事件。 无需处理。 无 创建索引失败 NoSQLCreateIndexFailed 重要 业务负载超过实例规格瓶颈，此时再创建索引会耗费更多实例资源，导致响应变慢甚至卡顿，最终超时，引起索引创建失败。 1、根据业务负载，选择匹配的实例规格 2、在业务低峰期创建索引
3、使用后台方式创建索引
4、索引字段，结合业务进行合理选择。
索引创建失败或不完整，导致索引无效，需要删掉索引重新创建。 发生写入降速 NoSQLStallingOccurs 重要 写入速度快，接近集群规模和实例规格范围允许最大写能力，从而触发数据库自身的限流机制，会发生请求失败情况 1. 根据业务的最大写请求速率，调整集群规模或者节点规格 2. 衡量业务的最大写请求速率，分散业务写峰值速率
影响业务的请求的成功率 发生写入停止 NoSQLStoppingOccurs 重要 写入速度过快，达到集群规模和实例规格范围允许最大写能力，从而触发数据库自身的限流机制，会发生请求失败情况 1. 根据业务的最大写请求速率，调整集群规模或者节点规格 2. 衡量业务的最大写请求速率，分散业务写峰值速率
影响业务的请求的成功率 重启数据库失败 NoSQLRestartDBFailed 重要 一般是由于实例状态异常等原因导致。 提交工单让运维处理。 数据库实例状态可能存在异常。 恢复到新实例失败 NoSQLRestoreToNewInstanceFailed 重要 一般是由于底层资源不足等原因导致。 提交工单让运维在后台协调资源，重新尝试添加新节点。 无法恢复到新的数据库实例。 恢复到已有实例失败 NoSQLRestoreToExistInstanceFailed 重要 一般是由于备份文件下载或恢复失败等原因导致。 提交工单让运维处理。 当前数据库实例可能处于不可用状态。 删除备份文件失败 NoSQLDeleteBackupFailed 重要 一般是由于备份文件从obs删除失败导致。 重新尝试删除备份文件。 无 切换慢日志明文开关失败 NoSQLSwitchSlowlogPlainTextFailed 重要 一般是由于接口不支持切换等原因导致。 请查阅NoSQL用户指南，确认接口支持打开慢日志明文开关。提交工单让运维处理。 无 绑定EIP失败 NoSQLBindEipFailed 重要 一般是由于节点状态不正常，节点已经绑定EIP或EIP非法等原因导致。 检查节点是否正常，EIP是否合法。 无法通过公网访问数据库实例。 解绑EIP失败 NoSQLUnbindEipFailed 重要 一般是由于节点状态不正常，节点已经未绑定EIP等原因导致。 检查节点和EIP状态是否正常。 无 修改参数失败 NoSQLModifyParameterFailed 重要 一般是由于参数取值非法等原因导致。 排查参数值是否符合在合法范围内，提交工单让运维处理。 无 参数模板应用失败 NoSQLApplyParameterGroupFailed 重要 一般是由于实例状态异常导致参数模板无法应用等原因导致。 提交工单让运维处理。 无 开启或关闭SSL失败 NoSQLSwitchSSLFailed 重要 一般是由于修改SSL命令超时导致。 重新提交一次或者提交工单处理，并先保持切换之前使用SSL的连接方式。 是否使用SSL连接。 单行数据量太大 LargeRowOccurs 重要 用户单行数据量过大，可能会导致查询超时，进而节点OOM挂掉等各种故障发生。 1. 对每列和每行的写入长度做限制，遵从规范，使得单行的的key和value长度和不超过阈值。 2. 排查业务是否出现异常写入和异常编码，导致写入大row。
过大的单行记录，随着数据量增长，集群稳定性会下降。
