配置监控指标数据转储 数据格式 配置完成后,监控上报功能会将集群中监控数据周期性地写入到文本文件中,并根据用户配置的上报周期,将这些文件上报到对应的FTP/SFTP服务中。 监控文件产生规则 − 按照指标的采集周期,监控指标会被分别写入到每30s,60s,以及300s产生的文件 30s周期:默认采集周期为30s的实时指标。 60s周期:默认采集周期为60s的实时指标。 300s周期:非30s、60s采集的所有指标。 − 文件名格式:metirc{周期}{文件创建时间YYYYMMDDHHMMSS }.log 例如:metric6020160908085915.log metric30020160908085613.log 监控文件内容 − 监控写入文件格式: “集群ID集群名称显示名称服务名称指标ID采集时间采集主机@m@子指标单位指标值”,其中:各字段间以“”分隔,例如: 1xx1HostHost100004132019/06/18 10:05:0018966254146KB/s309.910 1xx1HostHost100004132019/06/18 10:05:0018966254152KB/s72.870 2xx2HostHost100004132019/06/18 10:05:0018966254163KB/s100.650 说明 实际的文件中不存在对应的文件格式标题。 − 监控文件上传间隔: 监控文件上传时间间隔可以在页面通过“转储时间间隔(秒)”配置,目前支持30s300s之间均可。配置完成后,系统会按照指定的时间间隔,将文件定期上传到对应的FTP/SFTP服务器。 监控指标说明文件 − 指标全集文件 指标全集文件allshownmetriczhCN包括了所有指标的详细信息。第三方系统从上报的文件内容中解析出指标id后,可以通过查询指标全集文件获取指标详细信息。 指标全集文件位置: 主备OMS节点:{FusionInsight安装路径}/omserver/om/etc/om/allshownmetriczhCN 指标全集文件内容参考: 实时指标ID,5分钟指标ID,指标名称,指标采集周期(秒),是否默认采集,指标所属服务,指标所属角色 00101,10000101,JobHistoryServer非堆内存使用量,30,false,Mapreduce,JobHistoryServer 00102,10000102,JobHistoryServer非堆内存分配量,30,false,Mapreduce,JobHistoryServer 00103,10000103,JobHistoryServer堆内存使用量,30,false,Mapreduce,JobHistoryServer 00104,10000104,JobHistoryServer堆内存分配量,30,false,Mapreduce,JobHistoryServer 00105,10000105,阻塞线程数,30,false,Mapreduce,JobHistoryServer 00106,10000106,运行线程数,30,false,Mapreduce,JobHistoryServer 00107,10000107,GC时间,30,false,Mapreduce,JobHistoryServer 00110,10000110,JobHistoryServer的CPU使用率,30,false,Mapreduce,JobHistoryServer ... − 重要指标字段说明 实时指标ID :指标的采集周期为30s/60s的指标ID,一个独立的指标项只可能存在30s或者60s的实时指标项。 5分钟指标ID :指标对应的5分钟(300s)的指标ID。 指标采集周期(秒) :主要是针对实时指标的采集周期,可选值为30或60。 指标所属服务 :指标所属的服务名名称,标明指标所属的服务类型,如HDFS、HBase等。 指标所属角色 :指标所属的角色名名称,标明指标所属的实际角色类型,如JobServer、RegionServer等。 − 解析说明 针对采集周期为30s/60s的指标,参考该指标说明文件的是第1列,即实时指标ID即可找到对应的指标说明。 针对采集周期为300s的指标,参考该指标说明文件对应的第2列,即5分钟指标ID即可找到对应的指标说明。
来自: