spark metrics 源码分析
1） 主要核心类是 MetricsSystem
MetricsSystem 有三个主要成员：sources 、 sinks 、 registry
其余的有一些常驻的server sink，用于长期作为sink 获取 注册信息。
- sparkSubmit.runMain
- prepareSubmitEnvironment
将childMainClass 设置为 spark-submit --class 参数中的类
然后childMainClass 作为prepareSubmitEnvironment 的 返回
-
SparkSubmit.runMain
方法中 对 prepareSubmitEnvironment 返回的 childMainClass作判别
如果是SparkApplication的子类，就执行 子类
其他的就执行JavaMainApplication，直接执行spark-submit --class指定的 main类的main方法
- 应用的main方法中
-
SparkSession.builder()
返回一个 new Builder ，然后 getOrCreate 方法中
- new SparkContext
- sparkContext中会生成sparkEnv（sparkEnv （rpc endpoint ）隶属于 sparkContext ）
调用create 方法
在create方法中创建MetricsSystemInstances
2） sources
spark的每一个endpoint 都配备有自身的source，向metricsSystem发送消息
以ExecutorSource为例，
- executor初始化时候会new 一个 ExecutorSource
- ExecutorSource初始化时候，会将一系列指标 注册到MetricRegistry中，也就是codahale框架的MetricRegistry类对象中
- 然后向 sparkEnv中 metricSystems 注册 executorSource
- metricsSystem调用 registerSource 其实就是向 MetricsRegistry注册
-
executor.
run()结束后
更新相应的指标到 execuorSource中去
数据都被记录到 executorSource中去了
3） Sinks
以CSVSinks为例，
- CsvSinks 使用了 codahale 框架的 CsvReporter类
初始化绑定好文件后，
调用CsvReporter.start 开启 codahale .CsvReporter的Sink操作
- 然后
CsvSink.report 触发 CsvReporter.report方法，从metricRegistry中获取指标
CsvSink.report
CsvReporter.report
4） 总结
MetricSystems ≈ codahale .MetricRegistry （MetricSystem的其他内容就是register 和 start 、 stop 、 report 方法）
ExecutorSources ≈ 一系列 codahale 框架的指标，将这些指标注册到 codahale .MetricRegistry中
CSVSink ≈ codahale 框架的CSVReporter
MetricSystems.start ≈ source注册到MetricRegistry 、 Sink注册到MetricRegistry 、 Sinks.start（codahale 框架中 reporter.start） 方法
MetricSystems.start ≈ sinks.report ≈ MetricRegistry 相当于是一个容器，codahale.CsvReporter.report 触发指标的读取
综上，如果自写一套监控体系，我是可以办到的了
