分布式系统可观测性之应用业务指标监控

2017 年的分布式追踪峰会（2017 Distributed Tracing Summit）结束后，Peter Bourgon 撰写了总结文章《Metrics, Tracing, and Logging》系统地阐述了这三者的定义、特征，以及它们之间的关系与差异。 文中将可观测性问题映射到了如何处理指标（metrics）、追踪（tracing）、日志（logging）三类数据上。

其后，Cindy Sridharan 在其著作《Distributed Systems Observability》中，进一步讲到指标、追踪、日志是可观测性的三大支柱（three pillars）。

到了 2018 年， CNCF Landscape 率先出现了 Observability 的概念，将可观测性（ Observability ）从控制论（ Cybernetics ）中引入到 IT 领域。在控制论中，可观测性是指系统可以由其外部输出，来推断其内部状态的程度，系统的可观察性越强，我们对系统的可控制性就越强。

可观测性可以解决什么问题？Google SRE Book 第十二章给出了简洁明快的答案：快速排障。

而在云原生时代，分布式系统越来越复杂，分布式系统的变更是非常频繁的，每次变更都可能导致新类型的故障。应用上线之后，如果缺少有效的监控，很可能导致遇到问题我们自己都不知道，需要依靠用户反馈才知道应用出了问题。

本文主要讲述如何建立应用业务指标 Metrics 监控和如何实现精准告警。Metrics 可以翻译为度量或者指标，指的是对于一些关键信息以可聚合的、数值的形式做定期统计，并绘制出各种趋势图表。透过它，我们可以观察系统的状态与趋势。

技术栈选择

我们的应用都是 Spring Boot 应用，并且使用 Spring Boot Actuator 实现应用的健康检查。从 Spring Boot 2.0 开始，Actuator 将底层改为 Micrometer，提供了更强、更灵活的监测能力。Micrometer 支持对接各种监控系统，包括 Prometheus。

所以我们选择 Micrometer 收集业务指标，Prometheus 进行指标的存储和查询，通过 Grafana 进行展示，通过阿里云的告警中心实现精准告警。

参考

• 分布式系统可观测性之应用业务指标监控 - 阿里巴巴云原生
• 企业实践｜分布式系统可观测性之应用业务指标监控
• 提升可观测性 - 业务指标监控实践 - bilibili游戏技术
• Metrics: Dubbo生态度量统计基础设施
• 深入分析基于Micrometer和Prometheus实现度量和监控的方案
• Spring Boot 使用 Micrometer 集成 Prometheus 监控 Java 应用性能
• Prometheus 监控报警系统 AlertManager 之邮件告警
• Prometheus 使用 PushGateway 进行数据上报采集
• Micrometer Concepts
• Prometheus
• Spring Boot Observability: Setting up Micrometer, Grafana and Prometheus