Prometheus 告警疲劳怎么治理？从标签和分组开始
告警太多不是监控成熟，而是信号质量差。Prometheus 告警治理要从标签、分组、抑制和 Runbook 做起。
监控系统上线后，很多团队很快遇到告警疲劳：群里消息很多，真正需要处理的很少；值班人员长期忽略告警；故障发生时，关键告警反而淹没在噪声里。
Prometheus 告警治理的第一步不是调阈值，而是设计标签和分组。
标签为什么重要
Alertmanager 依赖标签做路由、分组、抑制和静默。如果告警标签混乱，后续治理会非常困难。
常见必要标签包括：
severityteamserviceenvironmentclusternamespace
标签要稳定，不要把高基数、频繁变化的信息放进核心路由标签里。
分组和抑制
同一个故障可能触发几十条告警。比如节点宕机后，Pod、服务、探针和业务指标都会报警。如果不分组，值班人员会被消息轰炸。
Alertmanager 的 group 和 inhibit 可以减少重复通知。例如节点不可用时，可以抑制该节点上大量 Pod 级告警。
Runbook 很关键
每条重要告警都应该有 Runbook 链接。Runbook 不需要很长，但至少说明：
- 这条告警意味着什么
- 先看哪些指标
- 常见原因是什么
- 可以执行哪些安全操作
- 什么时候升级给二线
没有 Runbook 的告警，很容易变成“只有老员工知道怎么处理”的隐性知识。
结论
告警系统的目标不是多响，而是让正确的人在正确时间收到可行动的信息。