prometheus alertmanager workflow

간단한 동작원리

alertmanager는 prometheus와 별도의 process로 동작되어진다.

동작되는 alertmanager는 별도의 process이기에 별도의 port로 listen하게 된다. (def: 9093)

alertmanager는 alert에 대한 queue를 제공하는 개념이고
prometheus는 해당 queue에 alert을 집어 넣는 개념이다.

실제 prometheus에 prometheus.yml 내에 alerting / rule_files 항목을 확인해보면 다음과 같이 설정이 되어진다.

alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - 192.168.1.100:9093
rule_files:
  - /data/prometheus/rules/*.rules

• https://prometheus.io/docs/prometheus/latest/configuration/configuration/

위 설정을 정리하자면 prometheus는 rule_files에 정의된 rule에 따라 alert을 전송하게 되며 당시 alertmanager target 인 192.168.1.100:9093 으로 alert을 전송하게 된다.

prometheus alert 메뉴에서 확인

다음과 같은 workflow를 가지게 된다.

1. alert 항목내에 rule별로 출력이되고 해당 rule중 조건에 부합되어 alert이 발생되는 경우
2. alertmanager.yml에 선언된 route 내 repeat_interval 내에 alert 발생을 위한 대기한다.
   해당 시간동안 pending 상태로 alert들이 대기하게 되고
3. alertmanager는 repeat_interval이 지난후 해당 alert들을 전송한다.
   전송된 alert은 firing이라 표시되며 해당 alert은 alertmanager의 receivers에 등록된 설정에 맞게 전송된다.