Alert Webhook

alertmanager.yml 편집

Alertmanager 설정 파일을 엽니다 (기본 경로: /etc/alertmanager/alertmanager.yml). receivers: 항목과 대응되는 route: 블록을 추가합니다.

global:
  resolve_timeout: 1m

route:
  receiver: cloudops-webhook
  group_by: [alertname]
  group_wait: 0s
  group_interval: 30s
  repeat_interval: 5m

receivers:
  - name: cloudops-webhook
    webhook_configs:
      - url: '<CLOUDOPS_WEBHOOK_URL>'
        send_resolved: true

<CLOUDOPS_WEBHOOK_URL> 자리에 CloudOps 콘솔에서 복사한 Webhook URL 을 붙여넣으세요.

route:
  receiver: existing-default
  routes:
    - receiver: cloudops-webhook
      matchers:
        - severity =~ "critical|warning"
      continue: false

Alertmanager reload

재시작 없이 새 config 를 적용합니다.

# 기본 시그널 핸들러
kill -HUP $(pidof alertmanager)

# 또는, --web.enable-lifecycle 옵션으로 기동했다면
curl -X POST http://localhost:9093/-/reload

Alertmanager UI (http://localhost:9093) 의 [Status > Config] 에서 새 receiver 가 표시되는지 확인합니다.

alert.rules.yml 편집

rule group 파일을 추가하거나 확장합니다 (예시 경로: /etc/prometheus/alert.rules.yml).

groups:
  - name: cloudops-integration
    interval: 1m
    rules:
      - alert: CloudOpsHighErrorRate
        expr: rate(http_requests_total{status=~"5.."}[5m]) > 0.05
        for: 2m
        labels:
          severity: critical
          team: platform
        annotations:
          summary: "High 5xx error rate on {{ $labels.service }}"
          description: "5xx error rate exceeded 5% for 2 minutes"

labels 는 Alertmanager 에서 알람의 라벨로 사용됩니다 (route / routes: 매칭 기준). annotations 는 CloudOps 에 표시되는 사람이 읽는 요약입니다.

prometheus.yml 에 rule file 등록

prometheus.yml (기본: /etc/prometheus/prometheus.yml) 를 열어 rule_files 항목에 rule file 경로를 추가하고, alerting.alertmanagers 블록이 없다면 함께 추가합니다.

alerting:
  alertmanagers:
    - static_configs:
        - targets:
            - alertmanager:9093   # Alertmanager host:port 에 맞춰 조정

rule_files:
  - /etc/prometheus/alert.rules.yml

Prometheus reload

# 기본 시그널 핸들러
kill -HUP $(pidof prometheus)

# 또는, --web.enable-lifecycle 옵션으로 기동했다면
curl -X POST http://localhost:9090/-/reload

Prometheus UI (http://localhost:9090) 의 [Status > Rules] 에서 새 rule group 이 state: ok 로 보이는지 확인합니다.

강제 발화로 빠른 검증

룰의 expr 을 일시적으로 vector(1) 로 교체합니다. 이 상수는 항상 true 라 다음 평가 시점에 즉시 발화합니다.

- alert: CloudOpsE2ETrigger
  expr: vector(1)
  for: 0s
  labels:
    severity: critical
  annotations:
    summary: "CloudOps webhook integration test"

Prometheus reload 후 1 evaluation 주기 (기본: 1분) 를 기다립니다.

CloudOps 측 확인

CloudOps 콘솔에서 등록한 webhook source 의 행에서 Requests (24h) 카운트가 ~1분 내 증가하는지 확인합니다.

수신되지 않은 경우:

• webhook_configs.url 이 CloudOps 가 발급한 값과 정확히 일치하는지 확인.
• route (또는 하위 routes: 항목) 가 새 receiver 로 라우팅하는지 확인 — Alertmanager UI [Status > Config].
• Alertmanager UI [Status > Alerts] 에 firing alert 가 있는지 확인. 없다면 룰이 발화하지 않은 것 — Prometheus UI [Alerts] 확인.
• Alertmanager 로그에서 notify 전송 오류 여부 확인.

RECOVERY 흐름 검증 (선택)

resolved 경로까지 검증하려면 테스트 룰의 expr 을 vector(1) 에서 vector(0) 으로 바꾸고 Prometheus 를 reload 합니다. Alertmanager 는 repeat_interval 내에 resolved 상태 webhook 을 전송하고 CloudOps 는 이를 event_type=RECOVERY 로 기록합니다.

원래 expression 복구

검증 후 원래 expr 로 복구하고 Prometheus 를 reload 합니다.