Prometheus와 Grafana 사용해보기

Observability

로그(log)

메트릭(metric)

트레이스(trace)

Prometheus와 Grafana에 대해

Prometheus

Grafana

간단한 앱에 모니터링 환경 구축하기

Go-echo 앱

• /metric: prometheus에서 메트릭을 수집하기 위한 route

• / : hello world를 전송해준다

• /slow: 1초 지연 후 “ok”가 반환된다. request 지연에 대한 대시보드를 만들기 위해 인위적으로 구성했다.

package main

import (
	"net/http"
	"time"

	"github.com/labstack/echo-contrib/echoprometheus"
	"github.com/labstack/echo/v4"
)

func main() {
	e := echo.New()

	// echo prometheus
	e.Use(echoprometheus.NewMiddleware("app"))
	e.GET("/metrics", echoprometheus.NewHandler())

	e.GET("/", func(c echo.Context) error {
		return c.String(http.StatusOK, "Hello, World!")
	})

	e.GET("/slow", func(c echo.Context) error {
		time.Sleep(1 * time.Second)
		return c.String(http.StatusOK, "ok")
	})

	e.Logger.Fatal(e.Start(":8080"))
}

FROM golang:1.22 as builder

WORKDIR /go/src/app

COPY . .


RUN go mod tidy && \
    go mod vendor && \
    CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -a -o bin/app .

FROM scratch

WORKDIR /go/src/app

COPY --from=builder /go/src/app/bin/app ./app

ENTRYPOINT ["./app"]

Prometheus 설정

global:
  scrape_interval: 15s # By default, scrape targets every 15 seconds.

  # Attach these labels to any time series or alerts when communicating with
  # external systems (federation, remote storage, Alertmanager).
  external_labels:
    monitor: "codelab-monitor"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "appservice"

    # Override the global default and scrape targets from this job every 5 seconds.
    scrape_interval: 5s

    static_configs:
      - targets: ["app:8080"]
        labels:
          group: "app"

도커 컴포즈 구성

version: '3.7'
services:
  prometheus:
    image: prom/prometheus:v2.33.3
    volumes:
      - ./etc/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml
    ports:
      - "9090:9090"
    command:
      - "--config.file=/etc/prometheus/prometheus.yml"
      - '--storage.tsdb.path=/prometheus'
    restart: unless-stopped

  grafana:
    image: grafana/grafana:8.4.3
    environment:
      - GF_SECURITY_ADMIN_PASSWORD=1234
    volumes:
      - grafana-storage:/var/lib/grafana
    depends_on:
      - prometheus
    ports:
      - '3000:3000'
    restart: unless-stopped

  app:
    build: .
    ports:
      - "8080:8080"

volumes:
  grafana-storage:

실행

docker-compose로 컨테이너 띄우기

• localhost:8080/metric 으로 접속하면 Prometheus가 주기적으로 수집해갈 metric을 한 눈에 확인할 수 있다.

• localhost:9090 에 접속하면 promethues 쿼리를 할 수 있는 웹 인터페이스를 확인할 수 있다.

• 마지막으로 localhost:3000에 접속하면 grafana를 확인할 수 있다.

Grafana에 data source로 Prometheus 추가

Configure the Prometheus data source | Grafana documentation

Guide for configuring Prometheus in Grafana

https://grafana.com/docs/grafana/latest/datasources/prometheus/configure-prometheus-data-source/

Grafana에 p99 지연 모니터링을 위한 대시보드 추가

쿼리

histogram_quantile(0.99, sum(rate(app_request_duration_seconds_bucket{url!="/metrics"}[5m])) by (le))

• histogram_quantile(0.99, ...) 함수는 이러한 집계된 변화율을 사용하여 99번째 백분위수, 즉 99%의 요청이 완료된 지속 시간의 상한을 계산한다.

• sum(...) by (le): 마지막으로, sum 함수는 이러한 증가율을 집계하는데, le 라벨 값별로 그룹화하여 집계한다.

• rate(...[5m]): rate 함수는 지난 5분 동안의 히스토그램 카운터의 초당 평균 증가율을 계산한다.

• app_request_duration_seconds_bucket{url!="/metrics"}: 이는 /metrics 경로를 제외한 모든 URL에 대한 히스토그램 메트릭 app_request_duration_seconds_bucket의 시계열 데이터를 선택한다.

• /metric 의 경우 주기적으로 스크래핑을 위해 접근하는 route이나, Prometheus에서만 사용하는 route이기 때문에 수집에서 제외했다. (우리가 날리는 request에 비해 Prometheus에서 훨씬 빈번하게 메트릭 수집을 위해 request를 날리기 때문에 /metric이 포함될 경우 p99를 제대로 파악하기 힘들어서다)

Grafana에 추가

마치며

참고) 프로젝트 소스코드