Prometheus + Grafana на VPS: мониторинг сервера за 15 минут

mkdir -p ~/monitoring && cd ~/monitoring

# Пароль администратора Grafana
GRAFANA_ADMIN_PASSWORD=ЗАМЕНИТЕ_НА_СЛОЖНЫЙ_ПАРОЛЬ

# Замените на ваш домен (или оставьте для доступа по IP)
GRAFANA_ROOT_URL=https://grafana.example.com

version: "3.9"

services:
  # ── Prometheus: сбор и хранение метрик ───────────────────
  prometheus:
    image: prom/prometheus:v2.54.1
    container_name: prometheus
    restart: unless-stopped
    ports:
      - "127.0.0.1:9090:9090"   # только localhost
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - prometheus_data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.retention.time=30d'   # хранить 30 дней
      - '--storage.tsdb.path=/prometheus'
    extra_hosts:
      - "host.docker.internal:host-gateway"   # доступ к хосту

  # ── Grafana: дашборды и алерты ────────────────────────────
  grafana:
    image: grafana/grafana:11.4.0
    container_name: grafana
    restart: unless-stopped
    ports:
      - "127.0.0.1:3000:3000"   # только localhost
    volumes:
      - grafana_data:/var/lib/grafana
    environment:
      - GF_SECURITY_ADMIN_USER=admin
      - GF_SECURITY_ADMIN_PASSWORD=${GRAFANA_ADMIN_PASSWORD}
      - GF_USERS_ALLOW_SIGN_UP=false
      - GF_SERVER_ROOT_URL=${GRAFANA_ROOT_URL}
    depends_on:
      - prometheus

  # ── Node Exporter: метрики хоста ─────────────────────────
  node-exporter:
    image: prom/node-exporter:v1.8.2
    container_name: node-exporter
    restart: unless-stopped
    network_mode: host   # нужен для доступа к /proc и /sys хоста
    pid: host
    volumes:
      - /proc:/host/proc:ro
      - /sys:/host/sys:ro
      - /:/rootfs:ro
    command:
      - '--path.procfs=/host/proc'
      - '--path.sysfs=/host/sys'
      - '--path.rootfs=/rootfs'
      - '--collector.filesystem.mount-points-exclude=^/(sys|proc|dev|host|etc)($$|/)'

volumes:
  prometheus_data:
  grafana_data:

global:
  scrape_interval: 15s       # как часто собирать метрики
  evaluation_interval: 15s   # как часто проверять правила алертов

scrape_configs:
  # Prometheus мониторит сам себя
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  # Метрики этого сервера
  - job_name: 'node'
    static_configs:
      - targets: ['host.docker.internal:9100']
        labels:
          instance: 'main-server'   # замените на имя вашего сервера

curl -X POST http://localhost:9090/-/reload

cd ~/monitoring

# Запустить все сервисы в фоне
docker compose up -d

# Проверить статус
docker compose ps

# Убедиться, что Node Exporter отдаёт метрики
curl http://localhost:9100/metrics | head -20

# Туннель: localhost:3000 → сервер:3000
ssh -L 3000:127.0.0.1:3000 user@YOUR_SERVER_IP

# Теперь откройте в браузере: http://localhost:3000

apt install nginx certbot python3-certbot-nginx -y

server {
    listen 80;
    server_name grafana.example.com;

    location / {
        proxy_pass         http://127.0.0.1:3000;
        proxy_http_version 1.1;

        proxy_set_header Host              $host;
        proxy_set_header X-Real-IP         $remote_addr;
        proxy_set_header X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        # WebSocket — нужен для live-обновления дашбордов
        proxy_set_header Upgrade    $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

ln -s /etc/nginx/sites-available/grafana /etc/nginx/sites-enabled/
nginx -t && systemctl reload nginx

# SSL через Let's Encrypt
certbot --nginx -d grafana.example.com

curl -s "https://api.telegram.org/botTOKEN/getUpdates" | python3 -c "
import sys, json
data = json.load(sys.stdin)
print(data['result'][0]['message']['chat']['id'])
"

100 - (
  avg by(instance) (
    rate(node_cpu_seconds_total{mode="idle"}[5m])
  ) * 100
)

# Скачать актуальный бинарник
wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz

# Распаковать и установить
tar xzf node_exporter-*.tar.gz
cp node_exporter-*/node_exporter /usr/local/bin/
useradd -rs /bin/false node_exporter

# Создать systemd-юнит
cat > /etc/systemd/system/node_exporter.service << 'EOF'
[Unit]
Description=Node Exporter
After=network.target

[Service]
User=node_exporter
ExecStart=/usr/local/bin/node_exporter
Restart=on-failure
RestartSec=5s

[Install]
WantedBy=multi-user.target
EOF

systemctl daemon-reload
systemctl enable --now node_exporter

# Проверить
curl http://localhost:9100/metrics | grep node_uname

# Замените IP на адрес вашего Prometheus-сервера
ufw allow from PROMETHEUS_SERVER_IP to any port 9100
ufw deny 9100

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']

  - job_name: 'node'
    static_configs:
      - targets:
          - 'host.docker.internal:9100'   # этот сервер
          - '1.2.3.4:9100'               # второй сервер
          - '5.6.7.8:9100'               # третий сервер
        labels:
          env: 'production'

curl -X POST http://localhost:9090/-/reload