Phase 2 Observability実践マニュアル

Prometheus + node-exporter

Prometheusの設定ファイル（prometheus.yml）。自ホストのnode-exporterはhost.containers.internalで指定する（コンテナが素のbridgeネットワークのため、localhostではコンテナ自身を指してしまい失敗する）。

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: 'node-exporter'
    static_configs:
      - targets: ['host.containers.internal:9100']
        labels:
          host: 'almalinux'
      - targets: ['<Rockyのアドレス>:9100']
        labels:
          host: 'rocky'

node-exporterのQuadlet定義（両ホスト共通）。Network=hostでホストのメトリクスを直接取得し、systemdサービス監視のためD-Busソケットもマウントする。

[Container]
Image=docker.io/prom/node-exporter:v1.8.2
Network=host
Volume=/proc:/host/proc:ro
Volume=/sys:/host/sys:ro
Volume=/:/rootfs:ro,rslave
Volume=/var/run/dbus/system_bus_socket:/var/run/dbus/system_bus_socket:ro
Exec=--path.procfs=/host/proc --path.sysfs=/host/sys --path.rootfs=/rootfs --collector.systemd

[Service]
Restart=on-failure
RestartSec=5

Loki

ローカルファイルシステム＋boltdb-shipper構成、保持期間30日（720h）のホットストレージのみ。

auth_enabled: false
server:
  http_listen_port: 3100

common:
  path_prefix: /loki
  storage:
    filesystem:
      chunks_directory: /loki/chunks
      rules_directory: /loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2024-01-01
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h

limits_config:
  retention_period: 720h

compactor:
  working_directory: /loki/compactor
  compaction_interval: 10m
  retention_enabled: true

Promtail（両ホスト）

journald（OS・コンテナログ）に加え、Rocky側はApache／メール／fail2banの各ログファイルも収集対象に含める。

clients:
  - url: http://<Lokiのアドレス>:3100/loki/api/v1/push

scrape_configs:
  - job_name: journal
    journal:
      max_age: 12h
      labels:
        job: systemd-journal
        host: rocky

  - job_name: apache
    static_configs:
      - targets: [localhost]
        labels:
          job: apache
          __path__: /var/log/httpd/*log*

  - job_name: mail
    static_configs:
      - targets: [localhost]
        labels:
          job: mail
          __path__: /var/log/maillog

  - job_name: fail2ban
    static_configs:
      - targets: [localhost]
        labels:
          job: fail2ban
          __path__: /var/log/fail2ban.log

sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
sudo journalctl --flush

FortiGateログ連携

Promtailの標準syslogターゲット（RFC5424想定）では、FortiGate独自形式のログを正しく解釈できなかった。rsyslogで一度ファイルに書き出し、Promtailの通常のファイル監視で読む方式に変更して解決した。

# AlmaLinux側：rsyslogでUDP 1514を受信しファイルへ
module(load="imudp")
input(type="imudp" port="1514")
if $fromhost-ip == '<FortiGateのアドレス>' then {
    action(type="omfile" file="/var/log/fortigate.log")
    stop
}

FortiGate側は「Log & Report」→「Syslog Server」でAlmaLinuxのアドレス・ポート1514・UDPを指定するだけで、追加設定は不要だった。

Grafana

データソースは手動登録ではなく、Provisioning用YAMLで宣言的に登録する。

apiVersion: 1
datasources:
  - name: Loki
    type: loki
    url: http://localhost:3100
  - name: Prometheus
    type: prometheus
    url: http://localhost:9090
    isDefault: true

systemd自律復旧の整備

Podman Quadlet管理のコンテナ群は既定でRestart=が入っていたが、Rockyのパッケージ標準サービス（httpd／postfix／dovecot）には入っていなかった。systemdのドロップイン設定で追加した。

sudo mkdir -p /etc/systemd/system/httpd.service.d
sudo tee /etc/systemd/system/httpd.service.d/override.conf << 'EOF'
[Service]
Restart=on-failure
RestartSec=5
EOF
sudo systemctl daemon-reload

postfix・dovecotにも同様の設定を追加し、低リスクなコンテナ（wing-nginx）で実際に強制終了→自動復旧を確認した。

Grafanaへアクセスする

現状、外部公開（Caddy経由）は境界ファイアウォールの不具合で未達のため、SSHのローカルポートフォワードで接続する。管理端末から以下を実行し、接続したままブラウザでhttp://localhost:3000/を開く。

ssh -L 3000:localhost:3000 <ユーザー名>@192.168.2.3

ログを横断検索する（Explore）

1. 左メニューの「Explore」をクリック
2. 画面左上のデータソース選択（初期値は「Prometheus」）をクリックし、「Loki」に切り替える
3. クエリ入力欄の右上にある「Builder」／「Code」の切り替えで「Code」を選ぶと、LogQLをテキストで直接入力できる
4. 例：{job=~"fortigate|apache|systemd-journal"} のように入力し、右上の「Run query」をクリック

FortiGate・Webサーバー・OSのログが時系列で横断表示される。

アラートルールを確認する

1. 左メニューの「Alerting」→「Alert rules」で、現在登録済みのルールと状態（Normal/Firing/No data）が一覧できる
2. 「Alerting」→「Contact points」で、Slack等の通知先設定を確認・編集できる（Contact point編集画面の「Test」ボタンで、実際のアラート発火を待たずにテスト通知を送れる）
3. 評価間隔を変更したい場合は、「Alert rules」一覧の対象グループ行にある鉛筆アイコンから変更できる

Slackで通知を確認する

登録したSlackワークスペースの該当チャンネルに、[FIRING:N] <ルール名>という形式で投稿される。復旧すると同じスレッドに近い形で[RESOLVED]が届く。