Monitoring với Prometheus và Grafana: Hướng dẫn Chi Tiết

Trong kỷ nguyên hệ thống phân tán và cụm đám mây quy mô lớn, vận hành hạ tầng không có công cụ quan sát toàn diện chẳng khác nào lái máy bay trong sương mù. Khi sự cố xảy ra, bạn không biết máy chủ nào cạn RAM, dịch vụ nào nghẽn mạng hay database nào quá tải. Đó là lý do bộ đôi Prometheus và Grafana trở thành tiêu chuẩn vàng không thể thay thế trong giám sát hạ tầng hiện đại.

Thực tế thì Prometheus và Grafana mang lại giải pháp hoàn chỉnh từ gốc đến ngọn: Prometheus thu thập số liệu chuỗi thời gian cực mạnh, còn Grafana trực quan hóa biểu đồ sống động. Nắm vững kỹ năng cài đặt Prometheus và Grafana, làm chủ Node Exporter, thành thạo PromQL và thiết kế DevOps dashboard sẽ giúp bạn kiểm soát sức khỏe hệ thống trong lòng bàn tay. Cẩm nang này Cypher sẽ cùng bạn thiết lập hệ sinh thái giám sát chuẩn mực.

Cặp bài trùng Prometheus và Grafana: Tiêu chuẩn vàng trong Observability

Để hiểu rõ vị thế thống trị của Prometheus và Grafana, chúng ta cần tìm hiểu nguồn gốc của hai dự án mã nguồn mở lừng danh này. Prometheus được khởi xướng tại SoundCloud vào năm 2012, lấy cảm hứng từ hệ thống giám sát Borgmon huyền thoại của Google. Theo bách khoa toàn thư Wikipedia về phần mềm Prometheus, đây là dự án thứ hai tốt nghiệp thành công khỏi tổ chức điện toán đám mây Cloud Native Computing Foundation CNCF sau Kubernetes, khẳng định sự trưởng thành vượt bậc về độ ổn định cấp doanh nghiệp.

Trong khi Prometheus xuất sắc ở tầng thu thập dữ liệu thì Grafana, do Torkel Ödegaard khởi xướng năm 2014, lại là ông vua không ngai trong lĩnh vực trực quan hóa dữ liệu. Sự kết hợp giữa Prometheus và Grafana tạo nên một hệ sinh thái bổ trợ hoàn hảo: một bên chuyên tâm làm nhiệm vụ ghi nhận mọi biến động thông số với hiệu năng đỉnh cao, bên còn lại mang đến những bảng điều khiển sang trọng, linh hoạt và cực kỳ trực quan cho người dùng.

Khi ứng dụng giải pháp Prometheus và Grafana thay cho các công cụ cồng kềnh truyền thống, việc triển khai này giúp bạn xây dựng trụ cột đầu tiên trong mô hình tam giác giám sát hiện đại theo bài viết về hệ thống Observability và Logging toàn diện. Mọi thông số từ tài nguyên máy chủ vật lý, tiến trình bên trong container cho đến hiệu năng xử lý của từng dòng mã nguồn ứng dụng đều được ghi lại liên tục từng giây.

Tiêu chí so sánh	Prometheus	Grafana
Vai trò cốt lõi	Thu thập, lưu trữ dữ liệu thời gian và cảnh báo	Trực quan hóa dữ liệu và xây dựng bảng điều khiển
Ngôn ngữ phát triển	Go (Golang)	Go (Backend) và TypeScript/React (Frontend)
Lưu trữ dữ liệu	Cơ sở dữ liệu chuỗi thời gian tích hợp sẵn (TSDB)	Chỉ lưu trữ metadata cấu hình dashboard (SQLite/MySQL)
Ngôn ngữ truy vấn	PromQL (Prometheus Query Language)	Hỗ trợ đa dạng (PromQL, LogQL, SQL, InfluxQL)
Giao thức kết nối	Kéo dữ liệu (Pull model) qua HTTP REST API	Truy vấn từ Data Source qua HTTP/gRPC

Kiến trúc hệ thống và cơ chế Pull-based Metrics của Prometheus

Ưu thế vượt trội giúp bộ đôi Prometheus và Grafana vượt mặt các giải pháp như Zabbix hay Nagios nằm ở mô hình thu thập số liệu (Metric Collection Model). Trong kiến trúc Prometheus và Grafana, thay vì dùng mô hình đẩy dữ liệu (Push model) buộc máy chủ mục tiêu phải chủ động gửi thông số về server trung tâm, Prometheus lại sử dụng mô hình kéo dữ liệu (Pull model) chủ động từ máy chủ giám sát.

Theo tài liệu chính thức của dự án mã nguồn mở Prometheus, trong mô hình Pull, Prometheus Server định kỳ chủ động gọi yêu cầu HTTP GET đến một địa chỉ endpoint (thường là /metrics) trên các máy chủ mục tiêu để cào dữ liệu (scraping). Cơ chế này mang lại 3 ưu điểm vượt trội: server trung tâm hoàn toàn kiểm soát được tần suất cào dữ liệu, dễ dàng phát hiện khi một mục tiêu bị sập (nếu cào thất bại), và không bao giờ bị quá tải do hàng ngàn máy trạm đồng loạt dồn dập gửi dữ liệu về cùng một lúc.

Mô hình kéo dữ liệu (Pull) của Prometheus giúp server giám sát nắm quyền chủ động tuyệt đối về nhịp độ làm việc, ngăn chặn nguy cơ sập hệ thống do bão gửi thông số từ hàng ngàn máy trạm.

Dữ liệu trong hệ thống Prometheus và Grafana được định dạng dưới dạng chuỗi thời gian (Time-series Data). Mỗi chuỗi số liệu được định danh bởi một tên chỉ số (Metric Name) kết hợp cùng tập hợp các nhãn cặp khóa-giá trị (Labels) và mốc thời gian (Timestamp). Trong mô hình Prometheus và Grafana, cấu trúc nhãn linh hoạt cho phép bạn gắn nhãn theo môi trường (env=prod), cụm máy chủ (cluster=asia) hay số phiên bản ứng dụng, hỗ trợ việc lọc và phân tích dữ liệu đa chiều cực kỳ mạnh mẽ.

Cài đặt Prometheus và Grafana trên máy chủ Linux

Bây giờ chúng ta sẽ bắt tay vào quy trình cài đặt Prometheus và Grafana thực tế trên hệ điều hành Ubuntu hoặc Debian. Toàn bộ các bước đều tuân thủ các quy tắc bảo mật chuẩn công nghiệp, sử dụng tài khoản hệ thống chuyên dụng không có quyền đăng nhập shell để vận hành dịch vụ.

1. Cài đặt Prometheus Server

Để chuẩn bị môi trường cho Prometheus và Grafana, đầu tiên chúng ta tạo người dùng và nhóm hệ thống chuyên biệt để quản lý tiến trình của Prometheus và Grafana an toàn, sau đó tải về tệp nhị phân chính thức:

# Tạo tài khoản hệ thống cho Prometheus
sudo useradd --no-create-home --shell /bin/false prometheus
sudo mkdir -p /etc/prometheus /var/lib/prometheus

# Tải bản nhị phân Prometheus mới nhất
cd /tmp
curl -LO https://github.com/prometheus/prometheus/releases/download/v2.45.0/prometheus-2.45.0.linux-amd64.tar.gz
tar -xvf prometheus-2.45.0.linux-amd64.tar.gz
cd prometheus-2.45.0.linux-amd64

# Di chuyển tệp thực thi và phân quyền
sudo cp prometheus promtool /usr/local/bin/
sudo cp -r consoles console_libraries /etc/prometheus/
sudo chown -R prometheus:prometheus /usr/local/bin/prom* /etc/prometheus /var/lib/prometheus

Tiếp theo trong cấu hình Prometheus và Grafana, tạo tệp chính /etc/prometheus/prometheus.yml:

# Tệp cấu hình chuẩn /etc/prometheus/prometheus.yml
global:
  scrape_interval: 15s
  evaluation_interval: 15s

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

Tạo tệp systemd khởi chạy cho dịch vụ Prometheus và Grafana /etc/systemd/system/prometheus.service để tự động khởi chạy và kích hoạt dịch vụ:

[Unit]
Description=Prometheus Time Series Collection and Alerting Server
Wants=network-online.target
After=network-online.target

[Service]
User=prometheus
Group=prometheus
Type=simple
ExecStart=/usr/local/bin/prometheus \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/var/lib/prometheus/ \
  --web.console.templates=/etc/prometheus/consoles \
  --web.console.libraries=/etc/prometheus/console_libraries

[Install]
WantedBy=multi-user.target

Tiến hành khởi chạy tiến trình cốt lõi trong hệ thống Prometheus và Grafana: Prometheus:

# Nạp lại systemd và khởi chạy Prometheus
sudo systemctl daemon-reload
sudo systemctl enable --now prometheus
sudo systemctl status prometheus

2. Cài đặt Grafana qua kho phần mềm chính thức

Để hoàn tất cặp bài trùng Prometheus và Grafana, chúng ta sẽ thêm kho lưu trữ APT chính thức của Grafana Labs để cài đặt phiên bản mới nhất:

# Nhập khóa GPG và thêm kho lưu trữ Grafana APT
sudo apt-get install -y apt-transport-https software-properties-common wget
sudo mkdir -p /etc/apt/keyrings/
wget -q -O - https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/grafana.gpg > /dev/null
echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list

# Cập nhật kho và cài đặt Grafana OSS
sudo apt-get update && sudo apt-get install -y grafana
sudo systemctl enable --now grafana-server

Lúc này, bạn đã hoàn thành công đoạn cài đặt Prometheus và Grafana. Prometheus đang lắng nghe trên cổng 9090 còn Grafana đang phục vụ trên cổng 3000 (tài khoản mặc định ban đầu là admin / admin).

Cài đặt Node Exporter để thu thập toàn diện chỉ số hệ điều hành

Bản thân Prometheus Server chỉ đóng vai trò thu thập, nó không tự biết cách đọc nhiệt độ CPU hay dung lượng ổ đĩa của máy chủ. Để tối ưu thu thập số liệu cho Prometheus và Grafana, hệ sinh thái Prometheus và Grafana sử dụng các chương trình đại lý gọi là Exporter. Đối với máy chủ Linux, Node Exporter là công cụ tiêu chuẩn hàng đầu.

Phục vụ luồng dữ liệu cho Prometheus và Grafana, Node Exporter đọc các tệp tin trong hệ thống /proc và /sys của nhân Linux, chuyển đổi các chỉ số phần cứng thành định dạng văn bản chuẩn của Prometheus và mở cổng lắng nghe 9100. Hãy tải và thiết lập Node Exporter trên máy chủ cần giám sát:

# Tạo user và tải Node Exporter
sudo useradd --no-create-home --shell /bin/false node_exporter
cd /tmp
curl -LO https://github.com/prometheus/node_exporter/releases/download/v1.6.1/node_exporter-1.6.1.linux-amd64.tar.gz
tar -xvf node_exporter-1.6.1.linux-amd64.tar.gz
sudo cp node_exporter-1.6.1.linux-amd64/node_exporter /usr/local/bin/
sudo chown node_exporter:node_exporter /usr/local/bin/node_exporter

Tạo tệp systemd duy trì nguồn dữ liệu cho Prometheus và Grafana tại /etc/systemd/system/node_exporter.service và kích hoạt dịch vụ chạy ngầm:

# Khởi động dịch vụ Node Exporter
sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter

Tiếp theo, tích hợp nguồn thu thập vào cấu hình Prometheus và Grafana /etc/prometheus/prometheus.yml và thêm một job mới để Prometheus tự động cào dữ liệu từ Node Exporter mỗi 15 giây:

  - job_name: "node_exporter"
    static_configs:
      - targets: ["localhost:9100"]
        labels:
          instance: "production-server-01"

Khởi động lại Prometheus bằng lệnh sudo systemctl restart prometheus. Truy cập vào mục Status > Targets trên giao diện web cổng 9090, nếu bạn thấy endpoint hiển thị trạng thái UP màu xanh lá, điều đó đồng nghĩa với việc luồng dữ liệu của Prometheus và Grafana đã kết nối thành công.

Làm chủ ngôn ngữ truy vấn PromQL từ cơ bản đến nâng cao

Trọng tâm sức mạnh của hệ thống Prometheus và Grafana nằm ở ngôn ngữ truy vấn PromQL (Prometheus Query Language). Không giống như ngôn ngữ SQL truyền thống dựa trên các bảng tĩnh, PromQL được thiết kế chuyên biệt để tính toán và biến đổi các chuỗi dữ liệu thời gian với tốc độ cực nhanh.

Trong hệ sinh thái Prometheus và Grafana, dưới đây là 4 công thức PromQL kinh điển mà bất kỳ kỹ sư hạ tầng nào cũng phải nằm lòng để xây dựng các biểu đồ giám sát tài nguyên:

1. Đo lường tỷ lệ phần trăm sử dụng CPU

Trong bảng điều khiển Prometheus và Grafana, CPU được đo lường dưới dạng tổng số giây tích lũy mà CPU ở trạng thái bận. Để tính ra phần trăm CPU thực tế đang tải, chúng ta tính tốc độ tăng trưởng qua hàm rate rồi lấy 100 trừ đi tỷ lệ thời gian CPU rảnh rỗi (idle):

100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100)

2. Đo lường dung lượng RAM thực sự đang sử dụng

Trên Linux, bộ nhớ nhàn rỗi thường được nhân kernel tận dụng làm bộ đệm cache. Nếu chỉ tính node_memory_MemFree_bytes bạn sẽ thấy RAM luôn cạn kiệt. Công thức PromQL chuẩn xác nhất là tính dựa trên bộ nhớ khả dụng (MemAvailable):

(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes)) * 100

3. Đo lường tỷ lệ đầy của phân vùng ổ cứng Root

Để hiển thị cảnh báo trên Prometheus và Grafana cho phân vùng ổ đĩa / và kịp thời dọn dẹp trước khi máy chủ bị tê liệt, bạn sử dụng công thức tính tỷ lệ không gian đĩa đã sử dụng:

100 - ((node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) * 100)

4. Đo lường băng thông mạng nhận vào (Network Traffic In)

Khi trực quan hóa lưu lượng trên Prometheus và Grafana, tính bằng megabit trên giây (Mbps) trên card mạng vật lý, bạn áp dụng hàm rate và nhân với 8 chia cho 1 triệu:

rate(node_network_receive_bytes_total{device=~"eth0|ens.*"}[5m]) * 8 / 1000000

Thành thạo các biểu thức PromQL sẽ giúp bạn tự do tùy biến mọi chỉ số cần thiết và biến hệ sinh thái Prometheus và Grafana thành công cụ phân tích sự cố sắc bén nhất của doanh nghiệp.

Kết nối dữ liệu và xây dựng DevOps Dashboard chuyên nghiệp trên Grafana

Khi triển khai Prometheus và Grafana, dữ liệu từ Node Exporter chảy đều đặn vào kho lưu trữ của Prometheus, bước tiếp theo là kết nối dữ liệu sang Grafana để thiết kế các bảng điều khiển DevOps dashboard đỉnh cao theo hướng dẫn từ tài liệu hướng dẫn trực quan hóa dữ liệu Grafana.

Thêm Prometheus làm Data Source trong Grafana

Để hoàn tất kết nối trong cụm Prometheus và Grafana, truy cập Grafana tại cổng 3000, mở mục Connections > Data Sources, nhấp nút Add data source và chọn Prometheus. Trong phần cấu hình kết nối, nhập đường dẫn URL là http://localhost:9090 rồi nhấp nút Save & Test. Nếu xuất hiện thông báo màu xanh Successfully queried the Prometheus API, hai hệ thống đã bắt tay thành công.

Tận dụng kho mẫu Dashboard cộng đồng với Dashboard ID 1860

Thay vì mất hàng tuần lễ để tự tay vẽ từng biểu đồ, cộng đồng Prometheus và Grafana cung cấp một kho tàng mẫu giao diện có sẵn tuyệt đẹp. Bảng điều khiển phổ biến và đầy đủ nhất dành cho Node Exporter là mẫu Node Exporter Full mang mã định danh 1860.

Tại thanh điều hướng bên trái của Grafana, nhấp vào Dashboards, chọn nút New rồi nhấp Import. Nhập mã số 1860 vào ô ID và nhấp Load. Ở mục chọn nguồn dữ liệu Prometheus ở phía dưới, hãy trỏ vào Data Source bạn vừa tạo ở bước trên và bấm Import.

Chỉ với một thao tác nhập mã ID 1860, bạn đã sở hữu ngay một DevOps Dashboard đẳng cấp thế giới với hơn 30 biểu đồ phân tích sâu từ CPU, RAM, Disk I/O đến Network Socket.

Bảng điều khiển DevOps dashboard này tự động tích hợp sẵn các bộ lọc biến (Variables) cho phép bạn chuyển đổi linh hoạt giữa nhiều máy chủ khác nhau chỉ bằng một cú nhấp chuột trên thanh menu thả xuống. Nếu bạn muốn theo dõi tài nguyên trên máy trạm cục bộ mà không cần mở trình duyệt, hãy kết hợp thêm công cụ theo bài hướng dẫn công cụ giám sát hệ thống Linux trực quan với Bottom để kiểm tra dòng lệnh tức thì.

Cấu hình cảnh báo thông minh với Alertmanager qua Email và Telegram

Hệ thống Prometheus và Grafana sẽ mất đi 80% giá trị nếu đội ngũ kỹ thuật phải ngồi dán mắt vào màn hình biểu đồ 24/7 để chờ lỗi xuất hiện. Sức mạnh thực sự của hệ sinh thái Prometheus và Grafana nằm ở khả năng phát hiện bất thường và chủ động bắn cảnh báo tức thì thông qua công cụ độc lập mang tên Alertmanager.

Trong bộ giải pháp Prometheus và Grafana, Alertmanager xử lý cảnh báo từ Prometheus Server, thực hiện việc khử trùng lặp (Deduplication), gom nhóm các cảnh báo liên quan (Grouping), và định tuyến thông báo đến các kênh như Email, Slack hay Telegram Bot. Dưới đây là ví dụ cấu hình một quy tắc cảnh báo máy chủ bị đầy ổ cứng trong tệp /etc/prometheus/alert_rules.yml:

# Quy tắc cảnh báo ổ cứng đầy trên 85% kéo dài quá 5 phút
groups:
  - name: HostAlerts
    rules:
      - alert: HostDiskWillFillSoon
        expr: (node_filesystem_avail_bytes{mountpoint="/"} / node_filesystem_size_bytes{mountpoint="/"}) * 100 < 15
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "Canh bao dung luong o cung sap can tren {{ $labels.instance }}"
          description: "Phan vung root chi con lai duoi 15% dung luong trong suot 5 phut qua."

Cơ chế ức chế cảnh báo (Inhibition) của Alertmanager cũng vô cùng thông minh: nếu máy chủ vật lý bị sập hoàn toàn (Node Down), hệ thống sẽ tự động tắt các cảnh báo con như CPU cao hay RAM cao của máy chủ đó, giúp điện thoại của các kỹ sư trực ca không bị nổ thông báo vô ích trong đêm.

Kinh nghiệm thực chiến của Cypher: Best practices tối ưu tài nguyên và mở rộng

Thú thật là trong suốt những năm tháng vận hành hệ sinh thái Prometheus và Grafana cho các hạ tầng lớn, mình đã từng chứng kiến không ít trường hợp chính server giám sát bị sập bộ nhớ RAM và làm treo cả cụm máy chủ vì những sai lầm cấu hình căn bản. Dưới đây là những kinh nghiệm thực chiến khi làm việc với Prometheus và Grafana giúp bạn vận hành hệ thống giám sát trơn tru nhất.

Thứ nhất, hãy tuyệt đối cảnh giác với cạm bẫy High Cardinality. Độ biến thiên (Cardinality) là số lượng các chuỗi thời gian duy nhất được sinh ra từ các tổ hợp nhãn (Labels). Rất nhiều bạn lập trình viên mắc sai lầm nghiêm trọng khi đưa User ID, IP khách hàng hoặc UUID của phiên giao dịch vào nhãn của metric. Việc này khiến số lượng chuỗi dữ liệu tăng theo cấp số nhân lên hàng triệu chuỗi, ngốn cạn hàng chục gigabyte RAM của Prometheus chỉ trong chớp mắt. Hãy nhớ: nhãn chỉ dùng để phân nhóm hạ tầng, không dùng để lưu trữ dữ liệu nghiệp vụ.

Thứ hai, hãy quản lý dung lượng lưu trữ một cách khoa học thông qua hai tham số --storage.tsdb.retention.time (mặc định lưu 15 ngày) và --storage.tsdb.retention.size. Đừng cố gắng biến cơ sở dữ liệu của Prometheus thành kho lưu trữ lịch sử nhiều năm. Nếu doanh nghiệp cần đối soát dữ liệu dài hạn, hãy kết hợp kiến trúc lưu trữ phân tán bên ngoài như Thanos hoặc VictoriaMetrics để lưu trữ dữ liệu nén giá rẻ trên AWS S3.

Thứ ba, hãy tích hợp việc tự động hóa giám sát vào quy trình theo bài viết về xây dựng quy trình CI/CD Pipeline tự động hóa và triển khai toàn bộ cụm công cụ dưới dạng container theo cẩm nang tìm hiểu nền tảng Docker toàn diện. Việc này giúp bạn dễ dàng sao lưu, di chuyển và phục hồi toàn bộ hệ thống giám sát chỉ bằng một dòng lệnh Docker Compose duy nhất.

Một hệ thống giám sát hoàn hảo không phải là hệ thống thu thập nhiều số liệu nhất, mà là hệ thống cung cấp đúng thông tin vào đúng thời điểm để kỹ sư ngăn chặn thảm họa trước khi người dùng kịp nhận ra.

Hy vọng qua cẩm nang chi tiết này, bạn đã làm chủ hoàn toàn bộ đôi quyền lực Prometheus và Grafana, tự tin xây dựng những bảng điều khiển giám sát sắc nét và sẵn sàng bảo vệ hạ tầng công nghệ của doanh nghiệp luôn vận hành ở trạng thái đỉnh cao nhất.