美国、香港服务器

如何监控服务器资源使用情况以避免资源耗尽？

07-11   来源:

 监控服务器资源使用情况是避免资源耗尽的关键手段，通过实时监测、阈值告警和自动化处理，可提前发现资源异常并干预。以下是具体的监控方案，涵盖工具选型、核心指标、配置方法及预防策略：

一、核心监控指标（必须覆盖的资源维度）

二、常用监控工具及配置（分场景选择）

1. 轻量基础监控（适合单机 / 小型服务器）

• 工具：top（实时查看）、htop（交互式）、glances（综合监控）、nmon（生成报告）
• 特点：无需安装服务，通过命令行实时查看，适合临时排查。
• 使用示例：
  bash

  # 安装glances（支持CPU/内存/磁盘/网络一站式监控） apt install glances  # Debian/Ubuntu yum install glances  # CentOS/RHEL glances  # 启动后按q退出，可通过-c IP远程监控其他机器 

   

2. 命令行定时监控（适合脚本化告警）

• 工具：cron（定时任务）+ bash脚本 + 邮件告警（mailx）
• 场景：简单阈值告警，无需图形界面。
• 示例脚本（监控磁盘使用率并邮件告警）：
  bash

  #!/bin/bash THRESHOLD=85  # 阈值85% df -H | grep -vE "^Filesystem|tmpfs|udev" | awk "{print $5 " " $1}" | while read -r usage disk; do   if [ ${usage%?} -gt $THRESHOLD ]; then     echo "磁盘空间不足：$disk 使用率 $usage" | mail -s "服务器磁盘告警" admin@example.com   fi done 

   
  
  
  • 配置定时任务：crontab -e 加入 */30 * * * * /path/to/script.sh（每 30 分钟执行一次）。

3. 企业级监控系统（适合多服务器 / 集群）

• 工具：Prometheus + Grafana（主流方案）、Zabbix（全功能）、Nagios（老牌稳定）
• 特点：支持多节点监控、自定义仪表盘、告警集成（邮件 / 钉钉 / 企业微信）、历史数据趋势分析。
  • Prometheus + Grafana 部署核心步骤：
    1. 安装 Prometheus（收集指标）：
       bash

       wget https://github.com/prometheus/prometheus/releases/download/v2.45.0/prometheus-2.45.0.linux-amd64.tar.gz tar -zxvf ... && cd prometheus-* ./prometheus --config.file=prometheus.yml  # 启动服务（默认端口9090） 

        
    2. 安装node_exporter（采集服务器指标）：
       在被监控服务器上部署，配置 Prometheus 抓取其数据（prometheus.yml中添加targets: ["服务器IP:9100"]）。
    3. 配置 Grafana（可视化）：
       连接 Prometheus 数据源，导入 “Node Exporter Full” 仪表盘（ID：1860），即可查看 CPU、内存、磁盘等实时图表。
    4. 设置告警规则：
       在 Grafana 中添加告警通道（如钉钉机器人），对 “磁盘使用率> 85%” 等指标设置触发条件，超阈值时自动推送消息。

4. 云原生 / 容器监控（适合 Docker/K8s 环境）

• 工具：cadvisor（容器指标）+ Prometheus + Grafana
• 特点：监控容器 CPU / 内存限制、镜像大小、容器健康状态，支持 K8s Pod 级监控。
• 关键指标：容器内存使用率（container_memory_usage_bytes）、CPU 使用率（container_cpu_usage_seconds_total）。

三、自动化预防措施（减少人工干预）

1. 日志自动轮转（避免磁盘满）
   通过logrotate配置日志自动切割、压缩和删除，示例配置（/etc/logrotate.d/nginx）：
   bash

   /var/log/nginx/*.log {     daily  # 每天轮转     rotate 7  # 保留7天     compress  # 压缩旧日志     missingok  # 日志不存在时不报错     notifempty  # 空日志不轮转     postrotate         systemctl reload nginx  # 轮转后重启服务     endscript } 

    
2. 进程资源限制（防止单个进程耗尽资源）
   • 对关键进程（如数据库、Web 服务）通过systemd限制资源：
     在服务配置文件（如/etc/systemd/system/app.service）中添加：
     ini

     [Service] CPUQuota=50%  # 最大CPU使用率50% MemoryLimit=2G  # 最大内存2G OOMScoreAdjust=-1000  # 避免被OOM杀死（核心服务） 

      
   • 重新加载配置：systemctl daemon-reload && systemctl restart app。
3. 自动清理临时文件（释放磁盘空间）
   配置tmpfiles.d自动删除/tmp/过期文件（/etc/tmpfiles.d/clean_tmp.conf）：
   bash

   d /tmp 1777 root root 1d  # /tmp下1天未访问的文件自动删除 

    

四、监控体系最佳实践

1. 分层监控：
   • 基础层：服务器硬件（温度、风扇）、系统资源（CPU / 内存）。
   • 应用层：服务端口存活（如sshd、nginx）、响应时间（curl http://localhost检测）。
   • 业务层：关键接口成功率（如 API 返回码 200 占比）、用户登录失败次数。
2. 历史数据留存：
   保存至少 30 天监控数据，通过趋势分析发现潜在问题（如磁盘空间每周增长 10GB，提前预警 10 天后将满）。
3. 应急响应预案：
   结合监控告警，提前制定处理流程（如 “内存使用率> 90% 时，自动杀死占用最高的非核心进程”），可通过ansible或saltstack实现自动化操作。