放假前最怕的不是加班,是假期被一通电话炸醒:"服务器挂了,远程连不上。"
节中救火的成本远高于节前检查:人不在现场、备件拿不到、运营商响应慢、负责人联系不上。真正划算的做法是放假前花两小时,把五张表逐项打勾。这份清单按服务器、网络、安全、业务系统、应急准备五个板块组织,中小企业单机柜到多机柜环境都能直接照做。
一、服务器:先看硬件告警,再看资源趋势
1. 硬件状态(不会因为放假就变好)
- 查看带外管理口告警(iDRAC / iLO / IPMI),未消除的告警逐条记录
- 硬盘 SMART:重点看
Reallocated Sectors(已重映射扇区)和Pending Sectors(待重映射)。这两项只要不是 0,就列入节后换盘计划 - RAID 阵列:确认所有磁盘 Online,没有 Degraded、没有正在重建的阵列。正在重建的阵列假期不要动,重建期间再坏一块就是数据事故
- 温度与电源:CPU、硬盘、机箱温度在正常区间;双电源都要在工作状态,坏一个的立刻报修
- 物理环境:机柜前后门关闭、空调运行正常、UPS 处于在线模式
2. 系统资源(看趋势,不看瞬时值)
| 检查项 | 关注点 | 处置阈值 | |
|---|---|---|---|
| CPU 使用率 | 近 7 天曲线是否持续抬升 | 持续 >70% 要定位进程 | |
| 内存 | 是否有缓慢增长不回落(内存泄漏特征) | 连续 3 天单调上升要查 | |
| 磁盘空间 | 系统盘、数据盘、日志盘 | 剩余 <20% 必须清理 | |
| inode 使用率 | Linux 上小文件多时先满的是 inode | >80% 就要清理 | |
| 僵尸进程 | `ps aux \ | grep Z` | 有残留就查父进程 |
| Load Average | 是否持续高于 CPU 核数 | 持续偏高要排查 |
最常见的假期事故:不是 CPU 跑满,而是日志把磁盘写满,导致数据库直接拒绝写入。日志轮转(logrotate)配置和最近一次备份结果,这两项必须亲眼确认过。
3. 关键服务
- 数据库服务(MySQL / SQL Server / Oracle)状态与主从同步延迟
- Web 服务(Nginx / Apache / Tomcat)、中间件(Redis / RabbitMQ)是否正常
- 定时任务:月末、季末任务是否与假期冲突;需要暂停的提前暂停
- 备份任务:确认最近一次备份成功且可恢复,不只是"任务跑完了"
二、网络:设备、线路、远程通道
1. 网络设备
- 核心交换机端口 Up/Down 状态,有没有长期 Down 却"没人记得"的口
- 防火墙:清理临时放通规则,假期不要留宽口子
- VPN / 远程接入:确认通道可用,并且确认谁有权限——假期能进来的账号必须是明确的几个
- 路由表与带宽利用率,有无异常流量或异常出口
2. 线路与出口
- 主备线路切换测试(真断一次主线路验证,不要只看配置)
- 运营商报障电话、工单渠道提前确认;专线客户报出电路编号能大幅缩短响应时间
- DNS 解析与证书到期时间扫一遍
三、安全:假期是被攻击的窗口期
- 账号审计:离职人员账号、长期未登录账号、共享账号——假期前是清理的最佳时机
- 远程桌面(RDP / SSH):禁止直接对公网开放;必须开放的改成 VPN + 强密码 + 登录失败锁定
- 漏洞与补丁:高危漏洞先补;补不了的先做访问限制
- 勒索软件防线:关键数据的备份必须是离线或不可变的一份,只留一份在线备份等于没备份
- 告警通知:确认告警能发到人(短信/电话/微信),别只发到一个没人看的邮箱
假期值守最容易漏的一点:告警通知渠道本身失效。测试方法是真的触发一次告警,确认到人,而不是假设它还在工作。
四、业务系统:按"假期真的会有人用"来排优先级
- 列一份业务系统清单,标注:是否对外服务、负责人、能否容忍中断、恢复优先级
- 对外服务系统(官网、下单、售后、小程序)放最高优先级
- 内部系统(OA、报销、考勤)可降级运行,但负责人要知情
- 与第三方接口的到期时间:证书、密钥、API 配额、短信余额——余额不足是最容易忽视的中断原因
- 计划内的变更一律推迟:假期不做升级、不做迁移、不做数据订正
五、应急准备:把"谁来做"写在纸上
- 值班表:每天一个主责人 + 一个备援人,电话写全,不用只存企微昵称
- escalation 路径:运维 → 系统负责人 → 供应商技术支持,每级留联系方式和响应时限
- 联系清单:机房物业(断电/进水)、运营商、硬件供应商、软件供应商、域名与云服务商
- 操作禁区:明确写清假期禁止执行的命令与操作(如禁止重启数据库、禁止删日志、禁止动防火墙全通规则)
- 恢复顺序:先恢复对外服务,再恢复内部系统,最后做数据补录;写下来,别现场商量
六、节后一小时:把这次变成下次的资本
- 假期告警汇总:哪些响了、哪些是误报、误报的阈值怎么调
- 变更留痕:假期动了什么,全部补记
- 清单修订:这次踩到的坑,直接加进下一版清单
清单的价值不在写得漂亮,而在每一次放假都真的按它走一遍。走三遍之后,这套东西就是你们公司自己的运维基线。
