先给结论:如果突增的请求大部分来自同一类路径或同一批来源,且服务器资源曲线与请求曲线同步上升,优先按资源压力处理;如果请求量不大却出现大量超时、5xx 或响应异常,优先按配置错误排查。这个判断有一个反例——当缓存层或反向代理先扛住了流量,后端资源曲线会显得平稳,但错误率仍可能因上游配置阈值被击穿而飙升,此时不能只盯 CPU 和内存。
访问量突增时,总量本身不说明问题。把请求按路径、状态码、来源和响应时间拆开看,才能判断是真实用户、抓取程序还是异常来源在推高数字。假设一个高pr域名的某篇文章被外部引用,短时间内大量请求集中在该页面,这类请求通常路径集中、来源分散、状态码以 200 和 304 为主。若请求路径高度分散且大量指向不存在的地址,更可能是扫描或配置暴露。
实际动作:拉取最近一段时间的访问日志,按路径分组统计请求数和平均响应时间。如果少数路径贡献了大部分增量,且这些路径对应的页面本身很重,资源压力的可能性更高;如果增量分散在大量随机路径上,先查配置和访问控制规则。
两者都会表现为变慢或报错,但触发条件不同。资源压力通常伴随连接数、队列长度或磁盘 IO 的持续攀升,且错误以超时和 5xx 为主。配置错误更常表现为特定状态码集中出现,例如 403、404、502 集中在某个目录或某个上游地址,而整体资源占用并不高。
这里要注意一个常见误判:robots.txt 的抓取限制不等于可靠的索引移除,也不能用来缓解抓取压力。如果突增来自抓取程序,限制抓取只能改变抓取行为,不能替代对服务器承载能力的判断。
在业务低峰或可回滚的前提下,做一个受控动作:临时对某一类请求加限速或加缓存,观察错误率和资源曲线的变化。如果限速后错误率明显下降,说明瓶颈在资源侧;如果限速后错误率不变,说明问题更可能在配置或上游依赖。
这个动作的结果直接决定下一步:资源侧成立时,下一步是扩容或优化重资源路径;配置侧成立时,下一步是逐项核对重写规则、上游地址和超时阈值。不要在同一时间同时改多个变量,否则无法归因。
假设某高pr域名平时每秒几十个请求,突增到每秒几百个,但服务器 CPU 和内存都不到一半,错误日志里集中出现 502。这种情况下,请求量本身没有压垮机器,更可能是反向代理到上游的连接数上限或超时设置过紧。把上游连接数上限调高后错误消失,说明是配置阈值问题,而不是资源不足。反过来,如果调高上限后错误依旧,且上游进程的资源占用开始上升,才需要按资源压力继续排查。
配置修改后,抓取量或请求量暂时下降不能单独证明处理正确,因为缓存、重试和调度延迟都可能造成类似现象。更可靠的做法是同时看配置加载记录、错误率变化和资源曲线,三者方向一致时再下结论。站点地图不保证收录,HTTPS 也不保证安全无漏洞或排名,这些都不能作为判断资源或配置问题的依据。不同搜索引擎对同一配置的支持情况须分别核查,不能用一个引擎的表现推断另一个。
下一步动作:把上面那次受控动作的结果记录下来,形成一份最小对照——改了什么、观察了多久、哪个指标先变化。下一次突增时,用同一份对照快速判断,而不是重新从头猜。