Google建议使用304状态码以节省抓取预算

Google 近期更新了其抓取预算（Crawl Budget）文档，新增了关于不同爬虫共享网站抓取容量的信息，并建议网站使用 304 状态码来减少服务器资源消耗。这些更新主要针对企业级大型网站（超过百万页面）以及快速变化的中型网站（超过 1 万页面），但了解这些机制对任何网站优化都有帮助。

Google 爬虫共享抓取容量

Google 在文档中新增了以下内容：

虽然每个爬虫有不同的抓取需求，但抓取容量限制是所有爬虫共享的。这意味着一个爬虫的高需求可能会减少其他爬虫的可用容量。

这意味着，如果网站同时被 Googlebot-Image 和 Googlebot 抓取，两者共享网站的抓取预算。如果其中一个爬虫抓取频率过高，就会影响其他爬虫的抓取能力。

Google 推荐使用 304 状态码

另一个重要的更新是 Google 建议使用 304 Not Modified 状态码。根据 Mozilla 开发者网络（MDN）文档，304 Not Modified 响应状态码表示无需重新传输请求的资源。

虽然技术上所有 3xx 状态码都被归类为重定向码，但 304 并非真正的重定向，而是告诉客户端（如 Googlebot）资源未发生变化，可以直接使用缓存版本。

Google 的更新文档中写道：

使用 HTTP 缓存：支持 304（Not Modified）HTTP 状态码。如果页面自上次抓取以来未发生变化，返回 304 码会告诉 Google 重用缓存版本，从而节省服务器带宽和资源。

当服务器返回 304 响应时，Googlebot 会知道页面没有变化，从而跳过重新下载页面，将资源用于索引其他页面。

为什么这对 SEO 很重要？

对于大型网站，尤其是那些频繁更新但部分页面内容相对稳定的网站，合理使用 304 状态码可以显著降低服务器负载，同时让 Googlebot 更高效地抓取新内容或重要页面。这有助于提升抓取效率，确保重要页面被及时索引。

此外，理解爬虫共享抓取容量的机制，有助于网站管理员合理规划内容更新频率，避免因某个爬虫（如图片爬虫）的高频抓取而影响其他爬虫（如文本爬虫）的抓取。

其他更新

除了上述两个主要变化外，Google 还对其文档进行了其他细微调整，使内容更加精确。这些调整包括对爬虫行为、抓取频率控制等细节的进一步说明。

总结

Google 的这次文档更新强调了网站服务器性能与搜索引擎抓取效率之间的紧密联系。通过启用 304 状态码，网站可以减少不必要的资源消耗，同时为搜索引擎提供更清晰的信号。对于大型网站而言，优化抓取预算是一项持续的工作，而这次更新提供了明确的技术指导。

更多细节请参考 Google 官方文档。