您是否为国际 Googlebot 配置了您的网站？

每隔一段时间，SEO 世界就会发生重大转变，动摇其虚拟构造板块的核心。今年 1 月，这场即将发生的地震的震动没有引起人们的注意。其特点是国际 SEO 最佳实践的基础发生了变化。

1 月，Google 增强了其 Googlebot 的能力，以通过 Accept-LanguageHTTP 标头根据用户位置（用 IP 地址表示）和首选语言设置来评估内容变化的方式。今天，越来越多的企业已经重组了他们的网站，以便能够根据用户的语言或国家/地区动态提供内容。

Google 如何抓取和索引国际内容

谷歌自己承认，它在以这种方式识别和索引国际内容/不同语言的内容时存在一些问题。根据 Google Search Console 的帮助部分，Google 在某些情况下可能无法抓取、排名或索引国际内容，因为其抓取工具的默认 IP 地址来自美国。

此外，Googlebot 爬虫目前发送 HTTP 请求时未在标头中配置 Accept-Language 设置。Google 详细描述了如何跳过一些区域设置自适应页面。

为了便于对这些区域设置自适应页面进行抓取和索引编制，它使用了区域设置感知抓取模式，为全球搜索者提供更好的内容。区域感知抓取发生在 Googlebot 在以下任一或两种配置下抓取的地方：

地理分布爬取

该僵尸程序看起来正在使用源自美国以外的 IP 地址以及历史悠久的美国 IP 地址。Google 建议将看似来自某个国家/地区的 Googlebot 视为来自该国家/地区的用户。

因此，例如，如果来自巴布亚新几内亚的用户被允许查看您网站中的某些内容，但来自德国的用户则不允许，则应该允许看似来自前者的 Googlebot，而不应允许来自后者的 Googlebot。随着时间的推移，Googlebot 所在国家/地区的 IP 地址列表将会发生变化。

依赖语言的爬行

机器人将使用 HTTP 标头中配置的 Accept-Language 字段进行爬网。对于此类内容，Googlebot 会应用多种信号来尝试通过应用各种 Accept-Language HTTP 标头来抓取此类网站的内容。因此，Google 有更好的机会以支持的不同语言发现、索引和排名该页面的内容。

因此，区域设置自适应站点需要确认它们的站点具有支持这两种爬网模式的配置。目前，该机器人可以识别某些信号来评估网站是否具有区域设置自适应内容，其中包括：

• 根据用户的地理位置设置在不变的 URL 上提供不同内容的网站

• 根据用户浏览器上的 Accept-Language 字段设置在未更改的 URL 上提供不同内容的网站

• 根据请求来自的国家/地区完全阻止访问的站点

因此，有客户为国际/非英语受众生成内容的 SEO 也需要了解即将对 Googlebot 抓取进行更改的影响，并知道如何检查他们的网站是否具有促进 Google 国际抓取的配置。

非美国 IP 地址抓取模式

从 1 月开始，Googlebot 能够从美国以外国家/地区的 IP 地址进行抓取。根据 IP 地址位置，Google 能够了解特定页面/网站提供的内容对于国际用户而言是否不同。它还可以评估该页面/站点的新版本是否与某个国家/地区的用户更相关。

可以想象，通过确保为他们的国家/地区创建的站点/页面版本在他们的搜索结果中可见，这显着改善了非英语用户的搜索体验。

检查您站点的配置

如果您或您的客户的网站根据用户的 IP 地址提供区域自适应动态内容，您可以使用国际代理服务来检查它。像 Screaming Frog 这样的大多数爬虫都允许代理配置，这将能够从国际用户的角度自动识别 SEO 非优化。

接受语言标题

更多网站正在自动使用 Accept-Language 标头设置来更改其 Web 内容的语言。Google 的语言环境自适应抓取方案现在可以向站点发送动态请求。机器人将发送对站点上特定页面的请求，并指定首选语言。

如果使用 Google Chrome，其效果类似于您根据Chrome>>首选项>>语言中的语言首选项配置自己的浏览器的方式。（您可能必须单击首选项菜单中的“高级设置”才能找到它。）

如何更改您的配置设置

您可以使用 Merkle 的 Locale-adaptive Pages Testing Tool 并规定您要检查的特定语言。您最多可以指定 10 个 URL，并从 Google、Bing 或普通用户代理中进行选择，然后运行该工具。

从结果中，您可以判断哪些站点具有正确的配置，即使您的所有内容都根据 Accept-Language 标头设置动态更改。对于正确配置的页面，Accept-Languagesetting（第一列）应该与 Content-Language 设置（第四列）匹配。

结论

Googlebot 国际抓取方案的变化可能不会对今天的 SEO 产生如此大的影响，但它有望在未来产生巨大的影响。

除了通过区域设置感知抓取解决动态提供内容的问题外，重要的是要注意 Google 仍然倾向于使用单独的 URL，这些 URL 已使用 rel=alternate hreflang 注释为不同的内容正确注释。

你需要理解这其中的矛盾。为什么 Google 喜欢使用单独的 URL？可能是因为随着越来越多的网站加入动态服务内容的行列，谷歌会发现更难识别当前存在的内容？这种可能性带来的不仅仅是一点好处。

随着越来越多的网站通过提供适应区域设置的内容来调整自身以满足国际用户的需求，Google 必须开发更多的抓取配置以随时了解内容，从而能够了解全貌。虽然在小范围内是可以管理的，但考虑到大规模应用区域设置自适应性的影响，无疑会使搜索引擎巨头处于不稳定的境地。