SEO优化：低质量页面如何使用Noindex 和Nofollow

网站上无意义的页面，低质量或特殊的页面，可以设置机器人元标记告知谷歌蜘蛛这个页面不接受爬取或索引，在页面使用meta robot nofollow或noindex标记。

两个主要设置：

index / noindex：是否允许爬虫索引页面，指示Google 是否要在Google 搜索结果中显示此网页

follow / nofollow：是否允许爬虫爬取页面，是否允许跟踪页面上的任何链接

添加方法：

在< head > 里添加

1. 告知所有抓取工具这个页面不需要抓取和索引：

< meta name="robots" content="noindex, nofollow" >

2. 告知所有抓取工具这个页面需要抓取和索引：

< meta name="robots" content="index, follow" >

3. 告知所有抓取工具这个页面不允许索引，但可以抓取页面上的任何链接：

< meta name="robots" content="noindex, follow" >

4. 告知所有抓取工具这个页面允许索引，但不可以抓取页面上的任何链接：

< meta name="robots" content="index, nofollow" >

Tips: 默认情况下，两者都设置为“true”，因此如果您对此没有问题，则无需设置此标签。

备注：

1. name 属性的值(robots) 指定此指令适用于所有抓取工具,包括搜索引擎和非搜索引擎抓取工具。如需针对特定的抓取工具，可将name 属性的robots 值替换为这个抓取工具的名称。如：

只想阻止Google 将您的网页编入索引，可撰写为：

< meta name="googlebot" content="noindex" >

2. 如需屏蔽非搜索抓取工具（例如AdsBot-Google），可添加针对具体抓取工具的指令，例如：

< meta name="AdsBot-Google" content="noindex" >。

3. robots nofollow与链接级别属性不同，链接级别nofollow属性会阻止Googlebot 跟踪单个链接，使用rel=”nofollow”

4. disallow: 应用在robots.txt中，告诉搜索引擎不要抓取这个网页，但这并不能保证该页面不会被索引。

5. Google 抓取工具（用户代理）：

Googlebot（桌面版）：Googlebot

Googlebot（智能手机版）：Googlebot

Googlebot Video：Googlebot-Video 或Googlebot

Googlebot News：Googlebot-News 或Googlebot

Googlebot Image：Googlebot-Image 或Googlebot

AdsBot: 检查桌面版网页广告质量。 (会忽略* 通配符)

AdsBot Mobile Web Android: AdsBot-Google-Mobile 检查Android 网页广告质量。 (会忽略* 通配符。)

AdsBot Mobile Web: AdsBot-Google-Mobile 检查iPhone 网页广告质量。 (会忽略* 通配符)

AdSense: Mediapartners-Google

Mobile AdSense: Mediapartners-Google

Mobile Apps Android: 检查Android 应用页面广告质量。遵循AdsBot-Google 漫游器规则。 (会忽略* 通配符)

APIs-Google: APIs-Google

Google StoreBot: Storebot-Google

Google Favicon: Googlebot-Image / Googlebot

Google Read Aloud: Google-Read-Aloud(不会遵循robots.txt 规则)

Feedfetcher: FeedFetcher-Google(不会遵循robots.txt 规则)

Google 网站验证工具：Google-Site-Verification（会忽略robots.txt 规则）