什么是X-Robots标签?

x-robots标签是位于 HTTP响应头 ,令网站能告诉搜索引擎或其他爬虫它们应否爬取该URL上的内容。在这点上,它与meta robots标签robots.txt档非常相似。它的区别在于这条资料是位于HTTP 响应头而非页面原始码或robots.txt档内。

基本x-robots标签:

X-Robots-Tag: noindex

与meta robots标签一样,x-robots标签可以带多个逗号分隔的值。

以下是最主要的值:

  • all: 默认值,对爬虫没有任何限制。
  • noindex: 排除该URL的收录。
  • nofollow: 不要跟随该页面上的链接。
  • none: 不要对这页面进行任何动作(与"noindex, nofollow"一样)

因x-robots标签是比较新的技术,因此应用和支持没robots.txt或meta robots标签广泛。谷歌,必应和雅虎都支持它,但其他搜索引擎就未能确认。

"被X-Robots标签阻挡"是什么意思?

任何带"noindex"值x-robots标签的页面将不会被搜索引擎收录。这意味着这列表中的所有URL都不会被自然搜索用户所查找到。

我应该怎样去利用这条资讯??

查看这些URL中有没有你希望被自然搜索到的页面。如果你找到有不应出现在这列表中的页面,你应该从页面中移除这条标签 (或"noindex"值)。

也许你也应该看看有没有你以为已用x-robots标签阻挡的页面却没出现在这个列表上的URL。标签有可能缺失或格式不正确。 (也有可能是Dragon Metrics并没有抓取这个页面。)

Did this answer your question?