什么是Meta Robots?

meta robots标签是一行可以在页面head元素中找到的代码,它告诉搜索引擎或其他爬虫该如何看待该页面的内容

常见的meta robots标签:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

content 属性中有几种不同的值可以使用,当中最常用的为 indexnoindexfollownofollow,多个值可以以逗号分隔同时使用。

  • index:指示搜索引擎收录该页面的内容。这是默认值;所以一般不需要特别在标签内指定。
  • noindex:指示搜索引擎不要把这页面包含在索引内。
  • follow: 指示搜索引擎如常跟随该页面上的所有链接;默认值,一般不需使用。
  • nofollow: 指示搜索引擎不去跟随该页面上的任何链接

为什么这个问题值得关注?

当一个页面内的Meta Robots标签带"NoFollow"值,搜索引擎将不会爬取页面内的任何链接。这意味着页内链接的URL若没有在其他地方被链入,这些链接将不会被搜索引擎所爬取收录,也不会在搜索引擎中有排名。

如何修复

看看这些URL页内是否有应该被 Follow 的链接。如果你发现有页面意外地出现在下表中,你应该从该页中移除此标签或更改NoFollow值。

如果你有希望被NoFollow的页面,你也应该查看它们是否都能在下表内被找到,如果没有找到这些页面的Meta Robots NoFollow 标签可能缺失或格式不正确。(也有可能是 Dragon Metrics 没有爬取这个页面)

Did this answer your question?