如何避免搜索引擎蜘蛛抓取重复页面

搜索引擎面临着互联网上数万亿的网页。如何高效抓取这么多网页？这是网络爬虫的工作。我们也叫它蜘蛛网。作为站长，我们每天都与它保持着密切的联系。做SEO，要充分了解SEO的抓取情况，同时要做好哪些页面应该抓取，哪些页面不想抓取的筛选工作。例如，我们今天需要谈论的是如何避免搜索引擎蜘蛛抓取重复页面。

对于每一个SEO从业者来说，爬虫每天都会来我们的网站抓取网页，这是非常宝贵的资源。但是在这个过程当中，由于爬虫的无序爬行，势必会浪费爬虫的一些爬行资源。中间需要解决搜索引擎爬虫反复抓取我们网页的问题。

在谈论这个问题之前，我们需要了解一个概念。首先，爬虫本身是无序爬行的。他不知道先抓什么再抓什么。他只知道自己看到了什么，然后经过计算认为有价值的时候就爬。

对我们来说，在整个抓取过程中，我们要解决以下几类问题:

1.尚未抓取的新生成页面。

2、生产了一段时间，耽误了被抓。

3、制作了一段时间，但一直没有收录。

4.页面已经制作了很长时间，但最近更新了。

5.包含更多内容的聚合页面，如主页和列表页。

6.根据以上类别，我们依次定义爬虫最需要爬取的类别。

对于大型网站，搜索引擎的抓取资源过多，而对于小型网站，抓取资源稀缺。因此，在这里我们强调，我们并不是试图解决搜索带来的重复抓取问题，而是解决搜索引擎爬虫尽可能快地抓取我们想要抓取的页面的问题。要纠正这个思路！

接下来，我们来谈谈如何让搜索引擎爬虫尽可能快地抓取我们想要抓取的页面。

它是一个爬行到一个网页，从这个网页中找到更多链接的过程，然后在这个时候，我们需要知道，如果我们想要被爬虫以更高的概率爬行，我们需要给出更多的链接，这样搜索引擎爬虫才能找到我们想要被爬行的网页。这里，我以上面提到的第一种情况为例:

尚未抓取的新生成页面。

这个类别通常是文章页面。对于这个类别，我们的网站每天都会产生很多，所以我们必须在更多的页面中给出这部分链接。比如首页、频道页、栏目/列表页、话题聚合页，甚至文章页本身都需要有一个最新的文章版块，以便爬虫抓取我们任何一个网页时都能找到最新的文章。

同时，想象一下这么多页面都有新文章的链接，链接传达了权重。然后这篇新文章被抢到了，分量不低。纳入的速度将显著提高。

对于长期没有纳入的，也可以考虑权重是否过低。我会给予更多的内链支持，传递一些重量。应该有包容的可能。当然，可能不包括在内，所以你得靠内容本身的质量。之前有一篇专门讨论内容质量的文章，欢迎大家阅读:哪些内容容易被百度判定为优质内容？。

因此，为了解决搜索引擎爬虫重复爬行的问题，并不是我们最终的解决方案。由于搜索引擎爬虫本质上是无序的，我们只能通过网站架构、推荐算法、运营策略等进行干预。让爬虫给我们更好的抓取效果。