当前位置: 沐风博客 >> xpj问答 >>如何不让蜘蛛抓取重复的页面 「 59元购买xpj文章编辑教程

如何不让蜘蛛抓取重复的页面

内容导读:想要减少蜘蛛抓取还是有方法的,比如说减少链接入口,比如说降低页面更新的频率和幅度等,这些都能有效降低蜘蛛抓取。但是,笔者认为我们没有必要这么做,而是应该去分析这些页面能够得到蜘蛛青睐的原因,然后把其中的方法技巧使用到其他的页面上,这样就能够促进其他页面的抓取和收录。

问题:如何不让蜘蛛抓取重复的页面?

回答:想要蜘蛛不抓取重复页面,有效的方法就是不给这些页面提供链接入口,这样会减少蜘蛛抓取。另外,如果减少这些页面的内容更新,那么也会降低抓取。

大家之所以问到如何不让蜘蛛抓取重复的页面,其目的是想把这些抓取份额转移到其他的页面上,促进其他的页面收录。但是,有两个问题大家首先要搞清楚:

一、为什么蜘蛛喜欢重复抓取这些重复的页面

1、页面内容质量高

对于质量高的页面,搜索引擎更喜欢去抓取!如果蜘蛛喜欢抓取这些页面,在某种程度上说,搜索引擎对页面的内容是比较认可的,我们可以重点去分析其中的原因。

2、页面内容更新频繁

页面内容的更新程度,也会影响到蜘蛛抓取。大家可以去看看那些被频繁抓取的页面,很多更新会比较频繁。

二、为什么其他的页面收录情况不佳

前面说到了为什么有些页面容易被重复抓取,那么为什么有些页面就得不到蜘蛛抓取,得不到收录呢?原因也有好几个:

1、页面缺乏链接入口,如果页面没有链接入口,就很难得到蜘蛛抓取,也就世界影响到收录了。

2、页面内容质量太差,这在蜘蛛抓取的阶段就被抛弃了,蜘蛛也不会多次来抓取。

3、页面内容缺少更新,这里的更新包括更新相关文章,更新评论等等,如果页面更新慢、更新少,搜索蜘蛛也不会反复抓取。

前面说到了有关页面抓取和收录的问题,我们再来看如何不让蜘蛛抓取重复的页面!很显然,这个问题问得就不对,蜘蛛重复抓取页面,表面页面的整体质量度高,这样百度快照更新快,也容易得到关键词排名。对于这样的页面,我们为什么要刻意减少蜘蛛抓取呢?反观那些不容易被抓取,或者抓取不多的页面,我们需要去分析其中的原因,而不是强行想着把其他页面抓取的份额分配过来。

关于如何不让蜘蛛抓取重复的页面,笔者就简单的说到这里。总之来说,想要减少蜘蛛抓取还是有方法的,比如说减少链接入口,比如说降低页面更新的频率和幅度等,这些都能有效降低蜘蛛抓取。但是,笔者认为我们没有必要这么做,而是应该去分析这些页面能够得到蜘蛛青睐的原因,然后把其中的方法技巧使用到其他的页面上,这样就能够促进其他页面的抓取和收录。


本文标签:蜘蛛抓取
这篇关于“如何不让蜘蛛抓取重复的页面”的文章 已帮助 820 人,希望也能帮到你!

沐风工作室

本站内容大部分由沐风博客原创,少部分内容来源于网络,如有侵权请与我们联系,我们会及时删除!
责任编辑:沐风 | 发布时间:2020年05月06日10点10分14秒 | 本文永久地址为 /seo/1905.html

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

沐风博客

xpj编辑教程

xpj百科词条

沐风博客,更新包含xpj网站注册教程、网站运营及网络推广等互联网资讯

线下xpj网站注册地址:广州.厦滘 | 线上xpj网站注册不受地域限制