当前位置: 沐风博客 >> xpj诊断 >>蜘蛛长期不抓取页面的原因

蜘蛛长期不抓取页面的原因

内容导读:蜘蛛长期不抓取页面的原因有很多,通常都是因为服务器的不稳定,因为如果服务器不稳定的话,蜘蛛就不能正常的抓取,久而久之就可能会放弃站点。另外像网站整体质量不好这些,也会影响到蜘蛛的抓取频次,但这些情况下蜘蛛还是会来抓取,只是次数会减少。

问题:蜘蛛长期不抓取页面的原因?

回答:蜘蛛长期不抓取页面的原因有很多,通常都是因为服务器的不稳定,因为如果服务器不稳定的话,蜘蛛就不能正常的抓取,久而久之就可能会放弃站点。另外像网站整体质量不好这些,也会影响到蜘蛛的抓取频次,但这些情况下蜘蛛还是会来抓取,只是次数会减少。

这里大家要注意的是,网站权重高低跟蜘蛛抓取没有绝对的关系!当然,网站权重越高、页面数量越多、更新量越大,蜘蛛抓取的频次就越高。

但这些跟蜘蛛长期不抓取似乎关系也不大,长期不抓取的意思是蜘蛛放弃了站点,不再来抓取。如果是1-3个月的新站,这段时间蜘蛛抓取很少,则是正常的;如果超过了这段时间,并且网站每天也都有更新,蜘蛛还是不抓取,那就可能是服务器的问题了,或者是在robots里面限制了蜘蛛抓取。

总之而言,对于普通站点蜘蛛通常会抓取的,如果长期不抓取,极有可能是是服务器不稳定,导致蜘蛛长期不能正常抓取。所以,如果你的网站在网站日志里面长期看不到蜘蛛抓取,建议测试和修复网站服务器


本文标签:蜘蛛抓取
这篇关于“蜘蛛长期不抓取页面的原因”的文章 已帮助 316 人,希望也能帮到你!

沐风博客

本站内容大部分由沐风博客原创,少部分内容来源于网络,如有侵权请与我们联系,我们会及时删除!
责任编辑:沐风 | 发布时间:2021年11月17日07点56分27秒 | 本文永久地址为 /seo/3090.html

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

沐风博客

xpj编辑教程

企业网站优化视频教程

xpj百科词条

沐风博客,更新包含xpj网站注册教程、网站运营及网络推广等互联网资讯

线下xpj网站注册地址:广州.厦滘 | 线上xpj网站注册不受地域限制