猎搜网络营销,公司使命助力中小企业网络营销! 全国咨询电话:

网站抓取频次出现异常的原因

来源:杭州SEO 2020-05-19 16:46

  蜘蛛对网站的抓取频次以及时间都是有一定规律的,一般是根据网站更新的频次来决定的。有时候站长会发现网站的抓取数量突然出现暴增或者暴涨的情况,对于网站的稳定有着不好的影响。那么百度是怎么计算分配抓取频次数量的呢?站点抓取频次数量暴增的原因有哪些呢?




  通常蜘蛛会根据站点的大小、网站新增链接的数量以及已经抓取网页的质量来综合判定该网站的抓取频次数量,同时兼顾站长在抓取频次工具里设置的、网站可承受的最大抓取值。


  从目前追查过的抓取频次数量突增的case中,原因可以分为以下几种:


  1、Baiduspider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取


  2、百度其他部门(如商业、图片等)的spider在抓取,但频次数量没有控制好,sorry


  3、已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取


  4、站点被攻击,有人仿冒百度爬虫


  面对抓取频次的突然暴涨或者暴降,我们首先应该对自己的网站进行排查,同时在站长反馈中心来进行反馈,双管齐下来解决这个问题。


上一篇:如何挖掘优质的外链?
下一篇:没有了

全国咨询电话:186-1656-1613

官方网址:www.jmkhb.com

Copyright@ 2009-2016 猎搜网络营销,未经许可不得擅自转载或抄袭 杭州SEO 杭州网站建设就选猎搜网络营销