抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数,如果搜索引擎对站点的抓取频次过高,很有可能造成服务器不稳定,Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
如果你的抓取频次过高的话可能是因为以下几种情况的原因:
第一可能是:
robots.txt没有设置好做好,导致蜘蛛大量抓取一些内部的没用的页面,包括以及一些重复页面。
第二可能是
网站的过度优化,百度蜘蛛对网站的过度优化是很敏感的,它喜欢自然的东西,刻意优化会造成让它反感甚至有作弊嫌疑,当你的网站有作弊嫌疑的时候,蜘蛛大军就会大量造访你的网站,每一个蜘蛛的分工都不同,其目的就是在你的网站上找出充分的证据证明你是作弊的,它会把各种算法通过蜘蛛集中放到你的网站上去验证,能不能躲过此劫,就看你是不是真的作弊了。
而也有可能是网站结构的不合理性导致蜘蛛进入循环黑洞,爬取不顺畅。
同样抓取频次太低也是不正常的,有以下几种可能:
第一点:长期不更新内容,更新内容不规律,三天打渔两天晒网。
第二点:新站点,新站点的规模差距还是挺大的,况且还没走出百度的沙盒期,只有网站做了比较长的一段时间,赢得了搜索引擎的信任才会提高对你的网站的访问次数。