笔者之前做了个地区门户,建站初期因为流量不大,所以用的阿里云按量付费模式,运营前几个月一直很正常。充值100多按量付费可以用好几个月突然某天接到阿里云短信提醒提示欠费,遂打开后台看了下费用明细。
后台显示ecs流量费一个小时1.5元左右,这个是之前从来没有过的。 打开了cnzz统计代码分析流量,发现一天也就 五六百ip,按理这点量不应该产生这么多流量费。
打开服务器监控日志,排查,发现百度蜘蛛访问量特别巨大,看来 流量突增的源头应该是找到了。
怎么解决蜘蛛抓取频繁的问题真的头大,期间试过n种方法,效果都不明显,期间曲折就不过多赘述。 总结下 针对百度蜘蛛频繁抓取的解决办。
第一步:进入百度站长平台https://ziyuan.baidu.com ,找到对应的网站找到抓取频次。可以看到流量增多的期间,基本上是 30万的频次, 点击
- 当前抓取频次过大如何解决?
- 找到调整频次的地方自己调整
注意:这个调整并不会马上生效,亲测这个时间大概有2天延时
第二步:修改robot.txt
屏蔽掉不想被抓取的资源,检测提交
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台用户上传并发布,不构成投资建议请自行甄别,如有侵权请联系站长删除!客服电话大全 » 网站流量突增按量付费统计代码显示没几个人原因-百度蜘蛛
评论前必须登录!