客服电话大全丨欢迎投稿
开放共享免费提供各类信息资源

网站流量突增按量付费统计代码显示没几个人原因-百度蜘蛛

笔者之前做了个地区门户,建站初期因为流量不大,所以用的阿里云按量付费模式,运营前几个月一直很正常。充值100多按量付费可以用好几个月突然某天接到阿里云短信提醒提示欠费,遂打开后台看了下费用明细。

后台显示ecs流量费一个小时1.5元左右,这个是之前从来没有过的。 打开了cnzz统计代码分析流量,发现一天也就 五六百ip,按理这点量不应该产生这么多流量费。

打开服务器监控日志,排查,发现百度蜘蛛访问量特别巨大,看来 流量突增的源头应该是找到了。

怎么解决蜘蛛抓取频繁的问题真的头大,期间试过n种方法,效果都不明显,期间曲折就不过多赘述。 总结下 针对百度蜘蛛频繁抓取的解决办。

第一步:进入百度站长平台https://ziyuan.baidu.com  ,找到对应的网站找到抓取频次。可以看到流量增多的期间,基本上是 30万的频次, 点击

百度抓取频次调整

百度抓取频次调整

注意:这个调整并不会马上生效,亲测这个时间大概有2天延时

第二步:修改robot.txt

百度robot

百度robot

屏蔽掉不想被抓取的资源,检测提交

分享到:更多 ()

声明:以上内容(如有图片或视频亦包括在内)为自媒体平台用户上传并发布,不构成投资建议请自行甄别,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:wolfba@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容!

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

客服电话大全

华宏财税大智快讯