当前位置:首页 » 解决案例 » 正文

使用京策盾高防CDN封禁AhrefsBot爬虫蜘蛛解决服务器高负载和宕机的问题

AhrefsBot是什么?

AhrefsBot是一个国外的搜索引擎蜘蛛。不过对你的网站来说除了浪费资源外,没有任何好处。简单说,AhrefsBot是一个营销网站的爬取蜘蛛,负责分析你网站的链接信息,这个工具对于国内用户来说,没有用。

使用京策盾高防CDN封禁AhrefsBot爬虫蜘蛛解决服务器高负载和宕机的问题

所以,可以禁止AhrefsBot对你网站,甚至是整个服务器的访问

详细的介绍你可以查看他们官网的英文解释。https://ahrefs.com/robot  该网站是一个国外的但是有中文版,打开中文版显示如上图。其介绍为“增加您的搜索流量的工具,研究您的竞争对手并监控您的利基市场。Ahrefs会帮助你去研究为什么你的竞争对手排名这么高,以及你需要采取什么行动来超越他们。”所以应该明白他是做什么的了吧。

怎么封禁AhrefsBot?

如果不需要我们可以屏蔽。它的ip地址还是很多的所以建议用京策盾高防CDN的UA拦截功能

首先在京策盾高防CDN控制台打开网站列表

在我的网站里,找到被爬取的网站

在网站的安全配置里,点击自定义规则

成功使用京策盾高防CDN解决BLEXBot蜘蛛导致服务器高负载和宕机的问题

 

在自定义规则里匹配项选择浏览器UA,操作符选择包含,匹配值填写AhrefsBot,如下图

成功使用京策盾高防CDN解决BLEXBot蜘蛛导致服务器高负载和宕机的问题

 

规则添加成功之后,即可在拦截记录里查看到有大量垃圾蜘蛛被阻断和拦截

成功使用京策盾高防CDN解决BLEXBot蜘蛛导致服务器高负载和宕机的问题

分享到
上一篇
下一篇

相关推荐

联系我们

kakuyunke

复制已复制
4692403复制已复制
kefu#0ka.co复制已复制
微信小程序
kakuyunke复制已复制
关注官方微信,了解最新资讯
contact-img
客服QQ
在线客服