AhrefsBot是什么?
AhrefsBot是一个国外的搜索引擎蜘蛛。不过对你的网站来说除了浪费资源外,没有任何好处。简单说,AhrefsBot是一个营销网站的爬取蜘蛛,负责分析你网站的链接信息,这个工具对于国内用户来说,没有用。

所以,可以禁止AhrefsBot对你网站,甚至是整个服务器的访问
详细的介绍你可以查看他们官网的英文解释。https://ahrefs.com/robot 该网站是一个国外的但是有中文版,打开中文版显示如上图。其介绍为“增加您的搜索流量的工具,研究您的竞争对手并监控您的利基市场。Ahrefs会帮助你去研究为什么你的竞争对手排名这么高,以及你需要采取什么行动来超越他们。”所以应该明白他是做什么的了吧。
怎么封禁AhrefsBot?
如果不需要我们可以屏蔽。它的ip地址还是很多的所以建议用京策盾高防CDN的UA拦截功能
首先在京策盾高防CDN控制台打开网站列表
在我的网站里,找到被爬取的网站
在网站的安全配置里,点击自定义规则

在自定义规则里匹配项选择浏览器UA,操作符选择包含,匹配值填写AhrefsBot,如下图

规则添加成功之后,即可在拦截记录里查看到有大量垃圾蜘蛛被阻断和拦截









