文章摘要
本文介绍了如何使用宝塔软件快速屏蔽垃圾蜘蛛和IP,以SemrushBot、SM-G900P等为例。通过宝塔网站管理-伪静态功能,只需复制特定代码即可对目标网站返回403错误,有效阻止垃圾爬虫。这种方法不仅简单又高效,还能保护服务器免受过载攻击,同时页面仍能正常显示。
相信每位站长都很烦那些垃圾蜘蛛和垃圾ip,总是使劲的爬自己的网站,以SemrushBot、SM-G900P等垃圾蜘蛛UA和某个特别熟悉的安卓UA(SM-G900P)为例,它们一天天爬个不停,把服务器cpu爬得通红都不放过。
下面以宝塔为例,教大家怎么简单的快速屏蔽垃圾的蜘蛛和垃圾ip。
屏蔽国外蜘蛛我们只需要分三步:
1、打开宝塔的网站管理-点击你要屏蔽的网站的设置;
2、弹窗出来后点击伪静态;
3、复制下方的代码到里面第一行;
Markup
if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P)) { return 403;}
操作成功的图片如下:
通过上面的一番操作对垃圾蜘蛛返回403错误提示,即可有效的屏蔽掉这些垃圾爬虫了。