标签：垃圾蜘蛛

相信每位站长都很烦那些垃圾蜘蛛和垃圾ip，总是使劲的爬自己的网站，以SemrushBot、SM-G900P等垃圾蜘蛛UA和某个特别熟悉的安卓UA（SM-G900P）为例，它们一天天爬个不停，把服务器cpu爬得通红都不放过。 下面以宝塔为例，教大家怎么简单的快速屏蔽垃圾的蜘蛛和垃圾ip。 屏蔽国外蜘蛛我们只需要分三步： 1、打开宝塔的网站管理-点击你要屏蔽的网站的设置； 2、弹窗出来后点击伪静态； 3、复制下方的代码到里面第一行； Markup if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P)) {      return 403;} 操作成功的图片如下： 通过上面的一番操作对垃圾蜘蛛返回403错误提示，即可有效的屏蔽掉这些垃圾爬虫了。

赞(0)villain2023-08-01技术笔记 阅读(38)去评论

There is no excerpt because this is a protected post.

赞(0)villain2023-07-28技术笔记 阅读(40)去评论