凉风有信,秋月无边
亏我思娇的情绪、好比度日如年

爬虫常见的User-Agent

文章摘要

这篇文章主要介绍了多种内容采集框架和技术,包括Java、Jullo、Feedly等,分析了它们的目标、功能及其潜在风险。同时,文章还讨论了多种安全攻击工具,如BOT、CrawlDaddy、ApacheBench等,重点在于SQL注入攻击、CC攻击器等恶意活动。此外,文章提到一些无用爬虫工具(如YisouSpider、AhrefsBot等)及其问题,并指出部分无用爬虫已被收购或停止使用。文章总体上为核心内容集中在内容采集与安全攻击方面,提醒开发者注意工具的有效性与安全性。

FeedDemon       内容采集

BOT/0.1 (BOT for JCE) sql注入

CrawlDaddy      sql注入

Java         内容采集

Jullo         内容采集

Feedly        内容采集

UniversalFeedParser  内容采集

ApacheBench      cc攻击器

Swiftbot       无用爬虫

YandexBot       无用爬虫

AhrefsBot       无用爬虫

YisouSpider      无用爬虫(已被UC神马搜索收购,此蜘蛛可以放开!)

jikeSpider      无用爬虫

MJ12bot        无用爬虫

ZmEu phpmyadmin    漏洞扫描

WinHttp        采集cc攻击

EasouSpider      无用爬虫

HttpClient      tcp攻击

Microsoft URL Control 扫描

YYSpider       无用爬虫

jaunty        wordpress爆破扫描器

oBot         无用爬虫

Python-urllib     内容采集

Indy Library     扫描

FlightDeckReports Bot 无用爬虫

Linguee Bot      无用爬虫

赞(0) 打赏
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《爬虫常见的User-Agent》
文章链接:https://www.1004619.com/zhide/20230801187.html
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。

评论 抢沙发

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续提供更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫

微信扫一扫