屏蔽恶意爬虫的User-Agent serpstatbot/2.1
时间：2023年11月05日
/来源：网络
/编辑：佚名
发现一个攻击ip和攻击样本，防火墙拦击的日志如下
时间 2023-11-04 08:36:57 攻击IP 148.251.168.205
类型 GET 过滤器 cc
URI地址 /about.html
累计超过10次验证失败,封锁18000秒
User-Agent
serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)
根据字面就是高级黑链接跟踪爬虫，影响网站正常运行，属于cc过滤器。
serpstatbot这是一家国外的网络爬虫工具，会抓取我们网站的SEO信息。
网站为：https://serpstatbot.com/
ip地址：5.9.55.228
官方介绍说，如果不想被serpstatbot抓取，可以在根目录下创建robots.txt 文件。在文件中填写。
User-agent: serpstatbot
Disallow: /
第二种方法：屏蔽ip地址 5.9.55.228和148.251.168.205
那么这个爬虫就不会再访问我们的网站了。
时间 2023-11-04 08:36:57 攻击IP 148.251.168.205
类型 GET 过滤器 cc
URI地址 /about.html
累计超过10次验证失败,封锁18000秒
User-Agent
serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)
根据字面就是高级黑链接跟踪爬虫，影响网站正常运行，属于cc过滤器。
serpstatbot这是一家国外的网络爬虫工具，会抓取我们网站的SEO信息。
网站为：https://serpstatbot.com/
ip地址：5.9.55.228
官方介绍说，如果不想被serpstatbot抓取，可以在根目录下创建robots.txt 文件。在文件中填写。
User-agent: serpstatbot
Disallow: /
第二种方法：屏蔽ip地址 5.9.55.228和148.251.168.205
那么这个爬虫就不会再访问我们的网站了。
新闻资讯 更多
- 【建站知识】查询nginx日志状态码大于400的请求并打印整行04-03
- 【建站知识】Python中的logger和handler到底是个什么？04-03
- 【建站知识】python3拉勾网爬虫之（您操作太频繁，请稍后访问）04-03
- 【建站知识】xpath 获取meta里的keywords及description的方法04-03
- 【建站知识】python向上取整以50为界04-03
- 【建站知识】scrapy xpath遇见乱码解决04-03
- 【建站知识】scrapy爬取后中文乱码,解决word转为html 时cp1252编码问题04-03
- 【建站知识】scrapy采集—爬取中文乱码，gb2312转为utf-804-03
猜你需要
豫ICP备2021026617号-1
豫公网安备：41172602000185