Nginx 设置只允许蜘蛛访问其他访问为404或者301跳转
时间：2023年11月10日
/来源：网络
/编辑：佚名
nginx 设置只允许蜘蛛访问其他访问为 404 或者 301 跳转
ngxinx 设置只允许百度 360 蜘蛛访问，其他任何 IP 或者蜘蛛访问为 404 状态
if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")
{
return 404;
}
实测浏览器打开为 404 状态，网站日志百度蜘蛛为 200 正常状态。
设置只允许百度 360 蜘蛛访问，访客浏览器跳转
if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")
{
return 301 http://www.hao123.com;
}
解释：这个是，非这几个蜘蛛，就 301 跳转到 hao123.com
if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|6531.22.7")
{
return 302 http://www.baidu.com;
}
解释： 这是 302 跳转
ngxinx 设置只允许百度 360 蜘蛛访问，其他任何 IP 或者蜘蛛访问为 404 状态
if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")
{
return 404;
}
实测浏览器打开为 404 状态，网站日志百度蜘蛛为 200 正常状态。
设置只允许百度 360 蜘蛛访问，访客浏览器跳转
if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")
{
return 301 http://www.hao123.com;
}
解释：这个是，非这几个蜘蛛，就 301 跳转到 hao123.com
if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|6531.22.7")
{
return 302 http://www.baidu.com;
}
解释： 这是 302 跳转
新闻资讯 更多
- 【建站知识】查询nginx日志状态码大于400的请求并打印整行04-03
- 【建站知识】Python中的logger和handler到底是个什么？04-03
- 【建站知识】python3拉勾网爬虫之（您操作太频繁，请稍后访问）04-03
- 【建站知识】xpath 获取meta里的keywords及description的方法04-03
- 【建站知识】python向上取整以50为界04-03
- 【建站知识】scrapy xpath遇见乱码解决04-03
- 【建站知识】scrapy爬取后中文乱码,解决word转为html 时cp1252编码问题04-03
- 【建站知识】scrapy采集—爬取中文乱码，gb2312转为utf-804-03
猜你需要
豫ICP备2021026617号-1
豫公网安备：41172602000185