头条搜索爬虫 UA Bytespider,区分 PC、Android、iOS
时间:2023年06月30日
/来源:网络
/编辑:佚名
随着头条搜索站长平台的完善,官方也在不断的推出新功能,例如前不久推出的网站认证功能,今天子凡通过官方发现头条搜索爬虫 UA 也有了更新。

头条搜索 Bytespider
头条搜索的爬虫 UA 为“Bytespider”首写字母为大写,例如(UA 字符串来自头条搜索站长平台官方):
//PC
<pre lang="php">Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/[70.0.0.0](http://70.0.0.0) Safari/537.36
//Android
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]
//IOS
Mozilla/5.0 (iPhone; CPU iPhone OS 7\_1\_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]
相比头条搜索最初的 UA已经发生了比较大的变化,通过官方就可以发现头条搜索目前已经准备了三个不同设备的 UA,PC 电脑端、Android 以及 iOS 两个系统,那么最为有意思的就是居然有 PC,这是否意味这头条搜索已经在开始做 PC 搜索了呢?
如果你觉得通过 UA 判断头条搜索不够准确,那么头条搜索站长平台也公开了器 ip 字段,头条搜索的 ip 字段总共涉及 8 个 ip,具体字段如下:
//头条搜索的 ip 段
110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
220.243.135.0/24
220.243.136.0/24
60.8.123.0/24
60.8.151.0/24

头条搜索 Bytespider
头条搜索的爬虫 UA 为“Bytespider”首写字母为大写,例如(UA 字符串来自头条搜索站长平台官方):
//PC
<pre lang="php">Mozilla/5.0 (compatible; Bytespider;[https://zhanzhang.toutiao.com/] AppleWebKit/537.36 (KHTML, like Gecko) Chrome/[70.0.0.0](http://70.0.0.0) Safari/537.36
//Android
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]
//IOS
Mozilla/5.0 (iPhone; CPU iPhone OS 7\_1\_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; [https://zhanzhang.toutiao.com/]
相比头条搜索最初的 UA已经发生了比较大的变化,通过官方就可以发现头条搜索目前已经准备了三个不同设备的 UA,PC 电脑端、Android 以及 iOS 两个系统,那么最为有意思的就是居然有 PC,这是否意味这头条搜索已经在开始做 PC 搜索了呢?
如果你觉得通过 UA 判断头条搜索不够准确,那么头条搜索站长平台也公开了器 ip 字段,头条搜索的 ip 字段总共涉及 8 个 ip,具体字段如下:
//头条搜索的 ip 段
110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
220.243.135.0/24
220.243.136.0/24
60.8.123.0/24
60.8.151.0/24
新闻资讯 更多
- 【建站知识】查询nginx日志状态码大于400的请求并打印整行04-03
- 【建站知识】Python中的logger和handler到底是个什么?04-03
- 【建站知识】python3拉勾网爬虫之(您操作太频繁,请稍后访问)04-03
- 【建站知识】xpath 获取meta里的keywords及description的方法04-03
- 【建站知识】python向上取整以50为界04-03
- 【建站知识】scrapy xpath遇见乱码解决04-03
- 【建站知识】scrapy爬取后中文乱码,解决word转为html 时cp1252编码问题04-03
- 【建站知识】scrapy采集—爬取中文乱码,gb2312转为utf-804-03