站长吐槽:头条搜索爬虫暴力抓取网站内容

站长吐槽:头条搜索爬虫暴力抓取网站内容

  • 微信群二维码每天更新500-1000微信群二维码
  • 最近更新2021年03月24日
VIP免费下载

站长吐槽头条搜索爬虫暴力抓取网站内容

最近有站长在网上发文吐槽表明,字节跳动为了快速开展查找事务派出爬虫四处暴力抓取网站内容,部分配置较低的网站现已直接瘫痪,给中小网站主们造成了很大的损失和困扰,严重影响了网站正常的用户拜访。
站长吐槽:头条查找爬虫暴力抓取网站内容
该站长表明,今年7月份,他忽然发现公司的网站经常性打不开,网页加载极其缓慢,有时甚至直接瘫痪。经过一系列排查后,在服务器日志上发现了bytespider爬虫的痕迹。
该爬虫抓取的频率每天达几百万次,高则上千万次,服务器带宽负载飙至100%,并且该爬虫在抓取时完全不恪守网站的robots协议。
该站长顺着该爬虫的IP地址查询,证明,该爬虫便是字节跳动的查找爬虫。
并且,在CSDN、V2EX等技术论坛也了解到,从字节跳动开始做查找之后,其实网络上就一向有站长诉苦头条查找爬虫抓取过于暴力的声响,遭受字节跳动的查找爬虫暴力抓取的不是个例,很多小网站他们也没放过。
有小网站主诉苦表明:字节跳动的爬虫“一上午对网站发出46万次请求”,网站都瘫痪了,百度也没有这么折腾的!
最终,该站长表明,像我们这样做SEO的人来说,主要工作方针便是期望自己家网站能在主流查找引擎的查找结果中排在前面的位置,“对于像百度、搜狗、360等查找引擎的规范抓取和录入各位站长都是非常欢迎的,可是头条查找爬虫这样张狂爬取内容网站都给整瘫痪了,不只没给网站带来流量,还影响了正常的用户拜访,这就很不“考究”了。
可是对此,字节跳动的回应则是,“网络报导不实,目前头条查找设有反应机制,网站因为爬虫受到影响,可以直接经过邮件反应处理。”显着是不准备正面回应的。
所以经过头条查找爬虫暴力抓取网站内容来看,磊哥个人觉得,字节跳动入局全网查找搅动搜素商场是功德,可是为了快速崛起让自己家爬虫四处暴力抓取,就有问题了,大网站服务器配置高,技术人员多还好,很多小网站根本就顶不住字节跳动的查找爬虫这么折腾。
查找引擎的索引数据是靠点滴堆集起来的,百度、搜狗.360经历了那么多年的开展堆集才走到今日,头条查找想要张狂爬取内容,“一口吃个胖子”,只会让站长们远离。

分享到 :

发表评论

邮箱地址不会被公开。 必填项已用*标注