码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 【故障公告】被放出的 Bing 爬虫,又被爬宕机的园子


    这些巨头爬虫们现在怎么了?记忆中2022年之前的十几年,园子没有遇到过被巨头爬虫们爬宕机的情况,巨头们都懂得爱护,都懂得控制节奏,都懂得在爬网时控制并发连接数以免给目标网站造成过大压力。

    从去年开始,巨头爬虫们开始变了。首先从中文巨头爬虫中的佼佼者——百度蜘蛛开始,变得只追求自己“飞流直下三千尺,疑是银河落九天”的畅快,而不顾是否给目标网站带来“狂风暴雨后的一片狼藉”。在2022年4月3日与5月4日百度蜘蛛的两次疯狂袭击之后,园子勇敢地说出了“不”——屏蔽了肆无忌惮的百度蜘蛛IP网段,而勇敢的代价是“不让疯爬,就给重罚”——园子被百度全面降权。

    今年,被百度重罚后园子的唯一依靠——微软 Bing 的爬虫又开始了,3月29日在园子里上演了下班前的一场暴风雨,爬虫爬至园宕机,无奈之下屏蔽了 Bing 爬虫疯狂爬取的两个网段。

    去年屏蔽后,我们还能庆幸地感叹——至少还有你,Bing;今年屏蔽后,我们只剩忐忑不安——如果再被重罚,将是灾难。近一个月的忐忑不安,试着放虎归山,结果又让园子人仰马翻。

    前天,我们试着放出了被屏蔽的 Bing 爬虫,结果昨天 18:15~18:40 左右,放出的 Bing 爬虫又爬至园宕机,只能再次屏蔽,再次陷入随时被重罚的危险境地。

    抱歉,昨天下班时间出现的故障给大家带来了麻烦,请大家谅解。

    在巨头爬虫们变得格外强大变得巨能爬的挑战面前,园子别无选择,唯有让自己变得更强大。

    【更新】

    从 bing webmaster tools 看,昨天被屏蔽之前,bing 爬虫爬网 500 多万次。

  • 相关阅读:
    物联网LORA技术-SX1276/SX1277/SX1278-137MHz至1020MHz低功耗远距离收发器
    vue中用xlsx、xlsx-style、file-saver插件实现用表格原始数据打印excel文件
    React+后端实现导出Excle表格的功能
    德迅云安全和您聊聊关于DDOS高防ip的一些方面
    【PyTorch深度学习项目实战100例】—— 基于UNet对DRIVE视网膜进行图像分割 | 第29例
    聊聊秒杀系统的设计(二)
    猿创征文 第二季| #「笔耕不辍」--生命不息,写作不止#
    【Kubernetes】K8s笔记(十一):Ingress 集群进出流量总管
    T246836 [LSOT-1] 暴龙的土豆
    新160个CrackMe分析-第6组:51-60(下)
  • 原文地址:https://www.cnblogs.com/cmt/p/17353598.html
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号