无限 debugger 能劝退 Spider Engineer 吗？原来我还没入门！

背景

看了一个专栏，里面有介绍 Python Spider Engineer 工程师常用的开发者工具，学到了一招，如何对付 debugger 语句。想起去年被某网站的无限断点劝退的经历 《JS 反爬：一分钟了解 debugger 如何劝退爬虫》，感觉我还没有入门哇。

常规 Anti Spider 技术之一

这个网站里面，只要打开浏览器的开发者模式，就会无限进入断点，网页访问无法继续。今天学到了一招，就是点击这一行，右键操作里面“ Never pause here”：

这样就能愉快地继续分析了啊，如此简单！

Console was cleared

Anti Spider 不停进行控制台清空，同时又无限打印日志，这一点简单的方法就是重写 console 事件：

// 转移清空函数，并重写
console.backclear = console.clear;
console.clear = function () {
  return;
};

// 转移日志函数，并重写
console.backlog = console.log;
console.log = function () {
  return;
};
1
2
3
4
5
6
7
8
9
10
11

启示录

学以致用，Spider 是个大话题，也是 Sensitive 的，搞不好还会触碰 platform 的 Sensitive Word library ，简单有效的一个方法：

1. Sensitive Word 转换为 Unicode 字符串。
2. 使用英语替代。
3. 使用图片替代 Sensitive Word。

今天又有了一点继续学习 Python 的热情，真的是太简洁了啊，接口调用的一行代码抵得上 Java 的十行。