爬虫用什么库更事半功倍？

1、首先，我们需要安装 TypeScript 和 superagent 库。在命令行中运行以下命令来安装它们：

npm install typescript
npm install superagent
1
2

2、创建一个新的 TypeScript 项目，并在项目中创建一个名为 crawler 的文件夹。在 crawler 文件夹中，创建一个名为 index.ts 的文件。

3、在 index.ts 文件中，编写以下代码：

// 引入 superagent 库
import request from 'superagent';

// 定义一个函数来爬取 www.baidu.com 上的图片
async function crawlBaiduImages() {
  // 使用爬虫IP服务器来爬取 www.baidu.com 上的图片
  const proxy = 'https://www.duoip.cn/get_proxy';

  // 使用 superagent 发送 GET 请求
  const response = await request.get('https://www.baidu.com/image/', {
    headers: {
      Referer: 'https://www.baidu.com/image/'
    },
    // 使用爬虫IP服务器
    agent: new proxy()
  });

  // 打印响应内容
  console.log(response.text);
}

// 调用 crawlBaiduImages 函数
crawlBaiduImages();
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

4、在命令行中，运行以下命令来运行程序：

ts-node crawler/index.ts
1

5、程序将输出 www.baidu.com 上的图片 URL。你可以根据需要处理这些 URL，例如下载图片或分析图片内容。