Github每日精选（第71期）：自动网页抓取和浏览crawlee

crawlee

crawlee——一个用于 Node.js 的网络抓取和浏览自动化库，可帮助您构建可靠的,快速的爬虫。

Crawlee 是Apify SDK的继承者。🎉用TypeScript完全重写，以获得更好的开发者体验，并具有更强大的抗阻塞功能。界面与 Apify SDK 几乎相同，因此升级轻而易举。阅读升级指南以了解更改。ℹ️

Crawlee 涵盖了端到端的爬行和抓取，并帮助您构建可靠的，快速的抓取工具。

即使使用默认配置，您的爬虫也会像人类一样在现代机器人保护的雷达下飞行。Crawlee 为您提供了在 Web 上抓取链接、抓取数据并将其存储到磁盘或云中的工具，同时保持可配置以满足您的项目需求。

安装

试用 Crawlee 的最快方法是使用Crawlee CLI并选择Getting started example。CLI 将安装所有必要的依赖项并添加样板代码供您使用。

npx crawlee create my-crawler
1

cd my-crawler
npm start
1
2

如果您更喜欢将Crawlee添加到您自己的项目中，请尝试以下示例。因为它使用PlaywrightCrawler我们还需要安装Playwright。它没有与 Crawlee 捆绑以减少安装大小。

npm install crawlee playwright
1

使用方法

import { PlaywrightCrawler, Dataset } from 'crawlee';

// PlaywrightCrawler crawls the web using a headless
// browser controlled by the Playwright library.
const crawler = new PlaywrightCrawler({
    // Use the requestHandler to process each of the crawled pages.
    async requestHandler({ request, page, enqueueLinks, log }) {
        const title = await page.title();
        log.info(`Title of ${request.loadedUrl} is '${title}'`);

        // Save results as JSON to ./storage/datasets/default
        await Dataset.pushData({ title, url: request.loadedUrl });

        // Extract links from the current page
        // and add them to the crawling queue.
        await enqueueLinks();
    },
    // Uncomment this option to see the browser window.
    // headless: false,
});

// Add first URL to the queue and start the crawl.
await crawler.run(['https://crawlee.dev']);
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

当您运行该示例时，您应该会看到Crawle自动化了Chrome浏览器。

为了创建项目的样板，我们可以使用crawle{@44625}接口（CLI）工具。

让我们通过运行以下命令来创建新web爬行项目的样板文件：

npx crawlee create my-hello-world
1

CLI将提示您选择项目样板模板-只需选择“Hello world”。该工具将创建一个名为{@44630}的目录，其中包含{@44629}个项目文件。您可以按以下方式运行项目：

cd my-hello-world
npx crawlee run
1
2

默认情况下，爬行数据将存储在{@44634}的本地目录中。例如，参与者的输入JSON文件应位于{@44635}中的默认{@44632}存储中。