Scrapy Splash--appinum--＞介绍-环境配置

这两个模块分别是渲染网页，手机端爬虫工具的基本信息介绍，环境配置。

Scrapy Splash

Scrapy Splash是一个基于Scrapy框架的扩展，用于处理JavaScript渲染的网页。它利用Splash服务，通过发送请求和接收响应的方式来执行JavaScript代码，并将渲染后的网页源代码返回给Scrapy，以便进一步的数据提取和处理。

使用Scrapy Splash可以解决Scrapy处理动态网页的难题，因为Scrapy本身只能处理静态网页。它使得爬取需要JavaScript渲染的网页变得相对简单。通过将Splash与Scrapy结合，您可以通过Scrapy的强大爬取功能来获取动态网页中的数据。

Splash使用Lua脚本语言来执行JavaScript代码，您可以编写自定义的Lua脚本来操作页面元素、点击按钮、滚动页面等操作。这使得您能够模拟用户行为，以处理各种复杂的JavaScript渲染网页。

总之，Scrapy Splash是一个强大的工具，可用于爬取和处理需要JavaScript渲染的网页，提供了一种简单而灵活的方式来处理动态网页中的数据。

要使用Scrapy Splash，您需要进行以下基本配置步骤：

1. 安装依赖：首先，您需要安装Scrapy和Splash。可以使用pip命令进行安装：

pip install scrapy
pip install scrapy-splash

1. 配置Splash服务：安装完Splash后，您需要设置和启动Splash服务。您可以通过Docker方式运行Splash服务：