Python 爬虫详解

一、爬虫概述

1、爬虫简介

要对数据进行处理和分析，首先就要拥有数据。在当今这个互联网时代，大量信息以网页作为载体，网页也就成了一个很重要的数据来源。但是，网页的数量非常之多，如果以人工的方式从网页上采集数据，工作量相当巨大。从本章开始就要为大家介绍一个自动采集网页数据的利器——爬虫。

爬虫是指按照一定的规则自动地从网页上抓取数据的代码或脚本，它能模拟浏览器对存储指定网页的服务器发起请求，从而获得网页的源代码，再从源代码中提取出需要的数据。使用爬虫获取数据，具有全天候、无人值守、效率高等优点。

爬虫有什么用：

• 市场分析：电商分析、商圈分析、一二级市场分析等
• 市场监控：电商、新闻、房源监控等
• 商机发现：招投标情报发现、客户资料发掘、企业客户发现等

通用的网络爬虫框架：

1. 挑选种子 URL；

2. 将这些 URL 放入待抓取的 URL 队列；

3. 取出待抓取的 URL，下载并存储进已下载网页库中。此外，将这些 URL 放入已抓取 URL 队列；

4. 分析已抓取队列中的 URL，并且将 URL 放入待抓取 URL 队列，从而进入下一循环。

2、网页结构

我们平时在浏览器中看到的网页其实是浏览器根据网页的源代码进行渲染后呈现在浏览器窗口中的效果。网页的源代码规定了网页中要显示的文字、图片等信息的内容和格