第01章 网络数据采集入门

step6.存储关键信息(保存至文本文档)

with open("computer_goodlist.txt","w",encoding="utf-8") as f: for i in GoodlistsResult: f.write(str(i)) f.write("\n") f.flush()

第3节 selenium 入门

1. selenium简介

selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera，Edge等

案例演示

from selenium import webdriver url = r"https://www.baidu.com/" driver = webdriver.Chrome() driver.implicitly_wait(20) driver.get(url)

2. selenium环境准备

下载浏览器驱动：http://chromedriver.storage.googleapis.com/index.html?path=91.0.4472.19/
下载完之后，驱动文件需和爬虫脚本放在同一个目录下

安装selenium语法：

pip install selenium

3. selenium实施步骤

1. 导入相关库
2. 确定网页网址url
3. 启动浏览器
4. 模拟人工操作动态加载数据
5. 读取网页源代码并重新编码
6. 提取目标信息（商品数据）
7. 目标信息写入文本文件（商品数据）
8. 关闭并退出浏览器

step1.导入相关库

import re #re库，正则表达式获取信息 import time #time库，任务暂时睡眠，给页面下载保留缓冲时间 from selenium import webdriver #selenium库，启动自动测试模拟

step2.确定网页网址url

url = r"https://list.jd.com/list.html?cat=670,671,672"

step3.启动浏览器

driver = webdriver.Chrome() driver.implicitly_wait(20) # 这里设置智能等待20s，即浏览器等待加载时间 driver.get(url)

step4.模拟人工操作动态加载数据

Target = driver.find_element_by_css_selector("span[class='p-num']") driver.execute_script("arguments[0].scrollIntoView();", Target) # 拖动到可见的元素：页码栏 time.sleep(10) #等待10S，浏览器数据加载

step5.读取网页源代码并重新编码

response_info = driver.page_source response_read = response_info.replace("\n","").replace("\r","").replace("\t","") ##因为只关心数据，一般把换行符、回车符、制表符替换掉

step6.提取目标信息（商品数据）

## 选择所有商品列表 GoodlistPattern = re.compile(r'.*

(.*?)

step7.目标信息写入文本文件（商品数据）

with open("computer_goodlist_full.txt","w",encoding="utf-8") as f: for i in GoodlistsResult: f.write(str(i)) f.write("\n") f.flush()

step8.关闭并退出浏览器

driver.close() driver.quit()

4. 浏览器操作介绍

from selenium import webdriver url = r"https://www.baidu.com/" driver = webdriver.Chrome() driver.implicitly_wait(20) driver.get(url)

定位元素方法

#新闻 driverNews = driver.find_elements_by_xpath(r'/html/body/div[1]/div[1]/div[3]/a[1]') print(driverNews)

[<selenium.webdriver.remote.webelement.WebElement (session="aa5156da378e40ff4500d85fa67df88f", element="0.7628609986660331-1")>]

查找符合要求的第一个元素：

查找符合要求的多个元素（返回一个列表）：

常用方法是通过xpath相对路径进行定位，同时CSS也是比较好的方法。

操作元素方法

所有的操作与页面交互都将通过WebElement接口，常见的操作元素方法如下：

from selenium import webdriver from selenium.webdriver.common.keys import Keys #新闻 driverNews = driver.find_elements_by_xpath(r'/html/body/div[1]/div[1]/div[3]/a[1]') driverNews[0].click()

获取元素值方法

通过WebElement接口可以获取常用的值，这些值同样非常重要。

from selenium import webdriver from selenium.webdriver.common.keys import Keys #新闻 driverNews = driver.find_elements_by_xpath(r'/html/body/div[1]/div[1]/div[3]/a[1]') print(driverNews[0].text)

鼠标操作方法

鼠标的操作不仅仅是click()单击操作，还有很多包含在ActionChains类中的操作。

from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains #新闻 driverNews = driver.find_elements_by_xpath(r'/html/body/div[1]/div[1]/div[3]/a[1]') ActionClick = ActionChains(driver).context_click(driverNews[0]) ActionClick.perform()

键盘操作方法

webdriver的Keys类中提供了键盘所有的按键操作

from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains # driverInput = driver.find_elements_by_xpath(r'/html/body/div[1]/div[1]/div[5]/div/div/form/span[1]/input') driverEnter = driver.find_elements_by_xpath(r'/html/body/div[1]/div[1]/div[5]/div/div/form/span[2]/input') driverInput[0].send_keys("新闻") driverEnter[0].send_keys(Keys.ENTER)

第4节 登陆模拟

登陆模拟，指的是通过python 代码模拟用户登陆系统，然后访问那些只能登陆状态才能访问的页面。常用模拟登陆的方法有：

1. 直接使用已知的cookie访问；
2. 模拟登录后再携带得到的cookie访问；
3. 模拟登录后用session保持登录状态；
4. 使用无头浏览器访问

本文将基于“方法4 使用无头浏览器访问”展开讨论。

1. 环境工具准备

主要包括两个工具 Tesseract-OCR 和 pytesseract，用于验证码识别

OCR介绍

OCR（Optical Character Recognition，光学字符识别），也就是使用字符识别方法将形状翻译成计算机文字的过程，Tesseract-OCR是Google支持的开源ocr项目。

下载地址：https://digi.bib.uni-mannheim.de/tesseract/

安装步骤：

选择“使用用户”

语言包选择，可以独自下载，但注意版本必须一致，否则容易报错，具体链接：https://github.com/tesseract-ocr/tessdata

配置环境路径

检查版本，确认是否正确安装

pytesseract

为了使用Python将图像识别为字母和数字，我们需要用到Tesseract库，它是Google支持的开源ocr项目。
安装语句：pip install pytesseract

2. 模拟登陆实施

本次实验网站：https://so.gushiwen.cn/user/login.aspx

模拟登录实施步骤

1. 启动浏览器，进入登陆页面
2. F12 开启“开发者工具”，勾选“Preserve log”
3. 登录信息框内输入账号密码、验证码，登录网站
4. 从“开发者工具”中，逐个查看“Name”栏目，找到headers - General - Requset Method为POST的
5. headers 拉到最下面，找到“Form Data”，按里面的内容组建登录信息
6. 再按后面“代码实现逻辑”执行

代码实现逻辑

1. 启动浏览器，打开网页
2. 网页输入验证码、账号密码，登录网页（此处为死循环，直至验证码正确才退出）

• 2.1).截取网页验证码图片
• 2.2).处理图片（灰度化、二值化）、识别验证码
• 2.3).网页内填写信息：账号、密码、验证码
• 2.4).登录验证正确时直接第3步，否则第2.1)步

1. 进入目标页面“我的背诵”，读取网页源代码
2. 利用正则表达式解析源代码，提取关键信息
3. 写入文档

主体代码

## 导入库 import re import time from selenium import webdriver from selenium.webdriver.common.keys import Keys from PIL import Image import pytesseract ## 确定网页网址url、登陆账号和密码 url = r"https://so.gushiwen.cn/user/login.aspx" username = "kingdragon_lun@126.com" password = "ABC123!!" ## 1.启动浏览器，打开网页 driver = webdriver.Chrome() driver.implicitly_wait(20) # 这里设置智能等待20s，即浏览器等待加载时间 driver.get(url) ## 2.网页输入验证码、账号密码，登录网页 driver = login(driver, username, password) ## 3.进入目标页面“我的背诵”，读取网页源代码 response_read = getresource(driver) ## 4.利用正则表达式解析源代码，提取关键信息 TotalList = getinfo(response_read) ## 5.写入文档 writefile(TotalList) driver.close() ## 退出浏览器 driver.quit()

各函数详细代码

## 2.网页输入验证码、账号密码，登录网页（此处为死循环，直至登录验证正确才退出） def login(driver, username, password): n = 1 while True: filename = "Code.png" ## 2.1.截取网页验证码图片 driver = getcode(driver, filename) ## 2.2.处理图片（灰度化、二值化）、识别验证码 Code = picocr(filename) ## 2.3.网页内填写信息：账号、密码、验证码 driver = trylogin(driver, username, password, Code) ## 2.4.登录验证正确时直接第3步，否则第2.1)步 if isalert(driver): driver.switch_to.alert.accept() driver.refresh() # 刷新方法 refresh print("正在重试第{}遍".format(str(n))) n = n + 1 else: break return driver

# 2.1 截取网页验证码图片 def getcode(driver, filename): # 获取验证码图片在网页中的位置 element = driver.find_element_by_id('imgCode') # 定位验证码图片 p = 1.25 # 网页缩放比例，观察而定 left = int(element.location['x'] * p) # 获取图片左上角坐标x top = int(element.location['y'] * p) # 获取图片左上角y right = int(element.location['x'] * p + element.size['width']) # 获取图片右下角x bottom = int(element.location['y'] * p + element.size['height']) # 获取图片右下角y # 通截屏后通过Image裁剪出验证码图片保存 driver.save_screenshot(filename) # 截取当前窗口并保存图片 img = Image.open(filename) # 打开图片 img = img.crop((left, top, right, bottom)) # 截图验证码 img.save(filename) # 保存验证码图片 return driver

## 2.2 处理图片（灰度化、二值化）、识别验证码 def picocr(filename): ## 灰度化 ## 把彩色图像转化为灰度图像。通过灰度处理可以把色彩空间由RGB转化为HIS img = Image.open(filename) imggray = img.convert('L') imggray.save('gray.png') ## 二值化 ## 把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为灰度极小值 threshold = 150 table = [] for i in range(256): if i