python网页爬虫selenium与csv文件写入储存应用

一、工具准备

在库中加入selenium

为了用它控制网站
要安装一个chromedriver

这里加的是他的一个低版本
因为新版本有些地方仍然不兼容

1.获取当前谷歌浏览器版本信息：chrome://version/
用谷歌浏览器登录上面网站获得自己的谷歌浏览器版本

在下面网址下载chromedriver
chromedriver下载地址：http://chromedriver.storage.googleapis.com/index.html

选取一个最近的版本，即与你的版本最近的

下载文件，解压
放入python安装目录
就可以使用了

用下面代码测试，能不能打开谷歌浏览器

from selenium.webdriver import Chrome

b = Chrome()
b.get('https://www.baidu.com')
1
2
3
4

如果运行完了，跳出谷歌浏览器就是成功安装工具

二、csv文件操作

1. 什么是csv文件 - 逗号分隔值文件

一种后缀是.csv的文本文件，文件中每一行通过逗号分割成不同的列。
csv可以用excel软件像打开excel文件一样去打开。
导入库

import csv
1

2. csv文件读操作

1)创建reader

csv.reader(文件对象) - 创建reader获取文件内容，文件内容每一行一个列表的形式返回

csv.DictReader(文件对象) - 创建reader获取文件内容，文件内容每一行一个字典，并且将第一行的数据作为键的形式返回

f = open('files/电影.csv', 'r', encoding='utf-8', newline='')
# reader = csv.reader(f)
reader = csv.DictReader(f)

# reader获取文件内容，将每一行内容作为一个**迭代器**中的元素返回
```python
print(next(reader))
print(next(reader))
print(list(reader))

f.close()
1
2
3
4
5
6
7
8
9
10
11

3. csv文件写操作

1)创建一个writer

csv.writer(文件对象) - 写入数据的时候每一行数据对应一个列表

writer1 = csv.writer(open('files/students1.csv', 'w', encoding='utf-8', newline=''))
1

2)写入数据