python-(6-4-1)爬虫---利用re解析获得数据信息

一 正则表达式(re)

1-1 正则表达式规则

1）使用元字符进行排列组合来匹配字符串。
2）每一个元字符默认只匹配一个字符串。

1-2 正则表达式含义

元字符是具有固定含义的特殊符号，如下所示。

.    匹配除换行符以外的其他字符
\w   匹配字母或数字或下划线
\s   匹配任意的空白符
\d   匹配数字
\n   匹配一个换行符
\t   匹配一个制表符

^    匹配字符串的开始
$    匹配字符串的结尾

\W   匹配\w范围之外的所有字符
\S   匹配\s范围之外的所有字符
\D   匹配\d范围之外的所有字符
a|b  匹配字符a或字符b
（）  匹配括号内部的表达式（一个整体）
[]   匹配括号内部的所有字符（每一个）
[^]  匹配除了括号内部字符的其他所有字符

下面6个是量词，用来控制前面元字符的次数
*      重复0次或更多次
+      重复1次或更多次
?      重复0次或1次
{n}    重复n次
{n,}   重复n次或更多次
{n,m}  重复n次到m次

.*     贪婪匹配
.*?    惰性匹配
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

1-3 部分举例说明

贪婪匹配是，如果满足条件，会尽可能多的匹配内容。

惰性匹配是，如果满足条件，会尽可能少的匹配内容。(回溯机制）

二 正则表达式(re)模块

2-1 findall()

作用：匹配字符串中所有符合正则的内容
缺点：返回的是列表，效率不高

import re

# 强迫症看到\d下面的波浪线很难受，在前面加一个r即可
lst = re.findall(r"\d+","我的一个手机号是：10086,另一个手机号是10010")

# findall()返回的数据类型是列表
print(lst)
1
2
3
4
5
6
7

2-2 finditer()

作用：匹配字符串中所有符合正则的内容
优点：返回的是迭代器，效率更高

import re

it = re.finditer(r"\d+","我的手机号是：10086,另一个手机号是10010")

# 返回的数据类型是迭代器（看不到数据）
print(it)

# 从迭代器中拿到数据
for i in it:
    print(i.group())
1
2
3
4
5
6
7
8
9
10

2-3 search()

特点：找到一个结果就返回值，类似于惰性匹配

import re

se = re.search(r"\d+","我的手机号是：10086,另一个手机号是10010")

# 返回的数据类型是match对象
print(se.group())
1
2
3
4
5
6

2-4 compile()

特点：预加载正则表达式，可以在后面反复调用

import re

obj = re.compile(r"\d+")

# 第一次调用
ret1 = obj.finditer("我的手机号是：10086,另一个手机号是10010")
for i in ret1:
    print(i.group())

# 第二次调用
ret2 = obj.findall("我的200块钱该还我了吧")
print(ret2)
1
2
3
4
5
6
7
8
9
10
11
12

2-5 (?P<分组名字>正则)

特点：单独从正则匹配的内容中进一步提取内容

import re

str = """
          
          
          
          
          
          
"""

# re.S的作用是，让.可以匹配换行符
obj = re.compile(r".*?)&type=(?P\d+)>",re.S)

result = obj.finditer(str)
for i in result:
    print(i.group("mov_typ"))
    print(i.group("id"))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

三 实战练习

3-1 需求

得到某瓣电影排名前25名的电影名

3-2 分析

首先，需要拿到页面的源代码。（导入requests模块）

其次，利用正则提取想要的数据信息。（导入re模块）

最后，重点是分析如何提取电影名（ctrl+U打开网页源代码）。

这里笔者从