python爬虫之JS逆向——网页数据解析

目录

一、正则

1 正则基础

元字符

基本使用

通配符: '.'

字符集: '[]'

重复

位置

管道符和括号

转义符

转义功能

转义元字符

2 正则进阶

元字符组合(常用)

模式修正符

 re模块的方法

有名分组

compile编译

二、bs4

1 四种对象

2 导航文档树

嵌套选择

子节点、子孙节点

父节点、祖先节点

兄弟节点

3 搜索文档树

name参数

  标签名

  正则表达式

  列表

  函数(精致过滤)

关键字参数

文本参数

4 CSS选择器

三、xpath

1 路径表达式

2 谓语

3 通配符

4 其他用法

5 文件操作

文件句柄

读操作

写操作 

覆盖写

追加写

---

一、正则

是描述一段文本排列规则的表达式
正则表达式并不是python的一部分，而是一套独立于编程语言，用于处理复杂文本信息的强大的高级文本操作工具。
python提供re模块或regex模块来调用正则处理引擎

正则对字符串的操作：分割、匹配、查找和替换

1 正则基础

元字符

元字符是具有特殊含义的字符

举例和一些特殊组合如下所示

基本使用

import re
 
ret1 = re.findall("a", "a,b,c,d,e")  # ['a']
'
运行
运行

通配符: '.'

ret2 = re.findall(".", "a,b,c,d,e")  # ['a', ',', 'b', ',', 'c', ',', 'd', ',', 'e']
ret2 = re.findall("a.b", "a,b,c,d,e,acb,abb,a\nb,a\tb")  # ['a,b', 'acb', 'abb', 'a\tb']

字符集: '[]'

ret3 = re.findall("[ace]", "a,b,c,d,e")  # ['a', 'c', 'e']
ret3 = re.findall("a[bce]f", "af,abf,abbf,acef,aef")  # ['abf', 'aef']
ret3 = re.findall("[a-zA-Z]", "a,b,c,d,e,A,V")  # ['a', 'b', 'c', 'd', 'e', 'A', 'V']
ret3 = re.findall("[a-zA-Z0-9]", "a,b,c,d,1,e,A,V")  # ['a', 'b', 'c', 'd', '1', 'e', 'A', 'V']
ret3 = re.findall("[^0-9]", "a,2,b,c,d,1,e,A,V")  # ['a', ',', ',', 'b', ',', 'c', ',', 'd', ',', ',', 'e', ',', 'A', ',', 'V']
# [0-9] == \d [a-zA-Z0-9] == \w

重复

'*' ：1-多次

'+' ：0-多次

'?' ：0/1次, 也可取消贪婪匹配

'{m,n}' ：m-n次

贪婪匹配，每次为最多次匹配

?取消贪婪匹配

ret4 = re.findall("\d+", "a,b,234,d,6,888")  # ['234', '6', '888']
# ?取消贪婪匹配
ret4 = re.findall("\d+?", "a,b,234,d,6,888")  # ['2', '3', '4', '6', '8', '8', '8']

+

ret4 = re.findall("\w", "apple,banana,orange,melon")  # ['a', 'p', 'p', 'l', 'e', 'b', 'a', 'n', 'a', 'n', 'a', 'o', 'r', 'a', 'n', 'g', 'e', 'm', 'e', 'l', 'o', 'n']
ret4 = re.findall("\w+", "apple,banana,orange,melon")  # ['apple', 'banana', 'orange', 'melon']
ret4 = re.findall("\w+?", "apple,banana,orange,melon")  # ['a', 'p', 'p', 'l', 'e', 'b', 'a', 'n', 'a', 'n', 'a', 'o', 'r', 'a', 'n', 'g', 'e', 'm', 'e', 'l', 'o', 'n']

 注："\w*" == ""和"\w"

*

ret4 = re.findall("\w*", "apple,banana,orange,melon")  # ['apple', '', 'banana', '', 'orange', '', 'melon', '']
ret4 = re.findall("abc*", "abc,abcc,abe,ab")  # ['abc', 'abcc', 'ab', 'ab']

?

ret4 = re.findall("\w{6}", "apple,banana,orange,melon")  # ['banana', 'orange']

{m,n}

ret4 = re.findall("abc?", "abc,abcc,abe,ab")  # ['abc', 'abc', 'ab', 'ab']
ret4 = re.findall("abc??", "abc,abcc,abe,ab")  # ['ab', 'ab', 'ab', 'ab']

位置

'^' ：匹配开头符合条件的字符

'$' ：匹配结尾符合条件的字符

^

ret5 = re.findall("^\d+", "34,banana,255,orange,5434")  # ['34']
ret5 = re.findall("^\d+", "peath,34,banana,255,orange,5434")  # []

$

ret5 = re.findall("\d+$", "34,banana,255,orange,5434")  # ['5434']
ret5 = re.findall("\d+$", "peath,34,banana,255,orange")  # []

管道符和括号

|:或

():优先提取/括号

(?:) 取消模式捕获

ret6 = re.findall(",(\w{5}),", ",apple,banana,peach,orange,melon,")  # ['apple', 'peach', 'melon']
ret6 = re.findall("\w+@(163|qq)\.com", "123abc@163.com...789xyz@qq.com")  # ['163', 'qq']
ret6 = re.findall("\w+@(?:163|qq)\.com", "123abc@163.com...789xyz@qq.com")  # ['123abc@163.com', '789xyz@qq.com']

转义符

转义的两个功能

将一些普通符号赋予特殊功能  \d \w ...

将特殊符号取消其特殊功能  * . + ...

转义功能

ret7 = re.findall("\(abc\)", "(abc)...")  # ['(abc)']

转义元字符

2 正则进阶

元字符组合(常用)

.*?

.+?

text1 = '<12>   <1a!#e2> <>'
ret1 = re.findall("<\d+>", text1)  # ['<12>']
ret1 = re.findall("<\w+>", text1)  # ['<12>', '']
ret1 = re.findall("<.+>", text1)  # ['<12>   <1a!#e2> <>']
ret1 = re.findall("<.+?>", text1)  # ['<12>', '', '', '<1a!#e2>']
ret1 = re.findall("<.*?>", text1)  # ['<12>', '', '', '<1a!#e2>', '<>']

text2 = '''<12
>
 
 
 yz>
  
  
   
<1a!#
e2>
 
 <>
'''
 
ret2 = re.findall("<.*?>", text2)  # ['', '<>']
ret2 = re.findall("<.*?>", text2, re.S)  # ['<12\n>', '', '', '<1a!#\ne2>', '<>']

模式修正符

import re
 
ret = re.findall(
    '.*?(.*?).*?(.*?)',
    s,
    re.S,
)
print(ret)
print(len(ret))

 re模块的方法

re.Match对象对应两个方法
ret.span()  返回符合规则的字符串的出现位置，为元组
ret.group()  返回第一个匹配字符串

有名分组

search和match的区别：
search在任何位置找,match从开头找

ret3 = re.search("(?P1[3-9]\d{9}).*?(?P\d+@qq\.com)", "我的手机号是18793437893,我的邮箱是123@qq.com")
 
print(ret3.group())  # 18793437893,我的邮箱是123@qq.com
print(ret3.group("tel"))  # 18793437893
print(ret3.group("email"))  # 123@qq.com

compile编译

s1 = "12 apple 34 peach 21 banana"
s2 = "18 apple 12 peach 33 banana"
reg = re.compile(r"\d+")
 
print(reg.findall(s1))
print(reg.findall(s2))

二、bs4

bs4:Beautiful Soup是python的一个库,主要功能是从网页抓取数据。

需要安装两个库
pip install bs4
pip install lxml

 基本使用顺序如下所示：

# 调用bs4库
from bs4 import BeautifulSoup
 
# 读文件
with open("第一阶段-爬虫\\JS逆向\\3-网页数据解析\\bs4\\demo.html", "r", encoding="utf-8") as f:
    s = f.read()
 
# 创建bs4对象
soup = BeautifulSoup(s, 'html.parser')
 
# 或者使用如下方式
soup = BeautifulSoup(open("第一阶段-爬虫\\JS逆向\\3-网页数据解析\\bs4\\demo.html",  encoding="utf-8"), "html.parser")

1 四种对象

BeautifulSoup

Tag

NavigableString

Comment

主要使用BeautifulSoup和Tag对象 

from bs4 import BeautifulSoup
 
with open("第一阶段-爬虫\\JS逆向\\3-网页数据解析\\bs4\\demo.html", "r", encoding="utf-8") as f:
    s = f.read()
 
soup = BeautifulSoup(s, 'html.parser')
 
# Tag查找标签
# 如果查到,一定是一个Tag对象
print(soup.body)
print(type(soup.body))
 
print(soup.div.a)  # 登录/注册
print(soup.div.a.name)  # a
 
print(soup.a["href"])  # https://accounts.douban.com/passport/login?source=movie
print(soup.a.attrs)  # {'href': 'https://accounts.douban.com/passport/login?source=movie', 'class': ['nav-login'], 'rel': ['nofollow']}
 
# 拿取文本
print(soup.a.string)  # 登录/注册
print(soup.a.text)  # 登录/注册
 
print({link.text:link["href"] for link in soup.find_all("a")})

2 导航文档树

嵌套选择
子节点、子孙节点
父节点、祖先节点
兄弟节点

导入文件并创建对象

from bs4 import BeautifulSoup
 
with open("第一阶段-爬虫\\JS逆向\\3-网页数据解析\\bs4\\demo.html", "r", encoding="utf-8") as f:
    s = f.read()
 
soup = BeautifulSoup(s, 'html.parser')

嵌套选择

# 嵌套选择
print(soup.head.title.text)
print(soup.body.a.text)

子节点、子孙节点

# 子节点、子孙节点
print(soup.p.contents)  # p下所有子节点
print(soup.p.children)  # 得到一个迭代器,包含p下所有子节点
print(soup.p.descendants)  # 获取子孙节点,p下所有标签都会选择出来

父节点、祖先节点

# 父节点、祖先节点
print(soup.a.parent)  # 获取a标签的父节点
print(soup.a.parents)  # 获取a标签所有祖先节点,父亲、爷爷等等

兄弟节点

# 兄弟节点
print(soup.a.next_sibling)  # 下一个兄弟
print(soup.a.next_sibling.next_sibling)  # 下下一个兄弟,以此类推
print(soup.a.previous_sibling)  # 上一个兄弟
print(soup.a.previous_sibling.previous_sibling)  # 上上一个兄弟

3 搜索文档树

fand_all()
name参数(标签名过滤):字符串、正则表达式、列表、方法
字符串:即标签名

关键字参数(属性过滤)

文本参数(文本过滤)

find()
与find_all()的区别:find()只查找第一个
参数完全一样

find_parents()  找所有父亲标签
find_parent()  找父亲标签

优点:只包含兄弟标签
find_next_siblings()  找下边所有兄弟标签
find_next_sibling()  找下边一个兄弟标签
find_previous_siblings()  找上边所有兄弟标签
find_previous_sibling()  找上边一个兄弟标签

find_all_next()  找下边所有相同标签
find_next()  找下边相同标签

这里使用find_all()方法举例，其余搜索使用方法几乎相同

name参数

  标签名

# name参数:标签名
ret1 = soup.find_all(name="a")  # 查找所有a标签
print(ret1)

  正则表达式

# name参数:正则表达式
ret2 = soup.find_all(name=re.compile("^a"))
print(ret2)

  列表

# name参数:列表
ret3 = soup.find_all(name=["a", "b"])
print(ret3)

  函数(精致过滤)

# name参数:函数(精致过滤)
 
# 表示拥有class和id两个属性的标签
def has_class_has_id(tag):
    return tag.has_attr("class") and tag.has_attr("id")
 
print(soup.find_all(name=has_class_has_id))

关键字参数

ret4 = soup.find_all(
    href="https://img1.doubanio.com/cuphead/movie-static/pics/apple-touch-icon.png"
)
ret4 = soup.find_all(
    attrs={
        "href": "https://img1.doubanio.com/cuphead/movie-static/pics/apple-touch-icon.png"
    }
)
ret4 = soup.find_all(href=re.compile("^https://"), class_="download-android", id="id1")
print(ret4)

文本参数

ret5 = soup.find_all(string="豆瓣")
ret5 = soup.find_all(string=re.compile("豆瓣"))  # 查找含有"豆瓣"的文本
ret5 = soup.find_all(string=re.compile("豆瓣"), limit=1)  # 查找含有"豆瓣"的文本,只取第一个
print(ret5)

4 CSS选择器

与CSS中选择器用法相同
select()方法或者在搜索中使用

from lxml import etree
selector = etree.HTML(源码)  # 将源码转换为能被XPath匹配的格式
ret = selector.xpath(表达式)  # 返回为一列表

例:soup.select("body a")

from bs4 import BeautifulSoup
import re
 
 
soup = BeautifulSoup(open("第一阶段-爬虫\\JS逆向\\3-网页数据解析\\正则\\豆瓣top250.html",  encoding="utf-8"), "html.parser")
 
items = soup.find_all(class_="item")
print(len(items))
 
for item in items:
    title = item.find(class_="title").string
    rating_num = item.find(class_="rating_num").string
    star = item.find(class_="star").find_all("span")[-1].string
    print(title, rating_num, star)

三、xpath

xpath:一种小型的查询语言,属于lxml库模块

使用方式:

from lxml import etree
selector = etree.HTML(源码)  # 将源码转换为能被XPath匹配的格式
ret = selector.xpath(表达式)  # 返回为一列表

1 路径表达式

2 谓语

是放在方括号[]里,用来查找某个特定的节点或者包含某个指定值的节点

3 通配符

xpath的通配符可以选取未知节点

4 其他用法

 获取节点内容转换成字符串

c = tree.xpath('//li/a')[0]
result = etree.tostring(c, encoding='utf-8')
print(result.decode('utf-8'))

5 文件操作

文件句柄

open()方法

mode参数为对文件的操作,r只读,w只写,rw读写...

encoding表示编码方式

绝对路径

filer = open(
    "D:/桌面/Python自学/第一阶段-爬虫/JS逆向/3-网页数据解析/xpath/豆瓣top250.html",
    mode="r",
    encoding="utf-8",
)

相对路径

file = open("/豆瓣top250.html", mode="r",encoding="utf-8",)

读操作

通常以以下方式循环高效获取数据：

for line in file:
    print(line)

写操作 

覆盖写

会将源文件内容清空再存入

filew = open(
    "write.txt",
    mode="w",
    encoding="utf-8",
)
 
filew.write("")
filew.close()
'
运行
运行

追加写

filew = open(
    "write.txt",
    mode="a",
    encoding="utf-8",
)
 
filew.write("")
filew.close()
'
运行
运行