python脚本-网页爬虫获取网页图片

python脚本-网页爬虫获取网页图片

代码

import requests
import re
import time
url="http://10.9.47.154/python-spider/"
# 爬取网站的url
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.5195.102 Safari/537.36"
}
# 设置请求头
def gethtml(url):
    res=requests.get(url=url,headers=headers)
    return res.content
# 该函数获取目标网站的源码（二进制）

def getimgpath(html):
    imgpath=re.findall(r"style/\w*\.jpg",html)
    return imgpath
# 该函数获取网页中图片路径，并形成列表

def download(img_save_path,img_url):
    with open(img_save_path,"wb") as f:
        f.write(gethtml(url=img_url))
# 该函数为下载图片，第一个参数为保存的路径，第二个为下载图片的完整路径

html=gethtml(url).decode()
path1=getimgpath(html=html)
# 此处html为获取网页的二进制源码并decode转码，path1为图片路径列表

for i in path1:
    # i 为path1列表中的每一个元素
    img_url=url + i
    # 拼接完整的图片路径
    img_save_path=f"./img/{time.time()}.jpg"
    # 时间戳命名，总体为拼接保存的路径
    download(img_save_path=img_save_path,img_url=img_url)
    # 执行下载函数，传参
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

效果

相关模块参数

模块中的请求方法

请求方法中的参数

响应对象中属性

re 模块

从网页内容中提取图片地址。

正则表达式（RE），是一些由字符和特殊符号组成的字符串，它们能按某种模式匹配一系列有相似特征的字符串。

• 从哪一个字符串中搜索什么内容；
• 规则是什么（模式问题）。

匹配单个字符

匹配一组字符

其他元字符

核心函数