码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 基于python的urllib 库抓取网站上的图片


    最近写了个爬虫实例,有python环境的话就可以直接运行了。

    运行效果是这样的:

    完整代码如下:

    import urllib
    import urllib.request
    import re
    import random
    import time
    import os


    #目标网址:
    imagePath="https://pic.netbian.com"

    #用户代理池
    uapools=[
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36",
    ]

    #//创建保存图片的目录
    imageSavePath="D:\\myimg\\"
    if not os.path.isdir(imageSavePath):
        os.mkdir(imageSavePath)

    def UA():
        opener=urllib.request.build_opener()
        thisua=random.choice(uapools)
        ua=("User-Agent",thisua)
        opener.addheaders=[ua]
        urllib.request.install_opener(opener)
        print("当前使用ua:"+str(thisua))

    UA()
    thisurl="https://pic.netbian.com/4kqiche?s=98575646"
    data=urllib.request.urlopen(thisurl).read().decode("gbk","ignore")
    pat=re.compile('')
    rst=re.findall(pat,data)

    for j in rst:
        link=j[0]
        name=j[1]

        imageUrl=''.join(imagePath+link)

        res=urllib.request.urlretrieve(imageUrl,imageSavePath+"\\"+name+".jpg")
        print(name+".jpg 获取成功....")
     

  • 相关阅读:
    React+fetch 发送post请求 处理请求头参数配置
    参考线平滑-CostThetaSmoother-Ipopt
    【漏洞复现】​金和OA存在任意文件读取漏洞
    day34 文件上传&黑白盒审计&逻辑&中间件&外部引用
    两种常见误删的解决方法,粗心的朋友们快来
    Node.js 2022.11.3
    requests Python中最好用的网络请求工具 基础速记+最佳实践
    UI设计公司成长日记2:修身及持之以恒不断学习是要务
    Monkey压力测试
    数据中台项目前期总结
  • 原文地址:https://blog.csdn.net/hjx_code/article/details/133015052
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号