码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 基于python的urllib 库抓取网站上的图片


    最近写了个爬虫实例,有python环境的话就可以直接运行了。

    运行效果是这样的:

    完整代码如下:

    import urllib
    import urllib.request
    import re
    import random
    import time
    import os


    #目标网址:
    imagePath="https://pic.netbian.com"

    #用户代理池
    uapools=[
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36",
    ]

    #//创建保存图片的目录
    imageSavePath="D:\\myimg\\"
    if not os.path.isdir(imageSavePath):
        os.mkdir(imageSavePath)

    def UA():
        opener=urllib.request.build_opener()
        thisua=random.choice(uapools)
        ua=("User-Agent",thisua)
        opener.addheaders=[ua]
        urllib.request.install_opener(opener)
        print("当前使用ua:"+str(thisua))

    UA()
    thisurl="https://pic.netbian.com/4kqiche?s=98575646"
    data=urllib.request.urlopen(thisurl).read().decode("gbk","ignore")
    pat=re.compile('')
    rst=re.findall(pat,data)

    for j in rst:
        link=j[0]
        name=j[1]

        imageUrl=''.join(imagePath+link)

        res=urllib.request.urlretrieve(imageUrl,imageSavePath+"\\"+name+".jpg")
        print(name+".jpg 获取成功....")
     

  • 相关阅读:
    C++ 多態筆記
    Android开发基础——Android简介
    基于Sentinel的微服务保护
    基于神经网络的图像识别,人工神经网络图像识别
    方法的重载
    k8s apiserver启动执行流程之aggregatorServer
    哈希表概述①力扣945——数据结构筑基
    SpringCloud 学习笔记总结 (四)
    古早软件 vim的使用
    C#中的委托
  • 原文地址:https://blog.csdn.net/hjx_code/article/details/133015052
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号