• urllib库的使用

    目录

    1、urllib的使用

    2、一个类型和六个方法

     2.1、一个类型

     2.2、六个方法

     2.3、下载图像、视频

    3、请求对象的定制

     3.1、编解码

      3.1.1、get请求方式

      3.1.2、Post请求方式

     3.2、ajax请求

      3.2.1、ajax的get请求

      3.2.2、ajax的post请求

     3.3、cookie登录

    4、使用代理

     4.1、handler代理

     4.2、handler代理IP地址修改

     4.3、代理池

    1、urllib的使用

     urllib.request.urlopen() 模拟浏览器向服务器发送请求：

     1）定义需要访问的url地址

     2）模拟浏览器向服务器发送请求

     3）获取响应的页面源码 

    1. # 使用urllib获取百度首页源码
    2. import urllib.request
    3.  
    4. # 1、定义一个url 需要访问的地址
    5. url = 'http://www.baidu.com'
    6.  
    7. # 2、模拟浏览器向服务器发送请求 response就是响应
    8. response = urllib.request.urlopen(url)
    9.  
    10. # 3、获取响应中的页面源码
    11. # read方法 返回的是字节形式的二进制数据 -> 需要转换为字符串
    12. # 解码：二进制->字符串 decode('编码的格式')
    13. content = response.read().decode('utf-8')
    14.  
    15. # 4、打印数据
    16. print(content)

    2、一个类型和六个方法

     2.1、一个类型

      1）代码： 

    1. # 使用urllib获取百度首页源码
    2. import urllib.request
    3.  
    4. # 1、定义一个url 需要访问的地址
    5. url = 'http://www.baidu.com'
    6.  
    7. # 2、模拟浏览器向服务器发送请求 response就是响应
    8. response = urllib.request.urlopen(url)
    9.  
    10. # 一个类型和六个方法
    11. print(type(response))

      2）输出：

    ​

      3）response的数据类型是HttpResponse：

    • 字节‐‐>字符串 解码decode
    • 字符串‐‐>字节 编码encode

     2.2、六个方法

    1. read() 字节形式读取二进制 扩展：rede(5)返回前几个字节

    2.  readline() 只能 读取一行

    3. readlines() 一行一行读取 直至结束

    4. getcode() 获取状态码 （判断书写逻辑是否正确，返回200表示正常）

    5. geturl() 获取url地址

    6. getheaders() 获取header 

    1. # 使用urllib获取百度首页源码
    2. import urllib.request
    3.  
    4. # 1、定义一个url 需要访问的地址
    5. url = 'http://www.baidu.com'
    6.  
    7. # 2、模拟浏览器向服务器发送请求 response就是响应
    8. response = urllib.request.urlopen(url)
    9.  
    10. # 按照一个字节一个字节的方式进行读取
    11. content = response.read()
    12.  
    13. # 返回5个字节
    14. content = response.read(5)
    15.  
    16. # 读取一行数据
    17. content = response.readline()
    18.  
    19. # 按照一行一行的方式进行读取
    20. content = response.readlines()
    21.  
    22. # 返回状态码 如果是200证明没有错
    23. print(response.getcode())
    24.  
    25. # 返回url地址
    26. print(response.geturl())
    27.  
    28. # 获取响应头等状态信息
    29. print(response.getheaders())

     2.3、下载图像、视频

    1. import urllib.request
    2.  
    3. # 下载网页
    4. url_page = 'http://www.baidu.com'
    5.  
    6. # url代表的是下载的路径 filename文件的名字
    7. urllib.request.urlretrieve(url_page, 'baidu.html')
    8.  
    9. # 下载图片
    10. url_img = 'https://img0.baidu.com/it/u=1309359181,3567527426&fm=253&fmt=auto&app=138&f=JPEG?w=281&h=499'
    11.  
    12. urllib.request.urlretrieve(url_img, 'lisa.jpg')
    13.  
    14. # 下载视频
    15. url_video = 'https://vd3.bdstatic.com/mda-kjtx64epufgk8zw5/sc/cae_h264_nowatermark/1604104149/mda-kjtx64epufgk8zw5.mp4?v_from_s=hkapp-haokan-hnb&auth_key=1659543870-0-0-4dd2d6b9e96b8193a5e2ec3a86177452&bcevod_channel=searchbox_feed&pd=1&cd=0&pt=3&logid=3270589526&vid=6647036806223333961&abtest=103747_2-103890_2&klogid=3270589526'
    16.  
    17. urllib.request.urlretrieve(url_video, 'lisa.mp4')

    3、请求对象的定制

    UA介绍：User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统 及版本、CPU 类型、浏览器及版本。浏览器内核、浏览器渲染引擎、浏览器语言、浏览器插件等

    UA反爬虫：在进行爬虫时候，程序模仿浏览器操作，但是反爬虫机制在响应爬虫请求时候需要进行UA识别，这时候就需要将UA参数传进我们的爬虫程序中

    1. import urllib.request
    2.  
    3. url = 'https://www.baidu.com'
    4.  
    5. # url的组成
    6. # https://www.baidu.com/s?wd=周杰伦
    7.  
    8. # http/https    www.baidu.com   80/443     s      wd = 周杰伦     #
    9. #    协议             主机        端口号     路径     参数           锚点
    10. # http   80
    11. # https  443
    12. # mysql  3306
    13. # oracle 1521
    14. # redis  6379
    15. # mongodb 27017
    16.  
    17. headers = {
    18.     'User-Agent': ''
    19. }
    20.  
    21. # 因为urlopen方法中不能存储字典 所以headers不能传递进去
    22. # 请求对象的定制
    23. request = urllib.request.Request(url=url,headers=headers)
    24.  
    25. response = urllib.request.urlopen(request)
    26.  
    27. content = response.read().decode('utf8')
    28.  
    29. print(content)

     3.1、编解码

      3.1.1、get请求方式

      1）urllib.parse.quote()：quote方法能够将汉字转换成unicode编码的格式，适用于单个参数

    1. import urllib.request
    2.  
    3. url = 'https://cn.bing.com/search?q='
    4.  
    5. # 模拟浏览器访问——解决ua反爬
    6. headers = {
    7.     'User-Agent': ''
    8. }
    9.  
    10. # 将周杰伦三个字变成unicode编码
    11. # 我们需要依赖于urllib.parse
    12. name = urllib.parse.quote('猪猪侠')
    13.  
    14. url = url + name
    15.  
    16. # 请求对象的定制
    17. request = urllib.request.Request(url=url, headers=headers)
    18. # 模拟浏览器向服务器发送消息
    19. response = urllib.request.urlopen(request)
    20. content = response.read().decode('utf8')
    21.  
    22. # 打印数据
    23. print(content)

      2）urllib.parse.urlencode()：urlencode方法也可以将汉字转换成unicode编码，适用于多个参数

    1. # urlencode的应用场景：多个参数的时候
    2. import urllib.request
    3.  
    4. base_url = 'https://cn.bing.com/search?'
    5.  
    6. data = {
    7.     'q': '周杰伦',
    8.     'sex': '男',
    9.     'location': '中国台湾省'
    10. }
    11.  
    12. new_data = urllib.parse.urlencode(data)
    13.  
    14. url = base_url + new_data
    15.  
    16. headers = {
    17.     'User-Agent': ''
    18. }
    19.  
    20. request = urllib.request.Request(url=url, headers=headers)
    21.  
    22. response = urllib.request.urlopen(request)
    23.  
    24. context = response.read().decode('utf-8')
    25.  
    26. print(context)

      3.1.2、Post请求方式

     post请求方式与get请求方式区别

    1）get请求方式的参数必须编码：

            参数是拼接到url后面编码之后，不需要调用encode方法

                    url = base_url + new_data

                    new_data = urllib.parse.urlencode(data)

                    request = urllib.request.Request(url=url, headers=headers)                

    2）post请求方式的参数必须编码：

            参数是放在请求对象定制的方法中，编码之后需要调用encode方法：

                    url = 'https://fanyi.baidu.com/sug'

                    data = urllib.parse.urlencode(data).encode('utf8')

                    request = urllib.request.Request(url=url, data=data, headers=headers)

             

    1. import urllib.request
    2.  
    3. url = 'https://fanyi.baidu.com/sug'
    4.  
    5. headers = {
    6.     'User-Agent': ''
    7. }
    8.  
    9. data = {
    10.     'kw': 'spider'
    11. }
    12.  
    13. # post请求方式的参数，必须要进行编码 data = urllib.parse.urlencode(data).encode('utf8') 编码之后必须调用encode方法
    14. # post请求方式的参数，不会拼接在url后，而是放在请求对象定制的参数中
    15. data = urllib.parse.urlencode(data).encode('utf8')
    16.  
    17. # post参数放在请求对象定制的方法中
    18. request = urllib.request.Request(url=url, data=data, headers=headers)
    19.  
    20. response = urllib.request.urlopen(request)
    21.  
    22. context = response.read().decode('utf8')
    23.  
    24. print(context)

     3.2、ajax请求

      3.2.1、ajax的get请求

      1）获取豆瓣电影第一页

    1. # get请求
    2. # 获取豆瓣电影的第一页数据 并且保存起来
    3.  
    4. import urllib.request
    5.  
    6. url = "https://movie.douban.com/typerank?type_name=%E5%8A%A8%E4%BD%9C&type=5&interval_id=100:90&action="
    7.  
    8. headers = {
    9.     'User-Agent': ''
    10. }
    11.  
    12. # 请求对象的定制
    13. request = urllib.request.Request(url=url, headers=headers)
    14.  
    15. # 获取响应的数据
    16. response = urllib.request.urlopen(request)
    17. content = response.read().decode('utf8')
    18.  
    19. # 数据下载到本地(open方法默认为gdk版本，如果需要保存汉字，需要设置编码为utf8)
    20. fp = open('douban.json', 'w', encoding='utf8')
    21. fp.write(content)

      2）获取豆瓣电影前十页

    1. # https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=0&limit=20
    2. # https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=100&limit=20
    3.  
    4. import urllib.parse
    5. import urllib.request
    6.  
    7.  
    8. def create_request(page):
    9.     base_url = "https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action="
    10.  
    11.     data = {
    12.         'start': (page - 1) * 20,
    13.         'limit': '20'
    14.     }
    15.  
    16.     data = urllib.parse.urlencode(data)
    17.  
    18.     url = base_url + data
    19.  
    20.     headers = {
    21.         'User-Agent': ''
    22.     }
    23.  
    24.     request = urllib.request.Request(url=url, headers=headers)
    25.  
    26.     return request
    27.  
    28.  
    29. def get_content(request):
    30.     reponse = urllib.request.urlopen(request)
    31.     content = reponse.read().decode('utf8')
    32.     return content
    33.  
    34.  
    35. def down_load(page, content):
    36.     with open('douban' + str(page) + '.json', 'w', encoding='utf8') as fp:
    37.         fp.write(content)
    38.  
    39.  
    40. if __name__ == '__main__':
    41.     start_page = int(input('请输入起始的页码'))
    42.     end_page = int(input('请输入结束的页码'))
    43.  
    44.     for page in range(start_page, end_page):
    45.         # 请求对象定制
    46.         request = create_request(page)
    47.         # 获取响应的数据
    48.         content = get_content(request)
    49.         # 下载
    50.         down_load(page, content)

      3.2.2、ajax的post请求

    1. import urllib.request
    2. import urllib.parse
    3.  
    4.  
    5. def create_request(page):
    6.     base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
    7.  
    8.     data = {
    9.         'cname': '北京',
    10.         'pid': '',
    11.         'pageIndex': page,
    12.         'pageSize': '10'
    13.     }
    14.  
    15.     data = urllib.parse.urlencode(data).encode('utf8')
    16.  
    17.     headers = {
    18.         'User-Agent': ''
    19.     }
    20.  
    21.     request = urllib.request.Request(url=base_url, headers=headers, data=data)
    22.  
    23.     return request
    24.  
    25.  
    26. def get_content(request):
    27.     reponse = urllib.request.urlopen(request)
    28.     content = reponse.read().decode('utf8')
    29.     return content
    30.  
    31.  
    32. def down_load(page, content):
    33.     with open('kfc' + str(page) + '.json', 'w', encoding='utf8') as fp:
    34.         fp.write(content)
    35.  
    36.  
    37. if __name__ == '__main__':
    38.     start_page = int(input('请输入起始页码'))
    39.     end_page = int(input('请输入结束页码'))
    40.  
    41.     for page in range(start_page, end_page + 1):
    42.         # 请求对象的定制
    43.         request = create_request(page)
    44.  
    45.         # 获取网页源码
    46.         content = get_content(request)
    47.  
    48.         # 下载
    49.         down_load(page, content)

     3.3、cookie登录

    cookie中携带者个人登录信息，如果有登录之后的cookie，那么我们可以携带者cookie进入到任何页面

    1. # 适用的场景：在数据采集的时候，需要绕过登录，直接采集数据
    2. # 个人信息页面是utf8，但是还是报编码错误，因为并没有进入个人信息页面，而是跳转到了登陆页面
    3. # 那么登录页面不是utf8，所以报错
    4. # 请求头信息不够，所以访问不成功
    5. import urllib.request
    6.  
    7. url = 'https://weibo.com/u/3554714072'
    8.  
    9. # 模拟浏览器访问——解决ua反爬
    10. headers = {
    11.     # :authority: weibo.com
    12.     # :method: GET
    13.     # :path: /
    14.     # :scheme: https
    15.     'accept': '',
    16.     # 可能会导致编码错误
    17.     # 'accept-encoding': '',
    18.     'accept-language': '',
    19.     'cache-control': '',
    20.     'client-version': '',
    21.     'cookie': '',
    22.     # referer 判断当前路径是不是由上一个路径进来，一般情况下，做图片防盗链
    23.     'referer': '',
    24.     'sec-ch-ua': '',
    25.     'sec-ch-ua-mobile': '',
    26.     'sec-ch-ua-platform': '',
    27.     'sec-fetch-dest': '',
    28.     'sec-fetch-mode': '',
    29.     'sec-fetch-site': '',
    30.     'sec-fetch-user': '',
    31.     'upgrade-insecure-requests': '',
    32.     'user - agent': ''
    33. }
    34.  
    35. # 因为urlopen方法中不能存储字典，所以headers不能传递进去
    36. # 请求对象的定制(因为参数顺序的问题，不能直接写url和headers)
    37. request = urllib.request.Request(url=url, headers=headers)
    38.  
    39. response = urllib.request.urlopen(request)
    40.  
    41. content = response.read().decode('utf8')
    42.  
    43. with open('weibo.html', 'w', encoding='utf8') as fp:
    44.     fp.write(content)

    4、使用代理

     4.1、handler代理

    1. import urllib.request
    2.  
    3. url = 'http://www.baidu.com/'
    4.  
    5. headers = {
    6.     'User-Agent': ''
    7. }
    8.  
    9. request = urllib.request.Request(url=url, headers=headers)
    10.  
    11. # 获取handler对象
    12. handler = urllib.request.HTTPHandler()
    13.  
    14. # 获取opener对象
    15. build_opener = urllib.request.build_opener(handler)
    16.  
    17. # 调用open方法
    18. response = build_opener.open(request)
    19.  
    20. content = response.read().decode('utf8')
    21.  
    22. print(content)

     4.2、handler代理IP地址修改

    1. import urllib.request
    2.  
    3. url = 'http://www.baidu.com/s?wd=ip'
    4.  
    5. headers = {
    6.     'Accept': '',
    7.     'Accept-Language': '',
    8.     'Cache-Control': '',
    9.     'Connection': '',
    10.     'Cookie': '',
    11.     'Host': '',
    12.     'sec-ch-ua': '',
    13.     'sec-ch-ua-mobile': '',
    14.     'sec-ch-ua-platform': '',
    15.     'Sec-Fetch-Dest': '',
    16.     'Sec-Fetch-Mode': '',
    17.     'Sec-Fetch-Site': '',
    18.     'Sec-Fetch-User': '',
    19.     'Upgrade-Insecure-Requests': '',
    20.     'User-Agent': ''
    21. }
    22.  
    23. request = urllib.request.Request(url=url, headers=headers)
    24.  
    25. # response = urllib.request.urlopen(request)
    26. proxise = {
    27.     'http': ''
    28. }
    29.  
    30. handler = urllib.request.ProxyHandler(proxies=proxise)
    31. opener = urllib.request.build_opener(handler)
    32. response = opener.open(request)
    33.  
    34. context = response.read().decode('utf8')
    35.  
    36. with open('daili.html', 'w', encoding='utf8') as fp:
    37.     fp.write(context)

     4.3、代理池

    1. import urllib.request
    2.  
    3. url = 'http://www.baidu.com/s?wd=ip'
    4.  
    5. headers = {
    6.     'Accept': '',
    7.     'Accept-Language': '',
    8.     'Cache-Control': '',
    9.     'Connection': '',
    10.     'Cookie': '',
    11.     'Host': '',
    12.     'sec-ch-ua': '',
    13.     'sec-ch-ua-mobile': '',
    14.     'sec-ch-ua-platform': '',
    15.     'Sec-Fetch-Dest': '',
    16.     'Sec-Fetch-Mode': '',
    17.     'Sec-Fetch-Site': '',
    18.     'Sec-Fetch-User': '',
    19.     'Upgrade-Insecure-Requests': '',
    20.     'User-Agent': ''
    21. }
    22.  
    23.  
    24. request = urllib.request.Request(url=url, headers=headers)
    25.  
    26. # response = urllib.request.urlopen(request)
    27. proxise_pool = [
    28.     {'http': ''},
    29.     {'http': ''},
    30. ]
    31.  
    32. import random
    33. proxies = random.choice(proxise_pool)
    34. handler = urllib.request.ProxyHandler(proxies=proxies)
    35. opener = urllib.request.build_opener(handler)
    36. response = opener.open(request)
    37.  
    38. context = response.read().decode('utf8')
    39.  
    40. with open('daili.html', 'w', encoding='utf8') as fp:
    41.     fp.write(context)

  • 相关阅读:
    Java并发编程 | 从进程、线程到并发问题实例解决
    这是什么代码帮我看看
    c语言基础
    CH1-模型训练优化
    vantajs使用
    【2022 MS MARCO】【阿里】HLATR：基于混合列表感知Transformer重排的多阶段文本检索增强 ( .feat PRM：个性化的推荐重排)
    项目实战——配置git环境与项目创建
    java基础入门（一）
    vue3ref引用以及$nextTick()
    【Java】中的String、StringBuffer和StringBuilder的区别
  • 原文地址：https://blog.csdn.net/weixin_44302046/article/details/126150859