• 深入理解requests库和使用方法

    【软件测试面试突击班】如何逼自己一周刷完软件测试八股文教程，刷完面试就稳了，你也可以当高薪软件测试工程师（自动化测试）

    一、requests简介

    首先我们要了解requests库是个什么

    1. #简介：使用requests可以模拟浏览器的请求，比起之前用的urllib，requests模块的api更加便捷（本质就是封装了urllib3）
    2.  
    3. #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求
    4.  
    5. #安装：pip3 install requests
    6.  
    7. #各种请求方式：常用的就是requests.get()和requests.post()
    8.  
    9. >>> import requests
    10. >>> r = requests.get('https://api.github.com/events')
    11. >>> r = requests.post('http://httpbin.org/post', data = {'key':'value'})
    12. >>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
    13. >>> r = requests.delete('http://httpbin.org/delete')
    14. >>> r = requests.head('http://httpbin.org/get')
    15. >>> r = requests.options('http://httpbin.org/get')

    二 、基于requests之GET请求

    1、基本请求
    1. import requests 
    2. response=requests.get('http://dig.chouti.com/') 
    3. print(response.text) # 字符串格式   content 二进制格式
    2、带参数的GET请求->params
    1. # 在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容
    2. url = 'https://www.baidu.com/s?wd=软件测试&pn=1'
    3. headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'}
    4.  
    5. import requests
    6. response=requests.get(url=url, headers=headers)
    7. print(response.text)
    8.  
    9. # 如果查询关键词是中文或者有其他特殊符号，则不得不进行url编码
    10. from urllib.parse import urlencode
    11. wd='软件测试'
    12. encode_res=urlencode({'k':wd},encoding='utf-8')
    13. keyword=encode_res.split('=')[1]
    14. print(keyword)
    15. # 然后拼接成url
    16. url='https://www.baidu.com/s?wd=%s&pn=1'%keyword
    17. response=requests.get(url,headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'})
    18. res1=response.text
    1. # 上述操作可以用requests模块的一个params参数搞定，本质还是调用urlencode
    2. # 软件测试技术群：603401995
    3. from urllib.parse import urlencode
    4. wd='软件测试'
    5. pn=1
    6.  
    7. response=requests.get('https://www.baidu.com/s',
    8.                       params={
    9.                           'wd':wd,
    10.                           'pn':pn
    11.                       },
    12.                       headers={
    13.                         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36',
    14.                       })
    15. res2=response.text
    16.  
    17. # 验证结果，打开a.html与b.html页面内容一样
    18. with open('a.html','w',encoding='utf-8') as f:
    19. f.write(res1) 
    20. with open('b.html', 'w', encoding='utf-8') as f:
    21. f.write(res2)
    3、带参数的GET请求->headers
    1. #通常我们在发送请求时都需要带上请求头，请求头是将自身伪装成浏览器的关键，常见的有用的请求头如下
    2. Host
    3. Referer #大型网站通常都会根据该参数判断请求的来源
    4. User-Agent #客户端
    5. Cookie #Cookie信息虽然包含在请求头里，但requests模块有单独的参数来处理他，headers={}内就不要放它了
    1. #添加headers(浏览器会识别请求头,不加可能会被拒绝访问,比如访问https://www.zhihu.com/explore)
    2. import requests
    3. response=requests.get('https://www.zhihu.com/explore')
    4. response.status_code #500
    5.  
    6. #自己定制headers
    7. headers={
    8. 'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36',
    9. }
    10. respone=requests.get('https://www.zhihu.com/explore',headers=headers)
    11. print(respone.status_code) #200
    4、带参数的GET请求->cookies
    1. #登录github，然后从浏览器中获取cookies，以后就可以直接拿着cookie登录了，无需输入用户名密码
    2. #用户名:admin 邮箱123456@qq.com 密码123456
    3. import requests
    4. Cookies={'user_session':'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc',
    5. }
    6. response=requests.get('https://github.com/settings/emails',cookies=Cookies) 
    7. print('123456@qq.com' in response.text) #True

    三 、基于POST请求

    1、介绍

    # GET请求
    HTTP默认的请求方法就是GET
    （1）没有请求体
    （2）数据必须在1K之内
    （3）GET请求数据会暴露在浏览器的地址栏中
    GET请求常用的操作：
    （1）在浏览器的地址栏中直接给出URL，那么就一定是GET请求
    （2）点击页面上的超链接也一定是GET请求
    （3）提交表单时，表单默认使用GET请求，但可以设置为POST
    # POST请求
    （1）数据不会出现在地址栏中
    （2）数据的大小没有上限
    （3）有请求体
    （4）请求体中如果存在中文，会使用URL编码！
    #！！！requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据

    2、发送POST请求，模拟浏览器的登录行为

    #对于登录来说，应该输错用户名或密码然后分析抓包流程，用脑子想一想，输对了浏览器就跳转了，还分析个毛线，累死你也找不到包 

    1.  2 一 目标站点分析
    2.  3     浏览器输入https://github.com/login
    3.  4     然后输入错误的账号密码，抓包
    4.  5     发现登录行为是post提交到：https://github.com/session
    5.  6     而且请求头包含cookie
    6.  7     而且请求体包含：
    7.  8         commit:Sign in
    8.  9         utf8:✓
    9. 10        authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==
    10. 11         login:admin
    11. 12         password:123456
    12. 13 
    13. 14 
    14. 15 二 流程分析
    15. 16     先GET：https://github.com/login拿到初始cookie与authenticity_token
    16. 17     返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）
    17. 18     最后拿到登录cookie
    18. 19 
    19. 20     ps：如果密码时密文形式，则可以先输错账号，输对密码，然后到浏览器中拿到加密后的密码，github的密码是明文
    20. 21 '''
    21. 22 
    22. 23 import requests
    23. 24 import re
    24. 25 
    25. 26 #第一次请求
    26. 27 r1=requests.get('https://github.com/login')
    27. 28 r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
    28. 29 authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN
    29. 30 
    30. 31 #第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码
    31. 32 data={
    32. 33     'commit':'Sign in',
    33. 34     'utf8':'✓',
    34. 35     'authenticity_token':authenticity_token,
    35. 36     'login':'123456@qq.com',
    36. 37     'password':'alex3714'
    37. 38 }
    38. 39 r2=requests.post('https://github.com/session',
    39. 40              data=data,
    40. 41              cookies=r1_cookie
    41. 42              )
    42. 43 
    43. 44 
    44. 45 login_cookie=r2.cookies.get_dict()
    45. 46 
    46. 47 
    47. 48 #第三次请求：以后的登录，拿着login_cookie就可以,比如访问一些个人配置
    48. 49 r3=requests.get('https://github.com/settings/emails',
    49. 50                 cookies=login_cookie)
    50. 51 
    51. 52 print('123456@qq.com' in r3.text) #True
    1. import requests
    2. import re
    3.  
    4. session=requests.session()
    5. #第一次请求
    6. r1=session.get('https://github.com/login')
    7. authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN
    8. #第二次请求
    9. data={
    10.     'commit':'Sign in',
    11.     'utf8':'✓',
    12.     'authenticity_token':authenticity_token,
    13.     'login':'123456@qq.com',
    14.     'password':'alex3714'
    15. }
    16. r2=session.post('https://github.com/session',
    17.              data=data,
    18.              )
    19. #第三次请求
    20. r3=session.get('https://github.com/settings/emails')
    21. print('123456@qq.com' in r3.text) #True
    22. requests.session()自动帮我们保存cookie信息
    3、补充
    1. requests.post(url='xxxxxxxx',data={'xxx':'yyy'}) #没有指定请求头,#默认的请求头:application/x-www-form-urlencoed
    2. #如果我们自定义请求头是application/json,并且用data传值, 则服务端取不到值
    3. requests.post(url='',
    4.               data={'':1,},
    5.               headers={
    6.                   'content-type':'application/json'
    7.               })
    8. requests.post(url='',json={'':1,},) #默认的请求头:application/json

    四、 响应Response

    1、response属性
    1. import requests
    2. respone=requests.get('http://www.jianshu.com')
    3. # respone属性
    4. print(respone.text)
    5. print(respone.content)
    6. print(respone.status_code)
    7. print(respone.headers)
    8. print(respone.cookies)
    9. print(respone.cookies.get_dict())
    10. print(respone.cookies.items())
    11. print(respone.url)
    12. print(respone.history)
    13. print(respone.encoding)
    14. #关闭：response.close()
    15. from contextlib import closing
    16. with closing(requests.get('xxx',stream=True)) as response:
    17.     for line in response.iter_content():
    18.     pass
    2、编码的问题
    1. #编码问题
    2. import requests
    3. response=requests.get('http://www.autohome.com/news')
    4. # response.encoding='gbk' #汽车之家网站返回的页面内容为gb2312编码的，而requests的默认编码为ISO-8859-1，如果不设置成gbk则中文乱码
    5. print(response.text)
    3、获取二进制数据
    1. import requests
    2.  
    3. response=requests.get('https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=123456&di=712e4ef3ab258b36e9f4b48e85a81c9d&imgtype=0&src=http%3A%2F%2Fc.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2F11385343fbf2b211e1fb58a1c08065380dd78e0c.jpg')
    4. with open('a.jpg','wb') as f:
    5.     f.write(response.content)
    1. #stream参数:一点一点的取,比如下载视频时,如果视频100G,用response.content然后一下子写到文件中是不合理的
    2. import requests
    3.  
    4. response=requests.get('https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode/1767502_56ec685f9c7ec542eeaf6eac93a65dc7_6fe25cd1347c_3.mp4',
    5.                       stream=True)
    6.  
    7. with open('b.mp4','wb') as f:
    8.     for line in response.iter_content():
    9.         f.write(line)
    4、解析json
    1. #解析json
    2. import requests
    3. response=requests.get('http://httpbin.org/get')
    4.  
    5. import json
    6. res1=json.loads(response.text) #太麻烦
    7. res2=response.json() #直接获取json数据
    8. print(res1 == res2) #True
    5、Redirection and History
    1. import requests
    2. import re
    3.  
    4. #第一次请求
    5. r1=requests.get('https://github.com/login')
    6. r1_cookie=r1.cookies.get_dict() #拿到初始cookie(未被授权)
    7. authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN
    8.  
    9. #第二次请求：带着初始cookie和TOKEN发送POST请求给登录页面，带上账号密码
    10. data={
    11.     'commit':'Sign in',
    12.     'utf8':'✓',
    13.     'authenticity_token':authenticity_token,
    14.     'login':'123456@qq.com',
    15.     'password':'alex3714'
    16. }
    17.  
    18. #测试一：没有指定allow_redirects=False,则响应头中出现Location就跳转到新页面，r2代表新页面的response
    19. r2=requests.post('https://github.com/session',
    20.              data=data,
    21.              cookies=r1_cookie
    22.              )
    23. print(r2.status_code) #200
    24. print(r2.url) #看到的是跳转后的页面
    25. print(r2.history) #看到的是跳转前的response
    26. print(r2.history[0].text) #看到的是跳转前的response.text
    27.  
    28. #测试二：指定allow_redirects=False,则响应头中即便出现Location也不会跳转到新页面，r2代表的仍然是老页面的response
    29. r2=requests.post('https://github.com/session',
    30.              data=data,
    31.              cookies=r1_cookie,
    32.              allow_redirects=False
    33.              )
    34.  
    35. print(r2.status_code) #302
    36. print(r2.url) #看到的是跳转前的页面https://github.com/session
    37. print(r2.history) #[]

    五、高级用法

    1、SSL Cert Verification
    1. #证书验证(大部分网站都是https)
    2. import requests
    3. respone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端
    4.  
    5. #改进1:去掉报错,但是会报警告
    6. import requests
    7. respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200
    8. print(respone.status_code)
    9.  
    10. #改进2:去掉报错,并且去掉警报信息
    11. import requests
    12. from requests.packages import urllib3
    13. urllib3.disable_warnings() #关闭警告
    14. respone=requests.get('https://www.12306.cn',verify=False)
    15. print(respone.status_code)
    16.  
    17. #改进3:加上证书
    18. #很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书
    19. #知乎\百度等都是可带可不带
    20. #有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站
    21. import requests
    22. respone=requests.get('https://www.12306.cn',cert=('/path/server.crt','/path/key'))
    23. print(respone.status_code)
    2、使用代理
    1. #官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies
    2.  
    3. #代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)
    4. import requests
    5. proxies={
    6.     'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码
    7.     'http':'http://localhost:9743',
    8.     'https':'https://localhost:9743',
    9. }
    10. respone=requests.get('https://www.12306.cn',proxies=proxies)
    11.  
    12. print(respone.status_code)
    13.  
    14. #支持socks代理,安装:pip install requests[socks]
    15. import requests
    16. proxies = {
    17.     'http': 'socks5://user:pass@host:port',
    18.     'https': 'socks5://user:pass@host:port'
    19. }
    20. respone=requests.get('https://www.12306.cn',proxies=proxies)
    21. print(respone.status_code)
    3、超时设置
    1. #超时设置
    2. #两种超时:float or tuple
    3. #timeout=0.1 #代表接收数据的超时时间
    4. #timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间
    5.  
    6. import requests
    7. respone=requests.get('https://www.baidu.com',timeout=0.0001)
    4、认证设置
    1. #官网链接：http://docs.python-requests.org/en/master/user/authentication/
    2.  
    3. # 认证设置:登陆网站是,弹出一个框,要求你输入用户名密码（与alter很类似），此时是无法获取html的
    4. # 但本质原理是拼接成请求头发送r.headers['Authorization'] = _basic_auth_str(self.username, self.password)
    5. # 一般的网站都不用默认的加密方式，都是自己写
    6. # 那么我们就需要按照网站的加密方式，自己写一个类似于_basic_auth_str的方法
    7. # 得到加密字符串后添加到请求头
    8. # r.headers['Authorization'] =func('.....')
    9.  
    10. #看一看默认的加密方式吧，通常网站都不会用默认的加密设置
    11. import requests
    12. from requests.auth import HTTPBasicAuth
    13. r=requests.get('xxx',auth=HTTPBasicAuth('user','password'))
    14. print(r.status_code)
    15.  
    16. #HTTPBasicAuth可以简写为如下格式
    17. import requests
    18. r=requests.get('xxx',auth=('user','password'))
    19. print(r.status_code)
    5、异常处理
    1. #异常处理
    2. import requests
    3. from requests.exceptions import * #可以查看requests.exceptions获取异常类型
    4. try:
    5.     r=requests.get('http://www.baidu.com',timeout=0.00001)
    6. except ReadTimeout:
    7.     print('===:')
    8. # except ConnectionError: #网络不通
    9. #     print('-----')
    10. # except Timeout:
    11. #     print('aaaaa')
    12. except RequestException:
    13.     print('Error')
    6、上传文件
    1. import requests
    2. files={'file':open('a.jpg','rb')}
    3. respone=requests.post('http://httpbin.org/post',files=files)
    4. print(respone.status_code)

    下面是配套学习资料，对于做【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你！

    软件测试面试小程序

    被百万人刷爆的软件测试题库！！！谁用谁知道！！！全网最全面试刷题小程序，手机就可以刷题，地铁上公交上，卷起来！

    涵盖以下这些面试题板块：

    1、软件测试基础理论 ，2、web,app，接口功能测试 ，3、网络 ，4、数据库 ，5、linux

    6、web,app，接口自动化 ，7、性能测试 ，8、编程基础，9、hr面试题 ，10、开放性测试题，11、安全测试，12、计算机基础

    文档获取方式：

    这份文档，对于想从事【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你！

  • 相关阅读:
    入门力扣自学笔记77 C++ （题目编号535）
    C++ DAY3
    【SQL刷题】DAY18----SQL汇总数据专项练习
    树莓派4设置
    盘点编写 sql 上的那些骚操作（针对mysql而言）
    C++之二叉树进阶|搜索树|key/value模型
    Cassandra笔记
    Android-线程池
    集成电路模拟版图入门-转行模拟版图基础学习笔记（二）
    java新冠病例智能统计与相应预防措施分析系统springboot
  • 原文地址：https://blog.csdn.net/qq_73332379/article/details/133205057