码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 第八天 Python爬虫之Rquests库&&打码平台的简单使用


    ​
    ​

    活动地址:CSDN21天学习挑战赛()

    请添加图片描述
    活动时间以过

    @作者 : SYFStrive
    @创建时间 : 2022/8/8 10:42
    📜: Rquests库
    🥧: 点击跳转到上一篇续文🦄
    🥧: 感谢支持,先给大佬跳支舞😀
    请添加图片描述
    在这里插入图片描述

    📋目录

      • 🥧Rquests VS Urlib对比
      • 🥧分享Rquests 官方两句很逗的话
      • 🥧Requests使用前准备
      • 🥧Response之(一个类六个属性) VS Urllib之(一个类六个方法)
      • 🥧Response案例 VS Urllib案例
      • 🥧Response之🔍get请求简单使用
      • 🥧get请求小总结 :
      • 🥧Response之🔍详细翻译post请求简单使用
      • 🥧post请求小总结 :
      • 👮‍♂️代理使用
      • 🥧Response📖网之Cookie登录(注意:学习爬取类似网站的思路)
      • 🛠打码平台简单使用
    • 最后

    🥧Rquests VS Urlib对比

    1. 更为便捷:因为requests可以直接构造get,post请求并发起,而urllib.request只能先构造get,post请求,再发起。
    2. requests是对urllib的进一步封装,因此在使用上显得更加的便捷,建议在实际应用当中尽量使用requests。
    3. 方法是死的,人是活的,这只是一种建议(做爬虫更需要大量的经验来应付复杂的网络情况。)希望大家一起探讨学习, 一起进步💪。

    🥧分享Rquests 官方两句很逗的话

    • Requests 唯一的一个在这里插入图片描述(就是只属于Python使用的库👍)的 Python HTTP 库,人类可以安全享用。

    • :、、、

    🥧Requests使用前准备

    • 文档如👇
    1. 官网文档:链接
    2. W3c中文文档:链接
    • 安装
    1. 安装语法:pip install requests
    • Response之(一个类六个属性)
    1. 类型 :models.Response
    2. r.text : 获取网站源码
    3. r.encoding :访问或定制编码方式
    4. r.url :获取请求的url
    5. r.content :响应的字节类型
    6. r.status_code :响应的状态码
    7. r.headers :响应的头信息

    📰代码演示:

    在这里插入图片描述

    如下图(成功🆗):

    在这里插入图片描述

    • 总结: print(requ.text) 👉 结合Xpath、ba4、jsonpath…… 👉 完成爬虫

    🥧Response之(一个类六个属性) VS Urllib之(一个类六个方法)

    Urllib链接👉:链接

    🥧Response案例 VS Urllib案例

    • urllib:
    1. 一个类型以及六个方法
    2. get请求
    3. post请求 百度翻译 或 详细翻译
    4. 前后端分离 之 get请求
    5. 前后端分离 之 post请求
    6. cooki登录 微博等
    7. 代理
      …… 案例链接
    • requests
    1. 一个类以及六个属性
    2. get 请求
    3. post 请求
    4. 代理
    5. cookie 验证码

    🥧Response之🔍get请求简单使用

    📰代码演示:

    在这里插入图片描述

    如下图(成功🆗):

    在这里插入图片描述

    🥧get请求小总结 :

    1. 参数使用params传递
    2. 参数无需encode编码
    3. 不需要请求对象的定制
    4. 请求资源(url)中的 ? 可以加也可以不加
    5. 仁者见仁智者见智喜欢用哪个都行💪
    Python-GRequests简化HTTP异步请求
    .zip 0星 超过10%的资源 8KB
    下载

    🥧Response之🔍详细翻译post请求简单使用

    📰代码演示:

    在这里插入图片描述

    如下图(成功🆗):

    在这里插入图片描述

    🥧post请求小总结 :

    1. post请求 是不需要编解码
    2. post请求的参数是data
    3. 不需要请求对象的定制

    👮‍♂️代理使用

    说明:当我们快速爬取一个网站是,会导致网站崩溃 这时可以使用代理

    代理网站:链接

    在这里插入图片描述

    📰代码演示:

    在这里插入图片描述

    如下图(爬取成功🆗):

    在这里插入图片描述

    🥧Response📖网之Cookie登录(注意:学习爬取类似网站的思路)

    难点:验证码,找不到的动态参数(一般可以吃从源代码中找到……)(隐藏域)

    cookie解题步骤:找到登录接口 分析接口💡

    python爬虫百度贴吧图片,内容,头像爬取代码及解析
    rar 5星 超过95%的资源 15KB
    下载

    1、找登录接口:随便输入一个错误的秘密 如👇:

    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述
    📰代码演示:

    在这里插入图片描述

    如下图(成功🆗):

    在这里插入图片描述

    🛠打码平台简单使用

    1. 超级鹰:链接
    2. 完成相应的注册:关注公众号(第一次会送1000(这里强调一点只是学习没有别的哈))
      在这里插入图片描述
    3. 使用一次会减掉对应的值
      在这里插入图片描述
    4. 下载开发文档
      在这里插入图片描述
    5. 把下面两个文件拉到对应的项目目录
      在这里插入图片描述
    6. chaojiying.py文件如下

    在这里插入图片描述

    1. 用到的ID如下生成
      在这里插入图片描述
    2. 效果如👇:

    在这里插入图片描述

    最后

    本文章到这里就结束了,觉得不错的请给我专栏点点订阅,你的支持是我们更新的动力,感谢大家的支持,希望这篇文章能帮到大家

    点击跳转到我的Python专栏

    在这里插入图片描述

    下篇文章再见ヾ( ̄▽ ̄)ByeBye

    在这里插入图片描述

  • 相关阅读:
    gpgcheck介绍
    Amazon云计算AWS之[1]基础存储架构Dynamo
    【CSS】基础选择器,包括标签选择器、类选择器、id选择器和通配符选择器...
    QT线程池的使用
    3.x名称空间详解
    Flutter笔记:序列化与反序列化
    数据标注赋能机器学习进行内容审核
    [golang gui]fyne框架代码示例
    MSDC 4.3 接口规范(7)
    使用工厂模式、策略模式、门面模式、单例模式、责任链模式、装饰者模式和访问者模式来实现红包雨
  • 原文地址:https://blog.csdn.net/m0_61490399/article/details/126216719
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号