• 【学习心得】Python好库推荐——DrissionPage


            事情的起因是这样,我在复习selenium来进行自动化爬虫任务的时候,发现了一个基于selenium封装的库,他其中的有一个功能(监听网络数据)特别让我兴奋!心想这也太吊了吧!所以我一定要写一篇文章记录下来,同时分享给大家。

    一、DrissionPage的介绍

    网页自动化的形式通常有两种,它们各有优劣:

    1. 直接向服务器发送数据包,获取需要的数据
    2. 控制浏览器跟网页进行交互

            前者轻量级,速度快,便于多线程、分布式部署,如 requests 库。但当数据包构成复杂,甚至加入加密技术时,开发过程烧脑程度直线上升。鉴于此,DrissionPage 以页面为单位将两者整合,对 Chromium 协议 和 requests 进行了重新封装,实现两种模式的互通,并加入常用的页面和元素控制功能,可大幅降低开发难度和代码量。用于操作浏览器的对象叫 Driver,requests 用于管理连接的对象叫 Session,Drission 就是它们两者的合体。Page 表示以 POM 模式封装。 在旧版本,本库是通过对 selenium 和 requests 的重新封装实现的。从 3.0 版开始,作者另起炉灶,用 chromium 协议自行实现了 selenium 全部功能,从而摆脱了对 selenium 的依赖,功能更多更强,运行效率更高,开发更灵活。

    详细的介绍大家可以去看开发者的个人网页。

    DirssionPage使用文档icon-default.png?t=N7T8https://g1879.gitee.io/drissionpagedocs/get_start/installation

    二、基本使用

    (1)安装

    pip install DrissionPage

    (2)使用逻辑

            无论是控制浏览器,还是收发数据包,其操作逻辑是一致的。即先创建页面对象,然后从页面对象中获取元素对象,通过对元素对象的读取或操作,实现数据的获取或页面的控制。因此,最主要的对象就是两种:页面对象,及其生成的元素对象。

    主页面对象有 3 种,它们通常是程序的入口:

    • ChromiumPage:单纯用于操作浏览器的页面对象
    1. # 如果只要控制浏览器
    2. from DrissionPage import ChromiumPage
    • WebPage:整合浏览器控制和收发数据包于一体的页面对象
    1. # WebPage是功能最全面的页面类,既可控制浏览器,也可收发数据包。
    2. from DrissionPage import WebPage
    • SessionPage:单纯用于收发数据包的页面对象
    1. # 如果只要收发数据包
    2. from DrissionPage import SessionPage

    (3)快速上手

    ① 操控浏览器(类似selenium库的功能)
    1. from DrissionPage import ChromiumPage
    2. # 创建页面对象,并启动或接管浏览器
    3. page = ChromiumPage()
    4. # 跳转到登录页面
    5. page.get('https://gitee.com/login')
    6. # 定位到账号文本框,获取文本框元素
    7. ele = page.ele('#user_login')
    8. # 输入对文本框输入账号
    9. ele.input('您的账号')
    10. # 定位到密码文本框并输入密码
    11. page.ele('#user_password').input('您的密码')
    12. # 点击登录按钮
    13. page.ele('@value=登 录').click()
    ② 收发数据包(类似requests库功能)
    1. from DrissionPage import SessionPage
    2. # 创建页面对象
    3. page = SessionPage()
    4. # 爬取3页
    5. for i in range(1, 4):
    6. # 访问某一页的网页
    7. page.get(f'https://gitee.com/explore/all?page={i}')
    8. # 获取所有开源库元素列表

     三、重点讲一个我喜欢的功能

    (1)监听网络数据

    1. from DrissionPage import ChromiumPage
    2. page = ChromiumPage()
    3. page.get('https://gitee.com/explore/all') # 访问网址,这行产生的数据包不监听
    4. page.listen.start('gitee.com/explore') # 开始监听,指定获取包含该文本的数据包
    5. for _ in range(5):
    6. page('@rel=next').click() # 点击下一页
    7. res = page.listen.wait() # 等待并获取一个数据包
    8. print(res.url) # 打印数据包url

    监听数据的功能,可以让我们拦截一个请求,并将请求这个数据包所需的请求参数给截获,这样我们就不需要自己去构造加密的请求参数啦,逆向也就省了!是不是很棒!~

     

  • 相关阅读:
    【luogu U142356】勇者的后缀(SA)(主席树)(二分)
    算法刷题入门线性表|单调栈
    快手发布Q2及半年度财报,哪些内容值得关注
    tomcat---动静分离
    PHP+MySQL基于thinkphp的企业信息销售展示系统的设计
    交叉编译opencv时,无法安装cmake-gui
    MySQl数据库————DQL数据查询语言
    MySQL数据库——索引(2)-B+Tree、Hash结构,索引分类(聚集索引、二级索引)
    《动手学深度学习 Pytorch版》 5.6 GPU
    2019银川icpc A 分组背包
  • 原文地址:https://blog.csdn.net/qq_39780701/article/details/136752265