• 如何隐藏Selenium特征实现自动化网页采集


    Selenium是一个流行的自动化网页测试工具,可以通过模拟用户在Chrome浏览器中的操作来完成网站的测试。然而,有些网站会检测浏览器是否由Selenium驱动,如果是,就会返回错误的结果或拒绝访问。为了避免这种情况,我们需要隐藏Selenium的特征,让网站认为我们是正常的用户。

    以下是三种常见的隐藏Selenium特征的方法:

    1、修改navigator.webdriver标志:navigator.webdriver是一个浏览器提供的属性,用于表示浏览器是否由webdriver控制。默认情况下,如果浏览器由Selenium驱动,这个标志的值为true,否则为false。我们可以通过execute_cdp_cmd命令来执行Google Chrome DevTools命令,从而修改这个标志的值为false或者undefined,以隐藏Selenium的特征。

    2、改变user-agent:user-agent是一个浏览器发送给网站的字符串,用于表示浏览器的类型和版本。有些网站会根据user-agent来判断用户的设备和操作系统,如果发现user-agent不符合正常的范围,就会怀疑是Selenium驱动的浏览器。我们可以通过execute_cdp_cmd命令来设置Network.setUserAgentOverride参数,从而改变user-agent为任意我们想要的值,以隐藏Selenium的特征。

    3、排除或关闭一些Selenium相关的开关:enable-automation和useAutomationExtension是两个常见的Selenium相关开关,它们会影响浏览器的行为和外观,比如在浏览器窗口上显示“Chrome正在受到自动软件的控制”的提示。我们可以通过Chrome选项来添加或删除这些开关,从而让浏览器看起来更像正常的浏览器,以隐藏Selenium的特征。

    综上所述,隐藏Selenium特征是实现自动化网页测试的关键。通过以上三种方法,我们可以让浏览器看起来更像正常的用户,避免被网站检测到并拒绝访问。综合上面的几种selenium特征隐藏方式,以采集大众点评的评论为案例,结合实际爬虫采集过程中需要使用的代理IP池,提供如下demo:

    1.   from selenium import webdriver
    2.   from selenium.webdriver.common.proxy import Proxy, ProxyType
    3.   # 亿牛云爬虫加强版代理IP 地址、端口号、用户名和密码
    4.   proxy_address = 'www.16yun.cn'
    5.   proxy_port = '3100'
    6.   proxy_username = '16YUN'
    7.   proxy_password = '16IP'
    8.   # 设置Chrome选项,包括隐藏Selenium特征、设置代理IP和排除或关闭一些Selenium相关开关
    9.   options = webdriver.ChromeOptions()
    10.   options.add_argument('--disable-blink-features=AutomationControlled')
    11.   options.add_argument('--disable-extensions')
    12.   options.add_argument('--disable-gpu')
    13.   options.add_argument('--disable-infobars')
    14.   options.add_argument('--disable-notifications')
    15.   options.add_argument('--disable-popup-blocking')
    16.   options.add_argument('--disable-web-security')
    17.   options.add_argument('--ignore-certificate-errors')
    18.   options.add_argument('--no-sandbox')
    19.   options.add_argument('--start-maximized')
    20.   options.add_argument('--user-data-dir=/dev/null')
    21.   options.add_argument('--proxy-server={}'.format(proxy_address + ':' + proxy_port))
    22.   options.add_argument('--proxy-auth={}:{}'.format(proxy_username, proxy_password))
    23.   options.add_experimental_option('excludeSwitches', ['enable-automation', 'useAutomationExtension'])
    24.   # 初始化Chrome浏览器,并使用上述选项
    25.   driver = webdriver.Chrome(options=options)
    26.   # 隐藏navigator.webdriver标志,将其值修改为false或undefined
    27.   driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
    28.    'source': 'Object.defineProperty(navigator, "webdriver", {get: () => undefined})'
    29.   })
    30.   # 设置user-agent,改变user-agent的值
    31.   user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    32.   driver.execute_cdp_cmd("Network.setUserAgentOverride", {"userAgent": user_agent})
    33.   # 访问大众点评中商品的评论页面
    34.   url = 'https://www.dianping.com/shop/1234567/review_all'
    35.   driver.get(url)
    36.   # 在此处添加其他代码来执行您想要的任务

    此代码将使用Chrome浏览器,并在启动浏览器时使用选项隐藏Selenium特征、设置用户名和密码方式的代理IP和排除或关闭一些Selenium相关开关。然后,使用execute_cdp_cmd命令来执行Google Chrome DevTools协议中的命令,将navigator.webdriver标志的值修改为false或undefined。使用execute_cdp_cmd命令来设置Network.setUserAgentOverride参数,将user-agent更改为指定的user-agent字符串。最后,访问大众点评中商品的评论页面,并在此处添加其他代码来执行您想要的任务。

    最后感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:

    这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你! 

  • 相关阅读:
    启动YOLO进行图片物体识别
    react中设置activeClassName的笔记
    使用docker 搭建 zerotier服务器 实现异地组网
    NOIP2023模拟14联测35 charlotte
    < Linux > 冯 • 诺依曼体系
    k8s-namespace-基本概念
    【深度学习实验】卷积神经网络(八):使用深度残差神经网络ResNet完成图片多分类任务
    【MySQL系列】 MySQL表的增删改查(进阶)
    安卓sdk对应表
    Linux信号掩码(signal mask)详解与相关例程
  • 原文地址:https://blog.csdn.net/YLF123456789000/article/details/134470012