Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera,Edge等。这个工具的主要功能包括:测试与浏览器的兼容性——测试应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成.Net、Java、Perl等不同语言的测试脚本。
我们一般用selenium爬取网页数据,下面介绍java使用selenium爬取网页所需要安装的环境。以chrome为例。
下载地址:https://registry.npmmirror.com/binary.html?path=chromedriver/
根据浏览器版本下载对应版本的ChromeDriver.exe,否则程序运行会报错。
将ChromeDriver.exe放到浏览器安装路径,方便查找。
以centos7为例。
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
- curl https://intoli.com/install-google-chrome.sh | bash
-
- ldd /opt/google/chrome/chrome | grep "not found"
google-chrome-stable --no-sandbox --headless --disable-gpu --screenshot https://www.baidu.com/
生成图片:
google-chrome-stable --version
- <dependency>
- <groupId>org.seleniumhq.selenium</groupId>
- <artifactId>selenium-java</artifactId>
- <version>3.141.59</version>
- </dependency>
或者自己下载jar包:
selenium下载地址:https://selenium.dev/downloads/
界面如下,选择java后点击下载。
- public class TestController {
-
- public static void main(String[] args){
- System.getProperties().setProperty("webdriver.chrome.driver", "C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe");
- ChromeOptions chromeOptions = new ChromeOptions();
- ChromeDriver chromeDriver = new ChromeDriver(chromeOptions);
- chromeDriver.get("https://www.baidu.com/");
- }
- }
至此,整合成功。