HtmlUnit、Jsoup、webmagic基本介绍

HtmlUnit官网：https://htmlunit.sourceforge.io/
Jsoup官网：https://jsoup.org/cookbook/cleaning-html/safelist-sanitizer
Selenium官网 https://www.selenium.dev/zh-cn/documentation/webdriver/getting_started/

什么是Jsoup

可以抓取页面，但是更多的时候我们用来解析HTML。

Document doc = Jsoup.connect("https://en.wikipedia.org/").get();
log(doc.title());
Elements newsHeadlines = doc.select("#mp-itn b a");
for (Element headline : newsHeadlines) {
  log("%s\n\t%s", 
    headline.attr("title"), headline.absUrl("href"));
}
1
2
3
4
5
6
7

什么是HtmlUnit

是一个无GUI浏览器，允许您调用页面、填写表单、单击链接。
可以用作自动化测试、爬虫等，可以抓取动态页面，但是对js和css支持不好。

// 创建一个web客户端
final WebClient webClient = new WebClient(BrowserVersion.CHROME);
// 不支持js
webClient.getOptions().setJavaScriptEnabled(false);
// 抓取页面
final HtmlPage page = webClient.getPage("https://www.cnblogs.com/starzhai/p/14106770.html");
// 分析html
System.out.println(page.getTitleText());
Object firstByXPath = page.getFirstByXPath("//*[@id=\"cnblogs_post_body\"]/p[15]");
System.out.println(firstByXPath);
1
2
3
4
5
6
7
8
9
10

Selenium

参考 https://www.cnblogs.com/tester-ggf/p/12602211.html#2257972919
Selenium是一系列基于Web的自动化工具，提供一套测试函数，用于支持Web自动化测试。函数非常灵活，能够完成界面元素定位、窗口跳转、结果比较。

	@Test
    public void testChromeSearch() throws InterruptedException {
        // Optional. If not specified, WebDriver searches the PATH for chromedriver.
        System.setProperty("webdriver.chrome.driver", "E:\\doc\\chromedriver_win32\\driver\\chromedriver.exe");
        // 1.创建webdriver驱动
        WebDriver driver = new ChromeDriver();
        // 2.打开百度首页
        driver.get("https://www.baidu.com");
        // 3.获取输入框，输入selenium
        driver.findElement(By.id("kw")).sendKeys("selenium");
        // 4.获取“百度一下”按钮，进行搜索
        driver.findElement(By.id("su")).click();
        // 5.退出浏览器
    }

    @Test
    public void testOperadriverSearch() throws InterruptedException {
        // Optional. If not specified, WebDriver searches the PATH for chromedriver.
        System.setProperty("webdriver.opera.driver", "E:\\doc\\driver\\operadriver.exe");
        // 1.创建webdriver驱动
        WebDriver driver = new OperaDriver();
        // 2.打开百度首页
        driver.get("https://www.baidu.com");
        // 3.获取输入框，输入selenium
        driver.findElement(By.id("kw")).sendKeys("selenium");
        // 4.获取“百度一下”按钮，进行搜索
        driver.findElement(By.id("su")).click();
        // 5.退出浏览器
    }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30