基于CefSharp和XPath的C#爬虫

//需要引入的声明
using CefSharp;
using CefSharp.WinForms;
using System.Xml;
using System.Xml.XPath;
using HtmlAgilityPack;

一、获取HTML数据

        可以使用webBrowser或CefSharp获取网络数据。浏览器实例化后可以选择是否在前台显示。获取的HTML将以字符串形式存储。

        其中，CefSharp的初始化代码如下：

public ChromiumWebBrowser ThisWeb;  //浏览器对象
 
public void InitializeChromium()
        {
            CefSettings settings = new CefSettings();
            Cef.Initialize(settings);
            ThisWeb = new ChromiumWebBrowser("www.baidu.com");  //打开
            ThisWeb.LifeSpanHandler = new OpenPageSelf();//禁止外部打开
 
            this.panelWeb.Controls.Add(ThisWeb);    //绑定前台控件，可不绑定
        }

ThisWeb.Load(txtUrl.Text);    //数据访问

string task1 = await ThisWeb.GetSourceAsync();    //获取HTML内容

二、数据转换

        在获取HTML内容后，使用HtmlAgilityPack，将string型转换为HTML对象。

HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument(); //HTML对象
doc.LoadHtml(task1);//将字符串转换成 HtmlDocument

三、使用XPath进行解析

doc.LoadHtml(task1);//加载HTML
HtmlAgilityPack.HtmlNodeCollection elem = doc.DocumentNode.SelectNodes(XPath公式);

        Ps.使用SelectNodes仅能获取到结点，并不能使用其中的数据。若需选择结点中的元素，则需遍历elem集合后使用GetAttributeValue进行获取。

foreach (var item in elem)
{
    if (txtElem.Text != "")
        item.GetAttributeValue(txtElem.Text, "Null"); //参数：元素名，未找到的输出
    else
        item.OuterHtml.ToString();    //获取具体内容
}

四、关于XPath

        1.Chrome插件

                在Chrome中安装：XPath Helper。可以在浏览器中调出进行语句调试

                 按照元素逻辑层级编写XPath语句。XPath的规则如下：

 效果如下：