Elastic 网络爬虫：为你的网站添加搜索功能

Elastic 网络爬虫：为你的网站添加搜索功能
作者：来自 Elastic Lionel Palacin

为了演示如何使用 Elastic 网络爬虫，我们将以一个具体的网站为例，讲解如何在该网站上添加搜索功能。我们将探讨发现网站的方法，并利用 Elastic 网络爬虫提供的功能，以最佳方式准备待搜索的数据。

在本文中，我们将使用 Elastic Cloud 8.13 版本。

有关网络爬虫的更多内容，请详细阅读：
- Enterprise：Web Crawler 基础（一）（二）
- ChatGPT 和 Elasticsearch：OpenAI 遇见私有数据（二）
Elastic 网络爬虫

是一个开箱即用的工具，使用户能够抓取网站内容并将其导入 Elasticsearch。

Elastic 网络爬虫从访问入口点 URL 开始每次爬取。从这里开始，爬虫获取网页内容并提取之。HTML 文档被转换成搜索文档并进行索引。

然后，它会跟随该页面指向的任何链接，遵守用户定义的规则集。使用相同的方法访问新的 URL，直到爬虫索引了所有可访问的网页。如果一个网页没有链接指向，爬虫就无法找到它。

网站发现

首次爬取

我们将以 “Books to Scrape” 网站作为爬取的简单网站示例，这是一个提供书籍信息选择的网站，专门为测试网络爬虫而设计。

如果你使用的是 Elastic Cloud，设置非常简单，因为 Elastic 网络爬虫是开箱即用的。如果你管理自己的 Elastic 部署，请确保检查此页面以了解需求。

让我们从 Kibana 首页开始。从那里，导航到搜索解决方案，然后创建一个新的网络爬虫。

为索引提供一个名称，在我们的例子中是 search-books，并在下一个屏幕中输入主网站 URL：https://books.toscrape.com/。然后验证域名，并等待执行一些检查，以确保该域名可以被爬取。

在这一点上，让我们通过点击 “Crawl => Crawl all domains” 来使用默认配置爬取网站。这样做，我们将看到正在被爬取的链接以及如何为每个网页索引文档。

查看文档列表时，我们会看到一些类别页面也被爬取了，但我们对这些页面不感兴趣，因为我们只想爬取书籍详情页面。

另外一个我们在展开书籍文档时注意到的问题是，书籍的价格或摘要在 body_content 字段中混合在一起。这使得这些重要信息在搜索查询中不易使用。

定义爬取规则

从我们的第一次爬取中，我们注意到 category 页面也被爬取了，而我们对它们不感兴趣，所以让我们将它们排除在爬取之外。

在爬取规则下，添加一个新规则来禁止爬取以路径模式 /catalogue/category/ 开头 (Begins with) 的页面。

现在我们可以在新规则生效的情况下重新进行一次爬取。

注意：作为探索过程的一部分，每次更改网络爬虫配置时，我建议删除内容。在最后一章 “准备生产部署” 中，我们将看到如何在不手动删除数据的情况下重新运行网络爬虫。
```
# Delete all documents
POST search-books/_delete_by_query
{
  "query": {"match_all": {}}
}
```
丰富数据

默认情况下，Elastic 网络爬虫使用默认模式从网页中提取所有信息。例如，HTML 标签被提取到字段 title 中，而 <body> 标签被提取到字段 body_content 中。这是一个很好的基础，但大多数情况下，我们希望自定义数据的提取方式，并且丰富数据以在搜索应用程序中使用。</p> <p></p> <h3><a name="t5"></a>从自定义字段中提取数据</h3> <p>查看文档被索引的方式时，我们注意到我们想要将书籍摘要和价格分别提取到它们自己的字段中。</p> <p>在探索新网站时，通常会自定义爬虫从网页中提取内容的方式，为此，<a class="link-info" href="https://www.elastic.co/guide/en/enterprise-search/current/crawler-extraction-rules.html#crawler-extraction-rules" rel="nofollow" title="提取规则">提取规则</a>是一个很好的工具。</p> <p>使用浏览器检查工具，我们可以看到哪个 HTML 标签包含价格文本，这里是一个带有 class=price_color 的 HTML 标签 <p>。</p> <p style="text-align:center;"><img alt="" src="https://1000bd.com/contentImg/2024/04/26/0125771342a49f0b.webp"></p> <p>提取规则使用 <a class="link-info" href="https://www.w3schools.com/cssref/css_selectors.php" rel="nofollow" title="CSS 选择器">CSS 选择器</a>或 <a class="link-info" href="https://www.w3schools.com/xml/xpath_syntax.asp" rel="nofollow" title="XPath">XPath</a> 来识别网页中的特定元素。我们可以使用浏览器控制台来测试它们。</p> <p>要尝试 XPath，我们可以使用函数 $x。例如，要返回书籍摘要节点，我们可以在浏览器控制台中运行 $x("//article[@class='product_page']/p")[0]。</p> <p style="text-align:center;"><img alt="" src="https://1000bd.com/contentImg/2024/04/26/b2303d7414f78aed.webp"></p> <p>要尝试 CSS 选择器，我们可以使用 document.querySelectorAll。例如，要使用 CSS 选择器选择价格，我们可以在浏览器控制台中运行：document.querySelectorAll("div.product_main p.price_color")[0]。</p> <p style="text-align:center;"><img alt="" src="https://1000bd.com/contentImg/2024/04/26/0046ba992e871194.webp"></p> <p></p> <p>根据我们在浏览器控制台测试的内容，让我们创建一个提取规则来添加两个新字段：summary 和 price。</p> <p><strong>提取规则</strong>：</p> <ul><li>名称：书页规则</li><li>适用于所有 URL</li><li>第一个字段： <ul><li>Field name：summary</li><li>source：从 HTML 元素中提取内容</li><li>CSS 选择器：//article[@class='product_page']/p</li><li>Content：使用从提取值中提取的内容</li><li>将提取的内容存储为字符串</li></ul></li><li>第二个字段： <ul><li>字段名称：price</li><li>source：从 HTML 元素中提取内容</li><li>CSS 选择器：div.product_main p.price_color</li><li>Content：使用从提取值中提取的内容</li><li>将提取的内容存储为字符串</li></ul></li></ul> <p style="text-align:center;"><img alt="" src="https://1000bd.com/contentImg/2024/04/26/e464fbe7b945b652.webp"></p> <p></p> <h3><a name="t6"></a>数据摄取管道用于转换数据</h3> <p>通常，从网页提取的数据格式并不完全适合用于搜索引擎。在我们的例子中，我们已经将书籍价格单独提取到一个 price 字段中，但如果仔细观察，会发现它被索引为字符串：“£18.03”，这并不理想，因为它不便于执行比较搜索（例如，获取所有价格低于 20 英镑的书籍）或聚合操作（例如，计算科幻书的平均价格）。</p> <p>为了在数据摄取时进行一些小的转换，我们可以使用 Elasticsearch 中的摄取管道。有<a class="link-info" href="https://www.elastic.co/guide/en/elasticsearch/reference/current/processors.html" rel="nofollow" title="许多处理器">许多处理器</a>可用于执行不同的任务，在我们的案例中，我们将使用<a class="link-info" href="https://www.elastic.co/guide/en/elasticsearch/reference/current/script-processor.html" rel="nofollow" title="脚本处理器">脚本处理器</a>执行一个自定义函数，该函数将为每个被索引的文档执行，去除价格中的第一个字符，仅保留数字部分。</p> <p>要管理摄取管道，请转到 Pipelines 标签页，点击 “Copy and Customize”，然后点击 “编辑管道” 按钮开始编辑摄取管道。</p> <p style="text-align:center;"><img alt="" src="https://1000bd.com/contentImg/2024/04/26/f4e3404179a25204.webp"></p> <p>在那里添加一个脚本处理器，使用以下代码：</p> <pre data-index="1" class="set-code-show" name="code"><code class="hljs language-cobol">ctx[<span class="hljs-string">'price_float'</span>] <span class="hljs-operator">=</span> ctx[<span class="hljs-string">'price'</span>].substring(<span class="hljs-number">1</span>)</code><div class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)"></div></pre> <p>保存所有更改，然后返回到网络爬虫索引配置页面。</p> <p>我们添加的脚本将在摄取时创建一个名为 price_float 的新字段。我们需要编辑索引映射以提供正确的字段类型，在我们的情况下，我们希望将其索引为浮点型。</p> <p>打开控制台并执行以下代码以更新索引映射：</p> <pre data-index="2" class="set-code-show" name="code"><code class="hljs language-bash"><ol class="hljs-ln" style="width:100%"><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="1"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"><span class="hljs-comment"># Add a new field with a type float</span></div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="2"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line">PUT search-books/_mapping</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="3"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line">{</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="4"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"properties"</span>: {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="5"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"price_float"</span>: {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="6"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"type"</span>: <span class="hljs-string">"float"</span></div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="7"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="8"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="9"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line">}</div></div></li></ol></code><div class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)"></div></pre> <p>现在我们可以删除索引中的所有文档，然后再次运行爬取。所有文档中都会存在一个名为 price_float 的新字段，其类型为浮点型。</p> <p></p> <h3><a name="t7"></a>启用语义搜索的机器学习推理管道</h3> <p>我们可以使用的另一种管道是推理管道，它允许我们在被索引的数据上运行机器学习模型。</p> <p>在我们的案例中，我们希望利用 Elastic 的专有机器学习模型 ELSER，该模型能够对任何英语文本启用语义搜索。</p> <p>返回到 Pipelines 标签页，向下滚动到 Machine Learning Inference Pipelines 部分。如果还未部署和启动 ELSER 模型，此处可以进行部署和启动。</p> <p style="text-align:center;"><img alt="" src="https://1000bd.com/contentImg/2024/04/26/2db99f37428b8780.webp"></p> <p>然后，通过单击 “Add Inference Pipeline” 按钮添加一个新的推理管道。在第一个屏幕上选择 ELSER 模型，然后转到下一个屏幕，在那里选择推理管道的输入和输出字段。在我们的案例中，我们想要在图书 summary 上启用语义搜索。我们选择该字段并将其添加到列表中。</p> <p style="text-align:center;"><img alt="" src="https://1000bd.com/contentImg/2024/04/26/07cca34145a2d5e3.webp"></p> <p>完成配置后，我们可以删除所有文档并再次运行网络爬虫。</p> <p></p> <h3><a name="t8"></a>测试查询</h3> <p>当我们使用提取规则和摄入管道配置网络爬虫后，我们的文档很容易进行搜索。</p> <p>让我们看一个查询示例，该查询对书籍摘要执行语义搜索，并包含基于书籍价格的过滤器。</p> <pre data-index="3" class="set-code-hide" name="code"><code class="hljs language-bash"><ol class="hljs-ln" style="width:774px"><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="1"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"><span class="hljs-comment"># Find books over £50 that talks about "Wars and family succession struggle on dry planets"</span></div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="2"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line">POST search-books/_search</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="3"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line">{</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="4"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"_source"</span>: [</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="5"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"title"</span>, <span class="hljs-string">"summary"</span>, <span class="hljs-string">"price"</span>, <span class="hljs-string">"url"</span></div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="6"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> ],</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="7"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"query"</span>: {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="8"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"bool"</span>: {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="9"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"should"</span>: [</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="10"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="11"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"text_expansion"</span>: {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="12"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"ml.inference.summary_expanded.predicted_value"</span>: {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="13"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"model_id"</span>: <span class="hljs-string">".elser_model_2_linux-x86_64"</span>,</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="14"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"model_text"</span>: <span class="hljs-string">"Wars and family succession struggle on dry planets"</span></div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="15"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="16"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="17"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="18"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> ],</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="19"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"filter"</span>: [</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="20"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="21"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"range"</span>: {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="22"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"price_float"</span>: {</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="23"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> <span class="hljs-string">"gte"</span>: 50</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="24"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="25"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="26"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="27"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> ]</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="28"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="29"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line"> }</div></div></li><li><div class="hljs-ln-numbers"><div class="hljs-ln-line hljs-ln-n" data-line-number="30"></div></div><div class="hljs-ln-code"><div class="hljs-ln-line">}</div></div></li></ol></code><div class="hide-preCode-box"><span class="hide-preCode-bt" data-report-view="{"spm":"1001.2101.3001.7365"}"><img class="look-more-preCode contentImg-no-view" src="https://1000bd.com/contentImg/2022/06/27/191644837.png" alt="" title=""></span></div><div class="hljs-button signin active" data-title="登录复制" data-report-click="{"spm":"1001.2101.3001.4334"}" onclick="hljs.signin(event)"></div></pre> <p></p> <h2><a name="t9"></a>准备生产部署</h2> <p>在本章中，我们将讨论在将网络爬虫投入生产时一些重要的网络爬虫特性。</p> <p></p> <h3><a name="t10"></a><strong>定时任务</strong></h3> <p>由于网站经常更新，保持 Elasticsearch 中的数据与网站同步更新可能很重要。为此，我们可以利用 Elastic 网络爬虫的调度功能，定期爬取网站。</p> <p>Elastic 网络爬虫会自动检测自上次爬取以来网页是否已更新，并将在 Elasticsearch 中更新相应的文档。如果自上次爬取以来某个网页已被删除，则该文档也将从 Elasticsearch 中删除。</p> <p></p> <h3><a name="t11"></a><strong>受保护的网站</strong></h3> <p>另一个有用的功能是能够爬取非公开可用或位于认证后的网站。</p> <p><a class="link-info" href="https://www.elastic.co/guide/en/enterprise-search/current/crawler-private-network-cloud.html" rel="nofollow" title="此文档">此文档</a>详细解释了如何爬取位于私有网络中的网站。</p> <p>如果访问特定网页需要认证，我们可以在域配置屏幕下的认证部分添加凭据或特定头部。</p> <p></p> <h2><a name="t12"></a><strong>总结</strong></h2> <p>在这篇博客文章中，我们看到了如何从头到尾发现一个新网站进行爬取，如何利用 Elastic 网络爬虫的功能准备数据以用于搜索应用，以及最后如何准备将其部署到生产环境。</p> <p>如果你有兴趣了解更多关于 Elastic 摄入能力的信息，请查看其他<a class="link-info" href="https://www.elastic.co/guide/en/enterprise-search/current/connectors.html" rel="nofollow" title="开箱即用的连接器">开箱即用的连接器</a>。如果你想在 GenAI 应用程序中使用摄入数据，请查看我们的<a class="link-info" href="https://www.elastic.co/search-labs/tutorials/chatbot-tutorial/welcome" rel="nofollow" title="教程">教程</a>。</p> <p>准备在你的应用中构建 RAG 吗？想尝试不同的 LLMs 与向量数据库吗？查看我们在 <a class="link-info" href="https://github.com/elastic/elasticsearch-labs" title="Github">Github</a> 上的 LangChain、Cohere 等示例笔记本，并加入即将开始的 <a class="link-info" href="https://www.elastic.co/training/elasticsearch-engineer" rel="nofollow" title="Elasticsearch工程师培训">Elasticsearch工程师培训</a>！</p> <p></p> <p>原文： <a href="https://www.elastic.co/search-labs/blog/elasticsearch-openai-completion-support" rel="nofollow" title="Elasticsearch open inference API adds support for OpenAI chat completions — Elastic Search Labs">Elasticsearch open inference API adds support for OpenAI chat completions — Elastic Search Labs</a></p> </div> </div> </li> <li class="list-group-item ul-li"> <b>相关阅读:</b><br> <nobr> <a href="/Article/Index/810564">MySQL——内置函数</a> <br /> <a href="/Article/Index/1360402">3D目标检测实战 | 详解2D/3D检测框交并比IoU计算(附Python实现)</a> <br /> <a href="/Article/Index/1066183">「组合数学」隔离区</a> <br /> <a href="/Article/Index/938275">撬动农业价值天平，拼多多凭什么？</a> <br /> <a href="/Article/Index/856821">docker&kubernets篇（二十三）</a> <br /> <a href="/Article/Index/1438979">设计模式-外观模式（Facade）</a> <br /> <a href="/Article/Index/1421039">vulnhub_DeRPnStiNK靶机渗透测试</a> <br /> <a href="/Article/Index/985869">【前端进阶——ES6基础①】ES6究竟有什么不同呢！</a> <br /> <a href="/Article/Index/624433">Spring bean到底是如何创建的？（上）</a> <br /> <a href="/Article/Index/1470478">【计算机毕业设计】网上商城购物系统</a> <br /> </nobr> </li> <li class="list-group-item from-a mb-2"> 原文地址：https://blog.csdn.net/UbuntuTouch/article/details/138000540 </li> </ul> </div> <div class="col-lg-4 col-sm-12"> <ul class="list-group" style="word-break:break-all;"> <li class="list-group-item ul-li-bg" aria-current="true"> 最新文章 </li> <li class="list-group-item ul-li"> <nobr> <a href="/Article/Index/1484446">攻防演习之三天拿下官网站群</a> <br /> <a href="/Article/Index/1515268">数据安全治理学习——前期安全规划和安全管理体系建设</a> <br /> <a href="/Article/Index/1759065">企业安全 | 企业内一次钓鱼演练准备过程</a> <br /> <a href="/Article/Index/1485036">内网渗透测试 | Kerberos协议及其部分攻击手法</a> <br /> <a href="/Article/Index/1877332">0day的产生 | 不懂代码的"代码审计"</a> <br /> <a href="/Article/Index/1887576">安装scrcpy-client模块av模块异常，环境问题解决方案</a> <br /> <a href="/Article/Index/1887578">leetcode hot100【LeetCode 279. 完全平方数】java实现</a> <br /> <a href="/Article/Index/1887512">OpenWrt下安装Mosquitto</a> <br /> <a href="/Article/Index/1887520">AnatoMask论文汇总</a> <br /> <a href="/Article/Index/1887496">【AI日记】24.11.01 LangChain、openai api和github copilot</a> <br /> </nobr> </li> </ul> <ul class="list-group pt-2" style="word-break:break-all;"> <li class="list-group-item ul-li-bg" aria-current="true"> 热门文章 </li> <li class="list-group-item ul-li"> <nobr> <a href="/Article/Index/888177">十款代码表白小特效一个比一个浪漫赶紧收藏起来吧！！！</a> <br /> <a href="/Article/Index/797680">奉劝各位学弟学妹们，该打造你的技术影响力了！</a> <br /> <a href="/Article/Index/888183">五年了，我在 CSDN 的两个一百万。</a> <br /> <a href="/Article/Index/888179">Java俄罗斯方块，老程序员花了一个周末，连接中学年代！</a> <br /> <a href="/Article/Index/797730">面试官都震惊，你这网络基础可以啊！</a> <br /> <a href="/Article/Index/797725">你真的会用百度吗？我不信 — 那些不为人知的搜索引擎语法</a> <br /> <a href="/Article/Index/797702">心情不好的时候，用 Python 画棵樱花树送给自己吧</a> <br /> <a href="/Article/Index/797709">通宵一晚做出来的一款类似CS的第一人称射击游戏Demo！原来做游戏也不是很难，连憨憨学妹都学会了！</a> <br /> <a href="/Article/Index/797716">13 万字 C 语言从入门到精通保姆级教程2021 年版</a> <br /> <a href="/Article/Index/888192">10行代码集2000张美女图，Python爬虫120例，再上征途</a> <br /> </nobr> </li> </ul> </div> </div> </div>     <nav class="navbar navbar-inverse navbar-fixed-bottom"> <div class="container"> <div class="row"> <div class="col-md-12"> <div class="text-muted center foot-height"> Copyright © 2022 侵权请联系<a href="mailto:2656653265@qq.com">2656653265@qq.com</a> <a href="https://beian.miit.gov.cn/" target="_blank">京ICP备2022015340号-1</a> </div> <div style="width:300px;margin:0 auto; padding:0px 5px;"> <a href="/regex.html">正则表达式工具</a> <a href="/cron.html">cron表达式工具</a> <a href="/pwdcreator.html">密码生成工具</a> </div> <div style="width:300px;margin:0 auto; padding:5px 0;"> <a target="_blank" href="http://www.beian.gov.cn/portal/registerSystemInfo?recordcode=11010502049817" style="display:inline-block;text-decoration:none;height:20px;line-height:20px;"> <img src="" style="float:left;" /><p style="float:left;height:20px;line-height:20px;margin: 0px 0px 0px 5px; color:#939393;">京公网安备 11010502049817号</p></a> </div> </div> </div> </div> </nav>   <script src="/js/plugins/jquery/jquery.js"></script> <script src="/js/bootstrap.min.js"></script>   </body> </html>

Elastic 网络爬虫

网站发现

首次爬取

定义爬取规则

丰富数据