多线程爬取书趣阁小说网小说

一、爬取流程分析
二、完整代码

一、爬取流程分析

如下图所示，以书趣阁小说网的其中一篇小说《斗破之无上之境》为例，目标是爬取该小说的所有章节内容，并把内容存储到一个txt文件中。
在这里插入图片描述
首先，打开浏览器的开发者工具，刷新页面进行抓包，抓到了如下数据包：

我们需要的数据是每个章节的名称和详情页url，可以发现数据均在第一个数据包中（40247/）。接下来，使用requests模块向这个数据包的地址发送请求，携带请求头headers，经测试，最好再多携带一个cookie参数。然后使用xpath表达式解析数据，关键代码如下：

r = requests.get(index_url, headers=headers)

相关阅读:
关于多线程同步的一切：乱序执行和内存屏障
c++入门必学库函数 memset
规则解读（二）| 本地资源检测 For Unreal
web网页设计期末课程大作业：家乡旅游主题网站设计——河北8页HTML+CSS+JavaScript
IT行业哪个方向比较好就业？
IBM存储系列产品及监控
介绍他人投资并出具欠条，介绍人是否承担责任？
第四节——Vue属性绑定
TouchGFX之二进制翻译
2.21每日一题（隐函数求导+变上限积分求导）

原文地址：https://blog.csdn.net/lyccomcn/article/details/139840018