• Python爬虫实战第三例【三】（下）

    零.前情提要：

    没有看上一章的小伙伴，建议先去看上一章，避免有些知识点不连贯

    地址：Python爬虫实战第三例【三】【上】-CSDN博客

    在上一章，我们经过分析.m3u8文件和.ts文件后，成功爬取到了所有.ts文件的文件名，并且成功下载了.ts文件，但是在上一节中我们只是下载了一个.ts文件，并没有实现批次的.ts文件下载。

    接下来，我们就要进行批次爬取.ts文件，并且将它们组合在一起！

    准备好了吗？跟随作者一起，走进爬虫的海洋吧！

    一.批次爬取.ts文件

    由于我们现在爬取.ts文件的函数，一次只能爬去一个.ts文件，那我们是不是可以在函数外面放一个for循环来实现批次爬取.ts文件呢？当然可以了！！

    代码如下：

    1.     #将ts_list转换为带有序号的列表,方便.ts文件的重命名,用来保持顺序一致！
    2.     ts_list = list(enumerate(ts_list))
    3.     for ts in ts_list:
    4.         down_video(ts)

    效果图：

    但是这样是有一个问题的，那就是爬取完第一个.ts文件后，程序重新构造一大串.get请求并发送，这中间消耗了大量资源，并且可以发现效率很慢！！！如果共有1000个.ts文件，我们需要爬取三十分钟！！这显然不是我们想要看到的！！

    学过线程的小伙伴可能想到了，这不是单线程造成的吗？对的，所以改进的话我们只需要改成多线程就可以啦！！

    为此，我们先要导入线程池：

    from multiprocessing.pool import ThreadPool

    代码如下：

    1.     #创建线程池
    2.     pool = ThreadPool(100)
    3.     #利用map函数给线程分配工作
    4.     pool.map(down_video,enumerate(ts_list))

    效果图：

     可以看到效率飞起！！效率大概提升了1000%！！！

    （与个人CPU有关，CPU线程数越多效率越高）

    二.重新爬取失败的文件

    不过在爬取过程中，难免会有一些.ts文件因为网络波动的问题，导致超时，从而报错，这显然不是我们想看到的，为此我们该怎么办呢？

    作者的想法是，创建一个检查函数，在执行完爬取.ts文件后，检查是否有文件没有被爬取！

    代码如下：

    1. #漏下的.ts文件列表
    2. fil_list = []
    3. #检查标志
    4. file_flag = False
    5.  
    6.  
    7. def down_video(item):
    8.     #全局变量标志，用来表示是第一次爬取.ts文件，还是爬取漏下的.ts文件！
    9.     global file_flag
    10.     #对item进行解包，提取出ts文件和ts文件索引
    11.     index,ts = item[0],item[1]
    12.     #拼接文件序号
    13.     if 0 <= index <=9:
    14.         index = "000" + str(index)
    15.     elif 10 <= index <= 99:
    16.         index = "00" + str(index)
    17.     elif 100 <= index <= 999:
    18.         index = "0" + str(index)
    19.     else:
    20.         index = str(index)
    21.     #爬取视频URL
    22.     URL = "https://s8.fsvod1.com/20230703/J6BHjLy3/1500kb/hls/"
    23.     #请求头
    24.     headers = {
    25.         "authority":"s8.fsvod1.com",
    26.         "method":"GET",
    27.         "path":f"/20221207/10692_4308abda/2000k/hls/{ts}",
    28.         "scheme":"https",
    29.         "Accept":r"*/*",
    30.         "Accept-Encoding":"gzip,deflate,br,zstd",
    31.         "Accept-Language":"zh-CN,zh;q=0.9",
    32.         "Origin":"https://test3.gqyy8.com:4438",
    33.         "Sec-Ch-Ua":'"Chromium";v="122","Not(A:Brand";v="24","Google Chrome";v="122"',
    34.         "Sec-Ch-Ua-Mobile":"?0",
    35.         "Sec-Ch-Ua-Platform":"Windows",
    36.         "Sec-Fetch-Dest":"empty",
    37.         "Sec-Fetch-Mode":"cors",
    38.         "Sec-Fetch-Site":"cross-site",
    39.         "User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/122.0.0.0Safari/537.36"
    40.     }
    41.     #拼接视频url
    42.     URL = URL + "/" + ts
    43.     try:
    44.         r = requests.get(url=URL,headers=headers,timeout=10)
    45.         with open(f"{os.getcwd()}/爬取数据/" + index + ".ts", "wb") as file:
    46.             file.write(r.content)
    47.     except Exception as e:
    48.         if not file_flag:
    49.             fil_list.append([int(index),ts])
    50.         print(index,"写入失败,原因",e,sep="->")
    51.         return
    52.     if file_flag:
    53.         fil_list.remove(item)
    54.     print(index,"写入成功.",sep="->")
    55.  
    56. def check():
    57.     print("开始检查")
    58.     global file_flag
    59.     file_flag = True
    60.     while fil_list:
    61.         pool = ThreadPool(100)
    62.         results = pool.map(down_video, fil_list)
    63.         pool.close()
    64.         pool.join()
    65.     print("检查完毕")
    66.  
    67.  
    68. if __name__ == "__main__":
    69.     ts_list = get_ts_txt()
    70.     create_filedir()
    71.     #创建线程池
    72.     pool = ThreadPool(100)
    73.     #利用map函数给线程分配工作
    74.     pool.map(down_video,enumerate(ts_list))
    75.     #检查函数
    76.     check()

     效果图：

    也是成功全部爬取啦！！

    我累个逗啊！居然有2426个.ts文件！！

    三.合成.ts文件

    其实将所有.ts文件拼凑在一起，有很多方法，在这里作者给出一种相对简单的方法

    1.首先进入cmd切换到我们的“爬取数据”路径下，如下图所示：

     2.接下来输入指令：

    copy /b *.ts my_video.ts

    结果如下图所示：

    最后，去我们的文件夹里面找“my_video.ts”即可播放啦！！

     

    芜湖，可以看玲芽啦~~ 

    四.全部代码

    1. import requests
    2. import os
    3. import re
    4. from multiprocessing.pool import ThreadPool
    5.  
    6. #漏下的.ts文件列表
    7. fil_list = []
    8. #检查标志
    9. file_flag = False
    10.  
    11. def get_ts_txt():
    12.     #4请求URL
    13.     url = "https://s8.fsvod1.com/20230703/J6BHjLy3/1500kb/hls/index.m3u8"
    14.     #请求头
    15.     headers = {
    16.         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"
    17.     }
    18.  
    19.     reponse = requests.get(url=url,headers=headers)
    20.  
    21.     get_txt = reponse.text
    22.     #正则匹配出.ts后缀数据
    23.     ts_files = re.findall(r"\b\w+\.ts\b",get_txt)
    24.  
    25.     #将.ts数据写入到文件中中
    26.     with open("get_ts.txt","w") as file:
    27.         for i in ts_files:
    28.             i = i + "\n"
    29.             file.write(i)
    30.  
    31.     print("获取ts文件成功.")
    32.     return ts_files
    33.  
    34. def create_filedir():
    35.     path = os.getcwd() + "/爬取数据"
    36.     if os.path.exists(path):
    37.         print("\\爬取视频文件夹已存在，本次不创建.")
    38.     else:
    39.         os.mkdir(path)
    40.         print("创建\\爬取文件夹成功.")
    41.  
    42. def down_video(item):
    43.     #全局变量标志，用来表示是第一次爬取.ts文件，还是爬取漏下的.ts文件！
    44.     global file_flag
    45.     #对item进行解包，提取出ts文件和ts文件索引
    46.     index,ts = item[0],item[1]
    47.     #拼接文件序号
    48.     if 0 <= index <=9:
    49.         index = "000" + str(index)
    50.     elif 10 <= index <= 99:
    51.         index = "00" + str(index)
    52.     elif 100 <= index <= 999:
    53.         index = "0" + str(index)
    54.     else:
    55.         index = str(index)
    56.     #爬取视频URL
    57.     URL = "https://s8.fsvod1.com/20230703/J6BHjLy3/1500kb/hls/"
    58.     #请求头
    59.     headers = {
    60.         "authority":"s8.fsvod1.com",
    61.         "method":"GET",
    62.         "path":f"/20221207/10692_4308abda/2000k/hls/{ts}",
    63.         "scheme":"https",
    64.         "Accept":r"*/*",
    65.         "Accept-Encoding":"gzip,deflate,br,zstd",
    66.         "Accept-Language":"zh-CN,zh;q=0.9",
    67.         "Origin":"https://test3.gqyy8.com:4438",
    68.         "Sec-Ch-Ua":'"Chromium";v="122","Not(A:Brand";v="24","Google Chrome";v="122"',
    69.         "Sec-Ch-Ua-Mobile":"?0",
    70.         "Sec-Ch-Ua-Platform":"Windows",
    71.         "Sec-Fetch-Dest":"empty",
    72.         "Sec-Fetch-Mode":"cors",
    73.         "Sec-Fetch-Site":"cross-site",
    74.         "User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/122.0.0.0Safari/537.36"
    75.     }
    76.     #拼接视频url
    77.     URL = URL + "/" + ts
    78.     try:
    79.         r = requests.get(url=URL,headers=headers,timeout=10)
    80.         with open(f"{os.getcwd()}/爬取数据/" + index + ".ts", "wb") as file:
    81.             file.write(r.content)
    82.     except Exception as e:
    83.         if not file_flag:
    84.             fil_list.append([int(index),ts])
    85.         print(index,"写入失败,原因",e,sep="->")
    86.         return
    87.     if file_flag:
    88.         fil_list.remove(item)
    89.     print(index,"写入成功.",sep="->")
    90.  
    91. def check():
    92.     print("开始检查")
    93.     global file_flag
    94.     file_flag = True
    95.     while fil_list:
    96.         pool = ThreadPool(100)
    97.         results = pool.map(down_video, fil_list)
    98.         pool.close()
    99.         pool.join()
    100.     print("检查完毕")
    101.  
    102. if __name__ == "__main__":
    103.     ts_list = get_ts_txt()
    104.     create_filedir()
    105.     #创建线程池
    106.     pool = ThreadPool(100)
    107.     #利用map函数给线程分配工作
    108.     pool.map(down_video,enumerate(ts_list))
    109.     #检查函数
    110.     check()

    ps：复制上直接就可以爬取哦~

  • 相关阅读:
    LibOpenCM3(一) Linux下命令行开发环境配置
    《深入浅出Spring》SpringAOP 详解 ProxyFactoryBean
    Pytorch中的torch.index_select对应MindSpore哪个方法
    新品发布 | Cloudpods 3.9.1 版本上线
    MYSQL SEQUENCE方案
    进程环境~
    关于网络协议的若干问题(五)
    应用程序意外变成另外一个应用程序的图标，打开就是另外一个程序！Synaptics.exe到底是什么？
    六款 Linux 常用远程连接工具介绍
    Deno 命令行界面
  • 原文地址：https://blog.csdn.net/zheshiyangyang/article/details/136490042