Python——爬取歌单(含源代码)

目录

一、定义三个函数方便之后调用

1.由url获取soup函数

2.传入soup，进具体信息进行解析

3.由图片链接保存到本地

二、生产-消费主模块（精华部分）

1.获取一个分类下的所有歌单的id，相当于生产者

2.对每个id，获取歌单的详细信息，相当于消费者

三、主要代码展示

一、定义三个函数方便之后调用

1.由url获取soup函数

2.传入soup，进具体信息进行解析

3.由图片链接保存到本地

def get_soup(url):
    '''传入url，得到soup库解析后的结果'''
    response = requests.get(url)
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    return soup
 
def parsing_information(ids,soup,count):
    '''传入上一节的解析内容，对具体信息进行解析'''
    # 获取歌单标题,替换英文分割符
    title = ids[count]['title'].replace(',', '，')
    # 获取歌单id
    id = ids[count]['href']
    #获取创建者昵称
    nickname = soup.select('.s-fc7')[0].get_text()
    #获取介绍
    description = soup.select('p')[1].get_text()
    #获取歌曲数量
    song_num = soup.select('span span')[0].get_text()
    #获取播放量
    play_num = soup.select('strong')[0].get_text() 
    #获取分享次数
    share_num = soup.select('a i')[2].get_text()    
    #获取评论次数
    comment_num = soup.select('a i')[4].get_text()  #评论次数
    list1 = [title,id,nickname,description,song_num,play_num,share_num,comment_num]
    return list1
    
def save_picture(soup):
    '''这是一个传入soup，保存照片到路径的函数'''
    lis = soup.select('#m-playlist')
    img_url = lis[0].select('.j-img')[0]['data-src']
    img = requests.get(url=img_url)
    name_id = str(random.random())
    if os.path.exists(r'E:/学习文件/大三上/现代程序设计/第十二次作业/图片/' + name_id) == False:
        os.mkdir(r'E:/学习文件/大三上/现代程序设计/第十二次作业/图片' + name_id)
    f = open('E:/学习文件/大三上/现代程序设计/第十二次作业/图片/' + name_id +  + ".jpg", "wb")
    f.write(img.content)
    f.close()

二、生产-消费主模块（精华部分）

1.获取一个分类下的所有歌单的id，相当于生产者

传入的q是多线程中使用的队列，函数末尾使用put()函数传入

def producer(q,url):  
    soup = get_soup(url)
    # 获取包含歌单详情页网址的标签
    #对dec a的class进行选择
    ids = soup.select('.dec a')
    q.put(ids)  

2.对每个id，获取歌单的详细信息，相当于消费者

def consumer(q):
    row_topname = ['歌曲标题','id','昵称','简介','歌曲数量','播放量','分享次数','评论次数']
    file = open('playlist.csv', 'w', encoding='utf-8')
    csv_writer = csv.writer(file)  #csv格式写入文件file
    csv_writer.writerow(row_topname)
    ids = q.get()
    count = 0
    for id in ids:
        url = 'https://music.163.com/' + id['href']  #生产者传递的id链接
        soup = get_soup(url)
        #使用自定义的解析函数，返回信息列表
        list1 = parsing_information(ids, soup, count)
        #使用自定义的图片保存函数
        save_picture(soup)
        #写入信息进csv文件
        csv_writer.writerow(list1)
        count = count + 1  #计数器
    file.close()

三、主要代码展示

def get_soup(url):
    '''传入url，得到soup库解析后的结果'''
    response = requests.get(url)
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    return soup
 
def parsing_information(ids,soup,count):
    '''传入上一节的解析内容，对具体信息进行解析'''
    # 获取歌单标题,替换英文分割符
    title = ids[count]['title'].replace(',', '，')
    # 获取歌单id
    id = ids[count]['href']
    #获取创建者昵称
    nickname = soup.select('.s-fc7')[0].get_text()
    #获取介绍
    description = soup.select('p')[1].get_text()
    #获取歌曲数量
    song_num = soup.select('span span')[0].get_text()
    #获取播放量
    play_num = soup.select('strong')[0].get_text() 
    #获取分享次数
    share_num = soup.select('a i')[2].get_text()    
    #获取评论次数
    comment_num = soup.select('a i')[4].get_text()  #评论次数
    list1 = [title,id,nickname,description,song_num,play_num,share_num,comment_num]
    return list1
    
def save_picture(soup):
    '''这是一个传入soup，保存照片到路径的函数'''
    lis = soup.select('#m-playlist')
    img_url = lis[0].select('.j-img')[0]['data-src']
    img = requests.get(url=img_url)
    name_id = str(random.random())
    if os.path.exists(r'E:/学习文件/大三上/现代程序设计/第十二次作业/图片/' + name_id) == False:
        os.mkdir(r'E:/学习文件/大三上/现代程序设计/第十二次作业/图片' + name_id)
    f = open('E:/学习文件/大三上/现代程序设计/第十二次作业/图片/' + name_id +  + ".jpg", "wb")
    f.write(img.content)
    f.close()
 
def producer(q,url):  
    soup = get_soup(url)
    # 获取包含歌单详情页网址的标签
    #对dec a的class进行选择
    ids = soup.select('.dec a')
    q.put(ids)  
 
def consumer(q):
    row_topname = ['歌曲标题','id','昵称','简介','歌曲数量','播放量','分享次数','评论次数']
    file = open('playlist.csv', 'w', encoding='utf-8')
    csv_writer = csv.writer(file)  #csv格式写入文件file
    csv_writer.writerow(row_topname)
    ids = q.get()
    count = 0
    for id in ids:
        url = 'https://music.163.com/' + id['href']  #生产者传递的id链接
        soup = get_soup(url)
        #使用自定义的解析函数，返回信息列表
        list1 = parsing_information(ids, soup, count)
        #使用自定义的图片保存函数
        save_picture(soup)
        #写入信息进csv文件
        csv_writer.writerow(list1)
        count = count + 1  #计数器
    file.close()
if __name__ == '__main__':
    url_list = []
    plist,clist = [],[]
    q = Queue()
    for n in range(0,1355,35):
        url = f'https://music.163.com/discover/playlist/?order=hot&cat=%E8%AF%B4%E5%94%B1&limit=35&offset={n}'
        url_list.append(url)
    for url in url_list:
        p = Thread(target=producer,args=(q,url,))
        plist.append(p)
    for p in plist:  
        p.start()
    for t in plist:
        p.join()
    for i in range(100): 
        c = Thread(target=consumer,args=(q,))
        clist.append(c)
    for c in clist:  #启动线程
        c.start()
    for c in clist:
        q.put(None)