Python 爬虫学习之路 第一天

其中使用了非贪婪通用匹配，使用F12调到开发者工具，对于一个详情页所在的超链接存在于href之后，因此需要使用一个括号表示需要匹配得到的属性，因此这个正则表达式表示的就是匹配超链接，然后使用findall获取所有匹配的内容，最后拼接成一个完整的详情页，因此我们就得到了所需要的详情页的url

接下来，就是爬取详情页。

通过分析可以得到，每个页面所拥有的信息有电影名称，评分，类型，内容简介，封面（只是一个网址）和上映时间，因此需要先获取html代码，再使用正则表达式匹配每一个信息即可。

# 爬取详情页的数据
def scrape_detail(url):
    return scrape_page(url)
 
def parse_detail(html):
    # 匹配cover信息，可以使用compile将正则表达式转换为一个正则表达式对象
    # 可以每一次不用重新书写正则表达式
    # 封面信息
    cover_pattern = re.compile('class="item.*?',re.S)
 
    # 名称信息
    name_pattern = re.compile('(.*?)')
 
    # 类别信息
    categories_pattern = re.compile('(.*?).*?',re.S)
 
    # 上映时间信息
    published_at_pattern = re.compile('(\d{4}-\d{2}-\d{2})\s?上映')
 
    # 某一部电影的内容信息
    drama_pattern = re.compile('.*?(.*?)
',re.S)
 
    # 评分信息
    score_pattern = re.compile('(.*?)
',re.S)
 
    # 再对每一个信息进行匹配
    # 如果不是特殊的情况基本都使用search
    # 使用strip函数获得给定需求
    cover = re.search(cover_pattern, html).group(1).strip() if re.search(cover_pattern, html) else None
 
    name = re.search(name_pattern, html).group(1).strip() if re.search(name_pattern, html) else None
 
    # 因为结果可能有多个所以需要使用findall函数返回一个列表
    categories = re.findall(categories_pattern, html) if re.findall(categories_pattern, html) else []
 
    published_at = re.search(published_at_pattern, html).group(1) if re.search(published_at_pattern, html) else None
 
    drama = re.search(drama_pattern, html).group(1).strip() if re.search(drama_pattern, html) else None
 
    # 注意score是一个浮点数需要强制转换
    score = float(re.search(score_pattern, html).group(1).strip()) if re.search(score_pattern, html) else None
 
    return {
        '封面': cover,
        '名字': name,
        '类别': categories,
        '上映时间': published_at,
        '内容简介': drama,
        '评分': score
    }

这一部分注释写的很详细，不再赘述。

最后，当然是储存数据

我还没有学如何转换到数据库中，那就姑且用json文件保存就行，然后使用万能的记事本打开即可。

import json
from os import makedirs
from os.path import exists
RESULTS_DIR = 'results'
# 判断是否存在路径如果存在不用管了 ， 如果不存在重新创建一个
exists(RESULTS_DIR) or makedirs(RESULTS_DIR)
 
import multiprocessing
 
 
# ensure_ascii = False 可以保证中文字符在文件中正常输出
# indent 两行缩进
def save_data(data):
    name = data.get('名字')
    data_path = f'{RESULTS_DIR}/{name}.json'
    json.dump(data, open(data_path, 'w', encoding='utf-8'),ensure_ascii=False, indent=2)

然后就是主函数

有两种表达方法，第一种就是毫无优化的爬取，也就是一个一个网页进行爬取，最终得到每个电影的信息，第二种就是优化版本，用多进程加速，将每个页码放入进程池中，让电脑的cpu进行加速，就比如说，4核电脑，python默认有4个进程同时进行，实现加速

第一种

def main():
    for page in range(1 , TOTAL_PAGE + 1):
        index_html = scrape_index(page) # 得到列表页的url
        detail_urls = parse_index(index_html) # 得到详情页的url
 
        # 遍历整个详情页的url 然后提取每一个url的信息 最后输出即可
        for detail_url in detail_urls:
            detail_html = scrape_detail(detail_url)
            data = parse_detail(detail_html)
            logging.info('get detail data %s', data)
            logging.info('saving data to json file')
            save_data(data)
            logging.info('data saved successfully')
 
        # logging.info('detail urls %s', list(detail_urls))
 
 
if __name__ == '__main__':
    main()

第二种

def main(page):
    index_html = scrape_index(page)
    detail_urls = parse_index(index_html)
    for detail_url in detail_urls:
        detail_html = scrape_detail(detail_url)
        data = parse_detail(detail_html)
        logging.info('get detail data %s', data)
        logging.info('saving data to json file')
        save_data(data)
        logging.info('data saved successfully')
 
 
if __name__ == '__main__':
    pool = multiprocessing.Pool()
    pages = range(1, TOTAL_PAGE + 1)
    pool.map(main, pages)
    pool.close()

以上就是第一个爬虫程序

如果代码有问题，可以提出来一起学习。

以下是运行结果