• 爬取微博热榜并将其存储为csv文件


    🙌秋名山码民的主页
    😂oi退役选手,Java、大数据、单片机、IoT均有所涉猎,热爱技术,技术无罪
    🎉欢迎关注🔎点赞👍收藏⭐️留言📝
    获取源码,添加WX


    前言

    基于大数据技术的社交媒体文本情绪分析系统设计与实现,首先需要解决的就是数据的问题,我打算利用Python 语言的Scrapy、Beautiful Soup等工具抓取一段时间内新浪微博用户对于热点事件的博文之后,按照事件、时间等多种方式进行分类,接着利用正则表达式等工具过滤掉微博正文中的超链接、转发信息、表情符号、广告宣传和图片等无效信息之后,将处理完的文本进行手工标注,最终将标注的文本作为训练语料库。今天的主要工作量就是对数据的获取,进行简单的热榜爬虫、和热点爬虫,热榜爬虫代码进行公开,热点爬虫代码需要的欢迎私信有偿获取。

    1. 热榜前50爬虫

    所需库:

    import requests
    from bs4 import BeautifulSoup
    import pandas as pd
    
    • 1
    • 2
    • 3

    新浪微博目标网站:
    url = ‘https://s.weibo.com/top/summary/’

    cookie的获取:
    Cookie中包含以下字段:

    • SUB:用户身份认证信息,通常由数字和字母组成。
    • SUBP:用户身份认证信息,通常由数字和字母组成。
    • SINAGLOBAL:用户身份认证信息,通常由数字和字母组成。
    • _s_tentry:用户访问来源网站的信息。
      在这里插入图片描述
    cookie = '你自己的cookie'
    
    • 1

    常规爬虫代码

    # 获取网页响应,对网页响应进行编码
    response = requests.get(url, headers=headers)
    response.encoding = response.apparent_encoding
    html = response.text
    
    # 将网页文本使用Beautifulsoup解析
    soup = BeautifulSoup(html, 'html.parser')
    
    # allnews存放热搜前50的新闻和热度,形式为{'新闻':'热度'}字典
    all_news = {}
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    微博热榜分析
    在这里插入图片描述

    
    # 定位网页元素,观察到热搜新闻位于'td'元素下,class为'td-02'
    for news in soup.find_all('td', class_='td-02')[1:]:
        text = news.text.split('\n')[1].strip()
        if news.text.split('\n')[2].strip() == '':
            continue
        elif news.text.split('\n')[2].strip()[0].isdigit():
            hot = news.text.split('\n')[2].strip()
        else:
            hot = news.text.split('\n')[2].strip()[2:]
        all_news[text] = hot
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    存储为csv

    
    # 将字典转为DataFrame,并将DataFrame保存为csv文件
    df = pd.DataFrame.from_dict(all_news, orient='index', columns=['热度'])
    df.index.name = '新闻'
    df.to_csv('weibo_hot.csv', encoding='utf-8-sig')
    
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    结果展示

    在这里插入图片描述

    最后

    如果本文对你有所帮助,还请三连支持一下博主!
    请添加图片描述

  • 相关阅读:
    总结vue 需要掌握的知识点
    记一次提升18倍的性能优化
    企业架构LNMP学习笔记53
    VUE 笔记 基础语法篇
    2023NOIP A层联测25-游戏
    【python】(十九)python常用第三方库——urllib3
    白话文解析LiteFlow的理念是什么?什么时候用该怎么用?干货满满
    吃透SpringBoo的这些t知识,你就已经超过90%的Java面试者了
    使用DeepSpeed加速大型模型训练(二)
    Chapter8 支持向量机
  • 原文地址:https://blog.csdn.net/weixin_45920495/article/details/133757856