• 基于大数据的动漫影视可视化分析系统


    温馨提示:文末有 CSDN 平台官方提供的学长 QQ 名片 :)

    》源代码下载:基于大数据的动漫影视可视化分析系统【毕业设计】【数据可视化】【数据分析】【flaskweb】【源代码+演示视频+文档】-CSDN下载

    1. 项目简介

            本动漫分析系统开发语言为Python,并进行数据清洗,数据处理,并最后利用可视化技术进行动漫数据分析。本动漫分析系统的网站搭建采用B/S (Browser/Server)平台技术,使用HTML等实现网页展示,将数据格式化,并存储到json文件中,利用flask搭建后台系统,前端采用 bootstrap 和Echarts实现动漫数据的可视化展示和交互,并从多种因素分析影响动漫的评分情况。

    【系统演示】基于大数据的动漫分析系统

    2. 功能组成

            本系统通过对动漫数据的清洗、分析等,实现动漫的可视化分析,主要功能包括以下方面:

    1. 从某动漫网站抓取所有动漫动画数据,并进行数据清洗,去除无效字符和错误字符,将清洗和结构化后的数据转成 json 格式数据;
    2. 实现从动漫的话数、放送时间、导演、脚本、评分、评分人数等维度进行进行多种形式的可视化分析,包括柱状图、折线图、散点图、扇形图等;
    3. 分析话数、放送时间、导演、脚本、评分人数等因素影响评分的情况。

    3. 动漫数据爬虫

            针对某动漫影视网站,利用 request + beautifulsoup 编写原生网络爬虫,完成数据的采集和清洗,并存储到数据库或文件系统中:

    1. total_page = 200
    2. base_url = 'https://xxxxxxx.tv/anime/browser?sort=rank&page={}'
    3. for page in range(1, total_page):
    4. print('抓取第 {} 页的数据'.format(page))
    5. url = base_url.format(page)
    6. headers = {
    7. 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    8. 'Content-Type': 'application/x-www-form-urlencoded',
    9. 'Accept-Encoding': 'gzip, deflate, compress',
    10. 'Accept-Language': 'en-us;q=0.5,en;q=0.3',
    11. 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
    12. 'Referer': url
    13. }
    14. response = requests.get(url, headers=headers)
    15. response.encoding = 'utf8'
    16. soup = BeautifulSoup(response.text, 'lxml')
    17. item_ul = soup.find(name='ul', attrs={'id': 'browserItemList'})
    18. items = item_ul.find_all(name='li')
    19. for item in items:
    20. try:
    21. ......
    22. # 话数,上映时间,导演等
    23. info = item.find('p', attrs={'class': 'info tip'}).text
    24. info = info.strip().replace(' ', '').split('/')
    25. # 话数
    26. hua_count = info[0][:-1]
    27. date = info[1]
    28. peoples = info[2:] if len(info) > 2 else []
    29. ......
    30. anime_info = {
    31. '封面': img,
    32. '名称': name,
    33. '类型': leixing,
    34. '排名': int(rank),
    35. '话数': int(hua_count),
    36. '放送时间': date,
    37. '导演': daoyan,
    38. '声优': cv_shengyou,
    39. '脚本': jiaoben,
    40. '评分': float(score),
    41. '评分人数': int(score_count)
    42. }

    4. 基于大数据的动漫影视可视化分析系统

    4.1 不同类型动漫的数量分布情况

    4.2 不同类型动漫的评分分布及与评论人数的相关性分析

     4.3 不同动漫导演制作的动漫类型、评分与话数等分布情况

    4.4 不同声优参与的动漫类型、评分与话数等分布情况

     4.5 不同脚本参与的动漫、评分与话数等分布情况

    4.6 动漫名称关键词词云分析

    5. 总结

            本动漫分析系统的网站搭建采用B/S (Browser/Server)平台技术,使用HTML等实现网页展示,将数据格式化,并存储到json文件中,利用flask搭建后台系统,前端采用 bootstrap 和Echarts实现动漫数据的可视化展示和交互,并从多种因素分析影响动漫的评分情况。

     》源代码下载:基于大数据的动漫影视可视化分析系统【毕业设计】【数据可视化】【数据分析】【flaskweb】【源代码+演示视频+文档】-CSDN下载

    欢迎大家点赞、收藏、关注、评论啦 ,由于篇幅有限,只展示了部分核心代码。

    技术交流认准下方 CSDN 官方提供的学长 QQ 名片 :)

    精彩专栏推荐订阅:

    Python 毕设精品实战案例

  • 相关阅读:
    web网页设计期末课程大作业:环境保护主题网站设计——农业三级带表单带js(14页)HTML+CSS+JavaScript
    java和vue车辆管理系统车管所系统
    技术分享 | 抓包分析 TCP 协议
    [React]关于React的组件
    完全二叉树你需要了解一下
    大数据Apache Druid(二):Druid数据结构及架构原理
    Rockland丨Rockland HCP抗体开发流程
    《数据结构与算法基础 by王卓老师》学习笔记——2.4线性表的顺序表示和实现4——查找算法
    享元设计模式
    Web学习笔记-HTML
  • 原文地址:https://blog.csdn.net/andrew_extra/article/details/125624067