• Python爬虫和数据分析,石油原油加工产品产量数据处理分析


    前些天发现了一个巨牛的人工智能学习电子书,通俗易懂,风趣幽默,无广告,忍不住分享一下给大家。(点击跳转人工智能学习资料)


    微信公众号:创享日记
    发送:原油分析
    获取完整无水印报告+Python源程序代码


    本程序分析了自2014年到2020年每年我国原油加工的产量,并且分析了2019年全国各省份原油加工量。

    运行本程序需要requests、bs4、csv、pandas、matplotlib、pyecharts库的支持,如果缺少某库请自行安装后再运行。其中pyecharts库需要按照这个网站的去安装:Python的pyecharts安装 - 派大星微微一笑 - 博客园 (cnblogs.com)

    输出结果是好几张图片(请使用支持显示图片的编辑器运行,例如anaconda3里面的spyder编辑器),2个excel表,4个csv文件以及一个名字为render的html文件(需要用浏览器打开),直观的数据处理部分是图片以及html文件,数据处理的是excel文件,这两个可以直接在报告中使用,详见课程报告(文件默认生成在与python文件同一目录下)。


    一、任务描述

    石油是工业的命脉。

    一直到2020年,我国原油产量基本处于平稳的状态,大部分原油来自国外进口;中国原油加工产量在华东、东北地区占比较大,华南地区相对较少。原油的加工企业对原油的加工有很大的影响,中国石油营业收入及净利润也十分可观。

    本课题的目标是用python编程,抓取有关网站的数据,并将获取数据保存到csv文件和excel文件中,然后使用python对数据进行清洗及处理,利用python可视化,结合数据处理与分析,获得数据的统计分析结果。
    在这里插入图片描述

    二、数据获取与清洗

    1、数据描述
    数据来源:2020年中国原油加工产业现状分析、2019年中国原油加工量产量及格局分析(当前网络上暂无2020年数据,故爬取了2019年数据)
    数据获取:2014-2020年中国原油产量统计、中国各地区原油加工比例。

    2、使用工具
    python是一种功能丰富的语言,它拥有一个强大的基本类库和数量众多的第三方扩展。本次报告,使用到的库有:
    1)requests库
    2)BeautifulSoup4库
    3)csv库
    4)pandas库

    3、数据获取步骤
    第一步:从网页上获取HTML内容。
    第二步:分析网页内容并提取有用数据
    第三步:将获得的数据写入Excel文件。

    4、程序代码

    1. 获取数据代码如下
      文件夹名称:报告
      文件名称: 石油加工产品产量分析
      在这里插入图片描述
      在这里插入图片描述
    2. 将获得各省原油加工产量以及各种油产量放入csv文件中,使用的函数代码如下:
      在这里插入图片描述

    5 数据清洗后保存到Excel和csv文件,使用的函数、Excel文件截图,存储位置如图4、5、6、7所示:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    三、数据处理和分析

    1、数据可视化工具
    python是一种功能丰富的语言,它拥有一个强大的基本类库和数量众多的第三方扩展。报告中使用Matplotlib库以及pyecharts库的Map库实现了数据可视化。

    2、先用python 对2014-2020年各种油产量以及2019年各省油产量数据进行可视化处理,所用的函数代码以及柱状图如图8、9所示。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    3、统计各种加工油产量以及各省市油产量数据,可视化后,画出折线图、饼状图如图10所示使用的代码如图11所示:

    注明:代码详见下载的源码文件

    在这里插入图片描述

    4、特别地,我们安装pyecharts库将2019年各省油的产量在整个中国地图中呈现出来,观看时只需要将鼠标移到对应的省份,这样观看更加直观和方便。结果如图12所示:(代码详见下载的源码文件)
    在这里插入图片描述

    四、关键问题及对策​(详见下载的报告)

    五、数据处理与分析结果分析
    综合以上分析,自2014-2020年各种油产量数据可以看出:
    (1)各种加工油产量中柴油稳居第一,润滑基础油产量最低,表明我国在柴油方面需求较大,汽油相对较少,润滑基础油需求不高。
    (2)七种加工油产量中柴油产量在2014年到2017年发展平稳,从2017年到2020年逐年下降;石脑油、润滑基础油、石油沥青的产量逐年上升;汽油在2014到2019年产量逐年上升,但在2020年突然下降,可能受到了疫情的影响;燃料油近些年来产量上下浮动较大,但在2018年到2020年产量一直上升,推测下一年产量还会上升;总体来看,未来除柴油和汽油外,其他油下一年产量可能还会升高,柴油和汽油在经历疫情影响后可能会积极恢复,再次实现增长。
    (3)2019年中国原油加工产量65198.1万吨,其中:位于第一的是山东省,原油加工量产量11342.2万吨;第二的是辽宁省,原油加工量产量8186.5万吨;广东省进入第三,原油加工量产量4665.6万吨;其中值得注意的是在其他地区加工的原油占大多数,产量达到10574.8万吨,这些产量有可能来自暂无数据的山西、重庆、贵州、台湾,还有可能是从国外进口的成品油。
    (4)最近一年,2020年中国原油加工产量为67440.8万吨,同比增长3.4%,表明虽然我国经历了新冠疫情的影响,但是我国在疫情得到控制后积极恢复,原油加工产量不降反增,原油加工产业受到疫情影响不大。
    (5)原油加工产品中,2020年中国石脑油产量为4232万吨,同比增长8.6%;中国润滑基础油产量为875万吨,同比增长14.3%;中国柴油产量为15904.9万吨,同比下降4.4%;中国煤油产量为4049.4万吨,同比下降23.2%;中国汽油产量为13171.7万吨,同比下降6.7%;中国燃料油产量为3406.3万吨,同比增长37.9%;中国石油沥青产量为6279.6万吨,同比增长24.6%;总体来看我国原油加工产业正不断发展。

    六、程序代码(详见下载的报告或源文件)

  • 相关阅读:
    828成首个B2B企业节,华为联合3万生态伙伴助力中小企业数字化转型
    社区系统项目复盘-7
    Rust错误处理机制:优雅地管理错误
    谈谈HTTP协议的方法里,GET和POST的区别?我来教你如何回答~
    win10安装及配置Gradle
    设计模式学习(九):装饰器模式
    worthington酶活性影响丨worthington酶的化学性质简介
    极简UVM RAL示例(PART2--通过rsp返回给regmodel)
    领悟《信号与系统》之 信号与系统的描述-下节
    视频目标语义分割自动标注——从图像轮廓提取到转成json标签文件
  • 原文地址:https://blog.csdn.net/m0_46653805/article/details/125958848