数据分析-Pandas如何观测数据的中心趋势度

数据分析-Pandas如何观测数据的中心趋势度

数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？

数据表，时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。数据分析过程中重新调整，重塑数据表是很重要的技巧，此处选择Titanic数据，以及巴黎、伦敦欧洲城市空气质量监测$N{O}_2$数据作为样例。

数据分析

数据分析-Pandas如何转换产生新列

数据分析-Pandas如何统计数据概况

数据分析-Pandas如何轻松处理时间序列数据

数据分析-Pandas如何选择数据子集

数据分析-Pandas如何重塑数据表-CSDN博客

本文用到的样例数据：

Titanic数据

空气质量监测$N{O}_2$数据

样例代码：

源代码参考 Pandas如何重塑数据表

源代码参考 python数据分析-数据表读写到pandas

导入关键模块

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

plt.close("all")
1
2
3
4
5

在pandas数据分析中，了解观察数据的中心趋势度量是非常重要的。中心趋势度量通常用来描述数据集的平均水平或集中位置。然而，单个的中心趋势度量，并不能重复描述数据的可变范围。

bootstrap_plot可以理解，观察数据的中心趋势度量的可变性。

最简bootstrap图画法

pandas画Auto correlation图方法最简单，只要一句语句搞定。

直接使用 series，autocorrelation_plot函数即可。

from pandas.plotting import bootstrap_plot

data = pd.Series(np.random.rand(1000))

bootstrap_plot(data, size=50, samples=500, color="green");

plt.show()
plt.close("all")
1
2
3
4
5
6
7
8

Bootstrap Sampling：是一种从数据集中重复抽取样本数据并进行替换以估计总体参数的方法。它用于确定总体的各种参数。

Bootstrap 图：它是一种图形方法，用于测量总体的任何所需统计特征的不确定性。它是置信区间的替代。 （也是一种用于计算统计量的数学方法）。

通常，可以使用置信区间以数学方式计算总体统计量的不确定性。然而，在许多情况下，推导出的不确定性公式在数学上是难以处理的。在这种情况下，我们使用 Bootstrap 图。

假设在一个公园里有 5000 人，需要找到整个人口的平均体重。测量每个人的体重然后取平均值是不可行的。

我们所做的是，从人群中随机抽取 5 个人为一组，并找出其均值。做同样的过程 8-10 次。这样，可以更有效地很好地估计总体的平均权重。

让我们考虑一个示例并了解 Bootstrap 图，如何更轻松地从大量人口中获取关键信息。假设有 3000 个随机生成的统一数的样本数据。取出 30 个数字的子样本并找到它的平均值。对另一个随机子样本再次执行此操作，依此类推。

绘制了上述获得的信息的引导图，只需查看它，就可以轻松地对所有 3000 个数字的均值进行很好的估计。可以从引导图中获得其他各种有用的信息，例如：

• 哪个子样本的方差最低，或
• 哪个子样本创建最窄的置信区间等。

以上代码只是一个简单示例，示例代码中的表达式可以根据实际问题进行修改。

后面介绍下其他的展示形式。

觉得有用 收藏 收藏 收藏

点个赞 点个赞 点个赞

End

GPT专栏文章：

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-LangChain + ChatGLM3构建天气查询助手

大模型查询工具助手之股票免费查询接口

GPT实战系列-简单聊聊LangChain

GPT实战系列-大模型为我所用之借用ChatGLM3构建查询助手

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(二)

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(一)

GPT实战系列-ChatGLM2模型的微调训练参数解读

GPT实战系列-如何用自己数据微调ChatGLM2模型训练

GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案

GPT实战系列-Baichuan2本地化部署实战方案

GPT实战系列-Baichuan2等大模型的计算精度与量化

GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF

GPT实战系列-探究GPT等大模型的文本生成-CSDN博客