TOOLS_Pandas根据日期列进行分组统计及绘图的使用示例

Pandas根据日期列进行分组统计及绘图的使用示例

导入所需要的库

# coding=utf-8
from logging import warning
import os, sys
import datetime
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt


# 处理plt中文显示问题
plt.rcParams["font.sans-serif"] = ["SimHei"]  # 正常显示中文标签
plt.rcParams["axes.unicode_minus"] = False  # 解决负号显示为方块的问题

1
2
3
4
5
6
7
8
9
10
11
12
13

# 读取测试数据 
df = pd.read_excel("./无标题1.xlsx")
df.head()

1
2
3
4

日期列非index的处理方式

对日期列series进行apply变换处理，得到用于分组的key：

• 对 pub_time 列进行 year和month的key提取；
• 然后将其送入 数据框 的groupby；
• 然后对分组内容进行 相应统计值的方法调用；

# 日期非index的处理方式

key_year = lambda x:x.year
key_month = lambda x:x.month

# 按年
# df1 =  df.groupby(df['pub_time'].apply(key_year)).count()

# 按月
# df1 = df.groupby(df['pub_time'].apply(key_month)).count()

# 按年月
df1 = df.groupby([df['pub_time'].apply(key_year),df['pub_time'].apply(key_month)]).count() # 还可以取first() 及其他统计值

df1['m_id']

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

pub_time  pub_time
2021      4            567
          5           1026
          6           1163
          7           1337
          8           1386
          9           1465
          10          1498
          11          1478
          12          1482
2022      1           1205
          2            761
          3           1224
          4           1410
          5           1324
          6           1347
          7            966
          8            965
          9            909
          10           639
          11           145
Name: m_id, dtype: int64
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 绘制每 年，月 数量
df1['m_id'].plot()
plt.title('完整时序指数数据每月数量')
plt.xlabel('year,month')
plt.ylabel('m_id count')
plt.grid()
plt.show()
1
2
3
4
5
6
7

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4JLTHrIi-1668063889609)(output_6_0.png)]

日期作为index的处理方式

# 日期作为index的处理方式
df.index = pd.to_datetime(df.pub_time)

# df.shape # shape size
# df = df[ df['pub_time'] > '2019-01-01'] # 条件过滤
# df = df[df["count_singer"] == 1] # 条件过滤
# df.drop_duplicates(subset=['record_name'],keep='first',inplace=True) # 去重


df2 = df.groupby([df.index.year, df.index.month]).count()
df2['m_id']

# ym_max = df.groupby([df.index.year, df.index.month]).apply(lambda t: t[t.max_iv==t.max_iv.max()])
# print('ym_max:',ym_max)
 
# ym_min = df.groupby([df.index.year, df.index.month]).apply(lambda t: t[t.max_iv==t.max_iv.min()])
# print('ym_min:',ym_min)
 
ym_agg = df.groupby([df.index.year, df.index.month]).agg({'max_iv':['max','mean','min','count']})
ym_agg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

ym_agg.plot()
plt.xlabel('year,month')
plt.ylabel('max_iv analysis')
plt.grid()
plt.show()
1
2
3
4
5

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9GFZFVGr-1668063889611)(output_9_0.png)]

ym_agg.max_iv['mean'].plot()
plt.xlabel('year,month')
plt.ylabel('max_iv mean')
plt.grid()
plt.show()
1
2
3
4
5

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TMWDeO8s-1668063889611)(output_10_0.png)]

ym_agg.max_iv['max'].plot()
plt.xlabel('year,month')
plt.ylabel('max_iv max')
plt.grid()
plt.show()
1
2
3
4
5

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0cPUHXLn-1668063889612)(output_11_0.png)]

ym_agg.max_iv['min'].plot()
plt.xlabel('year,month')
plt.ylabel('max_iv min')
plt.grid()
plt.show()
1
2
3
4
5

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0D9D7Il7-1668063889612)(output_12_0.png)]

ym_agg.max_iv['count'].plot()
plt.xlabel('year,month')
plt.ylabel('max_iv count')
plt.grid()
plt.show()
1
2
3
4
5

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fi2rCmfL-1668063889613)(output_13_0.png)]