25个例子学会Pandas Groupby 操作

groupby是Pandas在数据分析中最常用的函数之一。它用于根据给定列中的不同值对数据点(即行)进行分组，分组后的数据可以计算生成组的聚合值。

如果我们有一个包含汽车品牌和价格信息的数据集，那么可以使用groupby功能来计算每个品牌的平均价格。

在本文中，我们将使用25个示例来详细介绍groupby函数的用法。这25个示例中还包含了一些不太常用但在各种任务中都能派上用场的操作。

这里使用的数据集是随机生成的，我们把它当作一个销售的数据集。

 import pandas as pd
 sales = pd.read_csv("sales_data.csv")
 sales.head()
1
2
3

1、单列聚合

我们可以计算出每个店铺的平均库存数量如下:

 sales.groupby("store")["stock_qty"].mean()
 
 #输出
 store
 Daisy      1811.861702
 Rose       1677.680000
 Violet    14622.406061
 Name: stock_qty, dtype: float64
1
2
3
4
5
6
7
8

2、多列聚合

在一个操作中进行多个聚合。以下是我们如何计算每个商店的平均库存数量和价格。

 sales.groupby("store")[["stock_qty","price"]].mean()
1

3、多列多个聚合

我们还可以使用agg函数来计算多个聚合值。

 sales.groupby("store")["stock_qty"].agg(["mean", "max"])
1

4、对聚合结果进行命名

在前面的两个示例中，聚合列表示什么还不清楚。例如，“mean”并没有告诉我们它是什么的均值。在这种情况下，我们可以对聚合的结果进行命名。

 sales.groupby("store").agg(  
     avg_stock_qty = ("stock_qty", "mean"),
     max_stock_qty = ("stock_qty", "max")
     )
1
2
3
4

要聚合的列和函数名需要写在元组中。

5、多个聚合和多个函数

 sales.groupby("store")[["stock_qty","price"]].agg(["mean", "max"])
1

6、对不同列的聚合进行命名

 sales.groupby("store").agg(
     avg_stock_qty = ("stock_qty", "mean"),
     avg_price = ("price", "mean")
     )
1
2
3
4

7、as_index参数

如果groupby操作的输出是DataFrame，可以使用as_index参数使它们成为DataFrame中的一列。

 sales.groupby("store", as_index=False).agg(
     
     avg_stock_qty = ("stock_qty", "mean"),
     avg_price = ("price", "mean")
     )
1
2
3
4
5

8、用于分组的多列

就像我们可以聚合多个列一样，我们也可以使用多个列进行分组。

 sales.groupby(["store","product_group"], as_index=False).agg(
    
     avg_sales = ("last_week_sales", "mean")
     
 ).head()
1
2
3
4
5

每个商店和产品的组合都会生成一个组。

9、排序输出

可以使用sort_values函数根据聚合列对输出进行排序。

 sales.groupby(["store","product_group"], as_index=False).agg(   avg_sales = ("last_week_sales", "mean")
     
 ).sort_values(by="avg_sales", ascending=False).head()
1
2
3

这些行根据平均销售值按降序排序。

10、最大的Top N

max函数返回每个组的最大值。如果我们需要n个最大的值，可以用下面的方法：

 sales.groupby("store")["last_week_sales"].nlargest(2)
 
 store      
 Daisy   413    1883
         231     947
 Rose    948     883
         263     623
 Violet  991    3222
         339    2690
 Name: last_week_sales, dtype: int64
1
2
3
4
5
6
7
8
9
10

11、最小的Top N

与最大值相似，也可以求最小值

 sales.groupby("store")["last_week_sales"].nsmallest(2)
1

12、第n个值

除上面2个以外，还可以找到一组中的第n个值。

 sales_sorted = sales.sort_values(by=["store","last_month_sales"], ascending=False, ignore_index=True)
1

找到每个店铺上个月销售排名第五的产品如下:

 sales_sorted.groupby("store").nth(4)
1

输出包含每个组的第5行。由于行是根据上个月的销售值排序的，所以我们将获得上个月销售额排名第五的行。

13、第n个值，倒排序

也可以用负的第n项。例如，" nth(-2) "返回从末尾开始的第二行。

 sales_sorted.groupby("store").nth(-2)
1

14、唯一值

unique函数可用于查找每组中唯一的值。例如，可以找到每个组中唯一的产品代码如下:

 sales.groupby("store", as_index=False).agg(
 unique_values = ("product_code","unique")
 )
1
2
3

15、唯一值的数量

还可以使用nunique函数找到每组中唯一值的数量。

 sales.groupby("store", as_index=False).agg(
 number_of_unique_values = ("product_code","nunique")
 )
1
2
3

16、Lambda表达式

可以在agg函数中使用lambda表达式作为自定义聚合操作。

 sales.groupby("store").agg(
     total_sales_in_thousands = (
         "last_month_sales", 
         lambda x: round(x.sum() / 1000, 1)
     )
 )
1
2
3
4
5
6

17、apply函数

使用apply函数将Lambda表达式应用到每个组。例如，我们可以计算每家店上周销售额与上个月四分之一销售额的差值的平均值，如下:

 sales.groupby("store").apply(
 lambda x: (x.last_week_sales - x.last_month_sales / 4).mean()
 )
 
 store
 Daisy     5.094149
 Rose      5.326250
 Violet    8.965152
 dtype: float64
1
2
3
4
5
6
7
8
9

18、dropna

缺省情况下，groupby函数忽略缺失值。如果用于分组的列中缺少一个值，那么它将不包含在任何组中，也不会单独显示。所以可以使用dropna参数来改变这个行为。

让我们首先添加一个缺少存储值的新行。

 sales.loc[1000] = [None, "PG2", 10000, 120, 64, 96, 15, 53]
1

然后计算带有dropna参数和不带有dropna参数的每个商店的平均价格，以查看差异。

 sales.groupby("store")["price"].mean()
 
 store
 Daisy     69.327426
 Rose      60.513700
 Violet    67.808727
 Name: price, dtype: float64
1
2
3
4
5
6
7

看看设置了缺失值参数的结果：

 sales.groupby("store", dropna=False)["price"].mean()
 
 store
 Daisy     69.327426
 Rose      60.513700
 Violet    67.808727
 NaN       96.000000
 Name: price, dtype: float64
1
2
3
4
5
6
7
8

groupby函数的dropna参数，使用pandas版本1.1.0或更高版本。

19、求组的个数

有时需要知道生成了多少组，这可以使用ngroups。

 sales.groupby(["store", "product_group"]).ngroups
 
 18
1
2
3

在商店和产品组列中有18种不同值的不同组合。

20、获得一个特定分组

get_group函数可获取特定组并且返回DataFrame。

例如，我们可以获得属于存储“Daisy”和产品组“PG1”的行如下:

 aisy_pg1 = sales.groupby(
 ["store", "product_group"]).get_group(("Daisy","PG1")
 )
 daisy_pg1.head()
1
2
3
4

21、rank函数

rank函数用于根据给定列中的值为行分配秩。我们可以使用rank和groupby函数分别对每个组中的行进行排序。

 sales["rank"] = sales.groupby("store"["price"].rank(
 ascending=False, method="dense"
 )
 
 sales.head()
1
2
3
4
5

22、累计操作

们可以计算出每组的累计总和。

 import numpy as npdf = pd.DataFrame(
    {
      "date": pd.date_range(start="2022-08-01", periods=8, freq="D"),
      "category": list("AAAABBBB"),
      "value": np.random.randint(10, 30, size=8)
    }
 )
1
2
3
4
5
6
7

我们可以单独创建一个列，包含值列的累计总和，如下所示:

 df["cum_sum"] = df.groupby("category")["value"].cumsum()
1

23、expanding函数

expanding函数提供展开转换。但是对于展开以后的操作还是需要一个累计函数来堆区操作。例如它与cumsum 函数一起使用，结果将与与sum函数相同。

 df["cum_sum_2"] = df.groupby(
     "category"
 )["value"].expanding().sum().values
1
2
3

24、累积平均

利用展开函数和均值函数计算累积平均。

 df["cum_mean"] = df.groupby(
     "category"
 )["value"].expanding().mean().values
1
2
3

25、展开后的最大值

可以使用expand和max函数记录组当前最大值。

 df["current_highest"] = df.groupby(
     "category"
 )["value"].expanding().max().values
1
2
3

在Pandas中groupby函数与aggregate函数共同构成了高效的数据分析工具。在本文中所做的示例涵盖了groupby功能的大多数用例，希望对你有所帮助。

https://avoid.overfit.cn/post/eb6cd15ec5134397842f580f383ac712

作者：Soner Yıldırım