python数据分析——分组操作1

参考资料：活用pandas库

1、简介

        借助“分割-应用-组合”（split-apply-combine）模式，分组操作可以有效地聚合、转换和过滤数据。

        分割：基于键，把要处理的数据分割为小片段。

        应用：分别处理每个数据片段。

        组合：把处理结果组合成新的数据集。

        该模式的强大在于，可以将原始数据分割成独立的片段分别进行处理。pandas的groupby工作方式与sql语言的group by相同。

2、聚合

        聚合也称“汇总”（summarization），是指某种形式的数据归约。

（1）基本的单变量分组聚合

# 导入库
import pandas as pd
# 加载Gapminder数据集
df=pd.read_csv(r"...\data\gapminder.tsv",sep='\t')
# 计算每年平均预期寿命
avg_life_exp_by_year=df.groupby('year').lifeExp.mean()
print(avg_life_exp_by_year)

        针对上面的例子，可以认为groupby语句创建了一个子集，里面含有各列的唯一值（或者列的唯一对）。

（2）pandas内置的聚合方法

# 根据所在的洲分组，针对每个组对预期寿命做汇总统计
continent_describe=df.groupby('continent').lifeExp.describe()
print(continent_describe)

（3）聚合函数

        除了直接调用聚合方法，还可以调用agg方法或aggregate方法，传入想用的聚合函数。使用agg或aggregate时，需要使用上表中numpy/scipy函数。

# 导入numpy库
import numpy as np
# 计算各洲的平均预期寿命
# 使用np.mean函数
cont_le_agg=df.groupby('continent').lifeExp.agg(np.mean)
print(cont_le_agg)
# agg和aggregate功能相同
cont_le_agg2=df.groupby('continent')['lifeExp'].aggregate(np.mean)
print(cont_le_agg2)

# 自定义函数的聚合
# 创建自定义函数
def my_mean_diff(values,diff_value):
    """
    计算平均值和diff_value之差
    """
    n=len(values)
    sum=0
    for value in values:
        sum+=value
    mean=sum/n
    return (mean-diff_value)
 
# 计算全球平均预期寿命的平均值
global_mean=df.lifeExp.mean()
print(global_mean)
# 还有多个参数的自定义聚合函数
agg_mean_diff=df.groupby('continent').lifeExp.\
agg(my_mean_diff,diff_value=global_mean)
print(agg_mean_diff)

（4）同时传入多个函数

        如果想同时计算多个聚合函数，可以先把他们全部放入一个python列表，然后把整个列表传入agg或aggregate中。这里所用函数仍然是上表中的sumpy/scipy函数。

# 按洲计算lifeExp的非零个数、平均值和标准差
gdf=df.groupby('continent').lifeExp.agg([np.count_nonzero,np.mean,np.std])
print(gdf)

（5）在agg/aggregate中使用字典

        对于分组的DataFrame指定的dict时，键是DataFrame的列，值是聚合计算使用的函数。这种方法允许对一个或多个变量进行分组，对不同列同时使用不同的聚合函数。

        可以在groupby之后把一个dict传入Series中，直接做汇总统计并将其返回，dict的键是新的列名，这与把dict传入分组的DataFrame时的行为不同，不建议使用。

# 对DataFrame使用字典聚合不同列
# 对于每一年，计算平均值lifeExp、中位数pop和中位数gdfPercap
gdf_dict=df.groupby('year').agg({
    "lifeExp":"mean",
    "pop":"median",
    "gdpPercap":"median"})
print(gdf_dict)

gdf=df.groupby('year')['lifeExp'].\
agg([np.count_nonzero,np.mean,np.std]).\
rename(columns={'count_nonzero':'count',
               'mean':'avg',
               'std':'std_dev'}).\
reset_index()  # 返回一个普通DataFrame
 
print(gdf)