• pandas 统计函数


    01 nunique
    number of unique,用于统计各列数据的唯一值个数,相当于SQL语句中的count(distinct **)用法。nunique()既适用于一维的Series也适用于二维的DataFrame,但一般用于Series较多,此时返回一个标量数值,表示该series中唯一值的个数。

    例如,想统计前面数据表中开课的个数,则可用如下语句:

    02 unique
    nunique用于统计唯一值个数,而unique则用于统计唯一值结果序列。接收一个series类型作为输入,返回一个去重后的一维ndarray对象作为输出。

    正因为各列的返回值是一个ndarray,而对于一个dataframe对象各列的唯一值ndarray长度可能不一致,此时无法重组成一个二维ndarray,从这个角度可以理解unique不适用于dataframe的原因。
    仍以前述为例,想统计所有开课的课程名,则可用如下语句:

    03 value_counts
    如果说unique可以返回唯一值结果的话,那么value_counts则在其基础上进一步统计各唯一值出现的个数;类似的,unique返回一个无标签的一维ndarray作为结果,与之对应value_counts则返回一个有标签的一维series作为结果。

    例如,在上述例子中,不仅想知道开课的课程名,还需了解各门课的选课人数,可用语句为:

    如果说前面的三个函数主要适用于pandas中的一维数据结构series的话(nunique也可用于dataframe),那么接下来的这两个函数则是应用于二维dataframe。

    04 groupby
    groupby,顾名思义,是用于实现分组聚合统计的函数,与SQL中的group by逻辑类似。例如想统计前面成绩表中各门课的平均分,语句如下:

    当然,groupby的强大之处在于,分组依据的字段可以不只一列。例如想统计各班每门课程的平均分,语句如下:

    不只是分组依据可以用多列,聚合函数也可以是多个。例如想同时统计各班每门课程的选修人数和平均分,语句如下:

    普通聚合函数mean和agg的用法区别是,前者适用于单一的聚合需求,例如对所有列求均值或对所有列求和等;而后者适用于差异化需求,例如A列求和、B列求最值、C列求均值等等。
    另外,groupby的分组字段和聚合函数都还存在很多其他用法:分组依据可以是一个传入的序列(例如某个字段的一种变形),聚合函数agg内部的写法还有列表和元组等多种不同实现。例如,这里想以学生姓氏进行分组统计课程平均分,语句如下:

    05 pivot_table
    pivot_table是pandas中用于实现数据透视表功能的函数,与Excel中相关用法如出一辙。

    何为数据透视表?数据透视表本质上仍然数据分组聚合的一种,只不过是以其中一列的唯一值结果作为行、另一列的唯一值结果作为列,然后对其中任意(行,列)取值坐标下的所有数值进行聚合统计,就好似完成了数据透视一般。
    pivot_table函数参数列表如下:

    在以上参数中,最重要的有4个:

    values:用于透视统计的对象列名
    index:透视后的行索引所在列名
    columns:透视后的列索引所在列名
    aggfunc:透视后的聚合函数,默认是求均值
    这里仍然以求各班每门课程的平均分为例,则应用pivot_table实现此功能的语句为:

    aggfunc默认是求均值函数’mean’

    作为对比,再次给出用groupby实现相同功能的结果:

    分组后如不加[‘成绩’]则也可返回dataframe结果

    从结果可以发现,与用groupby进行分组统计的结果很是相近,不同的是groupby返回对象是2个维度,而pivot_table返回数据格式则更像是包含3个维度。

    既然二者如此相似,那么是否可以实现相互转换呢?答案是肯定的!

    06 stack 和 unstack

    stack和unstack可以实现在如上两种数据结果中相互变换。从名字上直观理解:

    stack用于堆栈,所以是将3维数据堆成2维
    unstack用于解堆,所以可将2维数据解堆成3维
    直接以前述分析结果为例,对pivot_table数据透视结果进行stack,结果如下:

    pivot_table+stack=groupby

    类似地,对groupby分组聚合结果进行unstack,结果如下:

    groupby+unstack=pivot_table

  • 相关阅读:
    如何保证 RabbitMQ 的消息可靠性?
    2051. The Category of Each Member in the Store
    git的使用
    对于Java循环中的For和For-each,哪个更快
    Android通信安全之HTTPS
    商标怎样转让?
    Packed Ciphertexts in LWE-based Homomorphic Encryption:解读
    Python合并多个Excel文件中的指定sheet
    PDF如何转Excel?学会这3个方法,1分钟就能实现转换
    Python量化-如何获取实时股票信息
  • 原文地址:https://blog.csdn.net/cuisidong1997/article/details/134099339