Python缺失值的处理

一. 缺失值的检测

pandas中None或NaN代表缺失值，检测缺失值的常用方法包括isnull，nonull，isna，notna

import pandas as pd
import numpy as np
na_df=pd.DataFrame({
    "A":[1,2,np.NAN,4],
    "B":[2,34,4,np.NAN],
    "C":[2,345,np.NAN,2],
    "D":[4,5,np.NAN,np.NAN]
})
print(na_df)
#使用isna()方法检测是否存在缺失值
na_df.isna()
1
2
3
4
5
6
7
8
9
10
11

二. 缺失值的处理

1.删除缺失值

dropna()函数用于删除缺失值所在的一行或一列数据。其使用格式如下：

DataFrame.dropna(axis=0,how='any',subset=None,inplace=False)
1

• axis=0删除缺失值所在的一行数据，等于1则删除那一列数据
• subet:删除指定列的缺失值
  以此数据为例
  

na_df.dropna()#删除缺失值所在的一行数据
1

2.填充缺失值

pandas中提供了fill函数填充缺失值

DataFrame.fillna(value=None,method=None,axis=None,inplace=False,limit=None,dowbcast=None)
1

• value:表示填充的数据，可以为变量、字典、Series或DataFrame类对象
• method：表示填充的方式，默认为None。可以为pad或ffill和backfill和bfiff前两个代表使用前面的值填充，backfill和bfiff表示使用后面的值填充
• axis：取0或者1分别代表填充行和列
• limit：表示连续填充的最大数量
  接下来将使用fillna函数来填充下面数据
  

na_df.fillna(method="ffill")
1

3.插补缺失值

pandas中提供了interpolate函数来插补缺失值，其使用语法为：

DataFrame.interpolate(method="linear",axis=0)
1

• method：表示使用的插值方法。改参数支持“linear”（默认线性插值），“time”（时间序列插值），“index”，‘value’，‘nearest’（就近插值）
  插值前：
  

na_df.interpolate(method='linear')
1