7.pandas缺失值处理（表格数据处理）

案例：对特殊的Excel的读取，清洗，处理

1.读取excel的时候忽略前几个空行

import pandas as pd
#skiprows=2，跳过前两行
studf = pd.read_excel("../data/stu.xlsx",skiprows=2)
print(studf)
1
2
3
4

2.检测空值

print(studf.isnull())
# print(studf['分数'].isnull())
# print(studf['分数'].isnull())
# 筛选没有空分数的所有行
# print(studf.loc[studf['分数'].notnull(),:])
1
2
3
4
5

3.删除掉全部是空值的列

# 如果列都是空，则删除掉，how匹配所有，inplace=True代表直接修改
studf.dropna(axis="columns", how='all', inplace=True)
print(studf)
1
2
3

4.删除掉全部是空值的行

studf.dropna(axis="index", how='all', inplace=True)
print(studf)
1
2

Python Pandas对缺失值的处理方法

pdf 0星 超过10%的资源 70KB

下载

5.将分数列为空的填充为0分

studf = studf.fillna({"分数": 0})
# 等同于
# studf.loc[:, '分数'] = studf['分数'].fillna(0)
print(studf)
1
2
3
4

6.将姓名的缺失值填充

使用前面有效值填充，用ffill:forward fill

studf.loc[:, '姓名'] = studf['姓名'].fillna(method='ffill')
print(studf)
1
2

7.将清洗好的excel保存

studf.to_excel("../data/stu_clean.xlsx", index=False)
1

最后结果