jupylab pandas按条件批量处理xls数据

批量处理xls表数据

引入相关包

import pandas as pd
import xlrd
import numpy as np

# 去掉jupyleb警告
import warnings
warnings.filterwarnings("ignore")

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = 'all'
1
2
3
4
5
6
7
8
9
10

读取一个表，按照条件筛选，并统计多少条，并封装成函数，返回值为条数

def qushu(path):
	#读取xls表中的数据到pandas中
    wb = xlrd.open_workbook(path, logfile=open(os.devnull, 'w'))
    df = pd.read_excel(wb)

	#按照列名   条件   筛选出表中数据
    data = df[(df['手术类别'] == '手术') | (df['手术类别'] == '介入治疗') ]
 
    #data_drop = data.drop_duplicates(subset=['病案号'],keep=False) 只筛选病案号出现一次的患者
    data_drop = data.drop_duplicates(subset=['病案号'],keep='first') #保留第一次出现的重复行，删除后面的重复行。
    
    #查询符合的条数
    len_num = data_drop.shape[0]
    return len_num
1
2
3
4
5
6
7
8
9
10
11
12
13
14

pandas函数简介drop_duplicates

函数体：

df.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
1

主要参数：

subset： 输入要进行去重的列名，默认为None

keep： 可选参数有三个：‘first’、 ‘last’、 False， 默认值 ‘first’。其中，

first表示： 保留第一次出现的重复行，删除后面的重复行。
last表示： 删除重复项，保留最后一次出现。
False表示： 删除所有重复项。
inplace：布尔值，默认为False，是否直接在原数据上删除重复项或删除重复项后返回副本。

批量读取文件

#文件名为1.xls、2.xls、.....
str = "C:/1.xls"

#提取每个文件名，这里比较灵活，可以多种方法，我这里有些不妥，可以直接循环拼接字符串
str_split_path = str.split(".")[0]
str_split_path = str_split_path[:-1]

num_list = []#将数据存到数组中

#循环读取操作xls，并将返回的数据保存在表中
for i in range(1,21):
    str_all = str_split_path + "{}".format(i) + ".xls"
    num_1 = qushu(str_all)
    num_list.append(num_1)

print(num_list)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16