day03_pandas_demo

pandas介绍

• pandas= panel + data + analysis 面板数据分析
• panel面板数据-计量经济学 三维数据
• 以numpy为基础，借力numpy模块在计算方面性能高的优势
• 基于matplotlib，能够简便的画图
• 独特的数据结构

为什么使用pandas

• 便捷的数据处理能力
• 读取文件方便
• 封装了matplotlib、numpy的画图和计算能力

DataFrame

## 结构：既有行索引，又有列索引的二维数组
import pandas as pd
import numpy as np
stock_change = np.random.normal(0, 1, (10, 5))
stock_change
1
2
3
4
5

array([[ 0.52652359, -0.42210135,  0.45506419, -0.1319933 , -0.85892243],
       [-2.80978824,  0.68502373, -0.72809275, -1.56716962,  0.24278934],
       [ 0.1423945 , -0.14913827, -0.30118759,  0.80841083,  0.56448585],
       [-1.11053808, -0.91833131, -0.82696531,  0.33592674, -1.81590623],
       [-0.7972349 , -0.38960542, -0.64822525, -1.67732846, -1.1320404 ],
       [-0.83075257, -0.96589613,  1.21458607, -0.54116531,  0.5416992 ],
       [ 0.2346827 ,  0.38728822,  0.5534352 ,  0.49615629,  0.03958449],
       [ 1.32743523,  0.8559906 , -0.35473279, -0.40734067,  0.23585156],
       [ 2.217162  ,  0.43897264,  1.39278121, -0.17076621,  1.25111371],
       [-1.84123059, -1.00666366,  2.07583716,  1.03959872,  1.20092384]])
1
2
3
4
5
6
7
8
9
10

stock_change1 = pd.DataFrame(stock_change)  ## 添加默认的索引
stock_change1
1
2

# 添加行索引
stock_code = ['股票{}'.format(i+1) for i in range(10)]
stock_code
pd.DataFrame(stock_change, index=stock_code)  ## 这里需要注意第一个参数是ndarray，不是DataFrame结构，否则数据会变为nan
1
2
3
4

• pd.date_range(start=None,end=None,periods=None,freq=‘B’)

  start : 开始时间
  end : 结束时间
  periods : 时间天数
  freq : 递进单位，默认1天，'B’默认略过周末

date = pd.date_range(start='20231021', end=None, periods=5, freq='B')
date
1
2

DatetimeIndex(['2023-10-23', '2023-10-24', '2023-10-25', '2023-10-26',
               '2023-10-27'],
              dtype='datetime64[ns]', freq='B')
1
2
3

stock_c = pd.DataFrame(stock_change, index=stock_code, columns=date)
stock_c
1
2

DataFrame属性

• 对象.shape 获取形状
• 对象.index 获取行索引
• 对象.columns 获取列索引
• 对象.values 获取值
• 对象.T 获取行列转换
• 对象.head() 查看前几行，默认是5
• 对象.tail() 查看最后几行 默认是5

stock_c.shape
1

(10, 5)
1

stock_c.index
1

Index(['股票1', '股票2', '股票3', '股票4', '股票5', '股票6', '股票7', '股票8', '股票9', '股票10'], dtype='object')
1

stcok_c.columns
1

DatetimeIndex(['2023-10-23', '2023-10-24', '2023-10-25', '2023-10-26',
               '2023-10-27'],
              dtype='datetime64[ns]', freq='B')
1
2
3

stock_c.values
1

array([[-1.7961491 ,  0.06346948,  0.92233413, -0.33820729,  2.15702396],
       [-0.06421753,  0.96945298,  0.22389647, -0.79510515, -2.02049945],
       [-0.03928641,  0.04666511, -0.40881248, -0.28414454,  1.85242648],
       [-1.81161734,  0.5887991 , -1.02058093, -0.42130023, -1.06816   ],
       [-0.86718681,  0.07026887,  0.36241195,  0.59581008,  0.00531913],
       [-2.38428482,  0.18521273, -0.09420118,  0.55970591,  1.15605167],
       [ 1.23139579,  0.22693018, -0.28454449,  1.05628637, -0.76550258],
       [ 1.45183169, -0.51849484,  0.11550995,  0.57823283,  0.17432416],
       [ 1.18446114, -0.3276933 , -1.40543347,  1.48046993,  0.04913251],
       [ 0.89130874,  0.78086438, -0.85829505, -1.15447368,  0.12731851]])
1
2
3
4
5
6
7
8
9
10

stock_c.T
1

stock_c.head()
1

stock_c.tail()
1

DataFrame的索引

修改行列的索引值

stock_c.index = [f'股票_{i+1}' for i in range(10)]
## 不能直接索引改变
## stock_c.index[2] = '123'  ## pandas不支持这样的索引
stock_c
1
2
3
4

重设索引值

## stock_c.reset_index(drop=True)  当drop=True就会删除之前的索引，为Fasle就不会删除之前的索引
stock_c.reset_index()
1
2

stock_c.reset_index(drop=True)
1

以某列设置新索引

df = pd.DataFrame({'year':[2021, 2021, 2023, 2024],
                  'month':[1, 2, 3, 4],
                  'sale':[22, 100, 222, 113]})
df
1
2
3
4

df.index
1

RangeIndex(start=0, stop=4, step=1)
1

## set_index(keys=, drop=True)  keys列索引名称或者列索引名称列表 drop表示是否将列索引数据删除
df.set_index(keys=['year'])
1
2

new_df = df.set_index(keys=['year', 'month'], drop=False)
new_df
1
2

new_df.index
1

MultiIndex([(2021, 1),
            (2021, 2),
            (2023, 3),
            (2024, 4)],
           names=['year', 'month'])
1
2
3
4
5

MultiIndex

new_df.index.names
1

FrozenList(['year', 'month'])
1

tuples = [('bar', 'one'),
     ('bar', 'two'),
     ('baz', 'one'),
     ('baz', 'two'),
     ('foo', 'one'),
     ('foo', 'two'),
     ('qux', 'one'),
     ('qux', 'two')]
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])
index
1
2
3
4
5
6
7
8
9
10

MultiIndex([('bar', 'one'),
            ('bar', 'two'),
            ('baz', 'one'),
            ('baz', 'two'),
            ('foo', 'one'),
            ('foo', 'two'),
            ('qux', 'one'),
            ('qux', 'two')],
           names=['first', 'second'])
1
2
3
4
5
6
7
8
9

pd.Series(np.random.randn(8), index=index)
1

first  second
bar    one      -0.816907
       two       0.660782
baz    one      -1.032361
       two      -0.595878
foo    one      -0.658145
       two      -0.891936
qux    one       0.385722
       two      -0.192622
dtype: float64
1
2
3
4
5
6
7
8
9
10

arrays = [
np.array(["bar", "bar", "baz", "baz", "foo", "foo", "qux", "qux"]),
np.array(["one", "two", "one", "two", "one", "two", "one", "two"]),
]
df = pd.DataFrame(np.random.randn(8, 4), index=arrays)
df
1
2
3
4
5
6

pd.DataFrame(np.random.randn(8, 4), index=index)
1

• MultiIndex.from_arrays()：传入一个数组列表
• MultiIndex.from_tuples()：传入一个元组数组、
• MultiIndex.from_product()：传入一个交叉的迭代集合
• MultiIndex.from_frame()：传入一个 DataFrame

Serias

• 对象[flag1][flag2][flag3] 先列后行
• 对象.loc[] # 先行后列，可以使用切片操作
• 对象.iloc[] # 先行后列，通过索引去进行索引

new_df['year'][2021][1]  ## 一定是先列后行
1

2021
1

df.loc[0:4, 'sale']   ## 先行后列，可以使用切片操作
1

0     22
1    100
2    222
3    113
Name: sale, dtype: int64
1
2
3
4
5

df.iloc[0:3, :5] ## 前3行前5列 先行后列，通过索引去进行索引
1

new_df.iloc[0:3, :5]
1

sr = pd.Series(np.arange(2,10,2), index=['数值{}'.format(i+1) for i in range(4)])
sr
1
2

数值1    2
数值2    4
数值3    6
数值4    8
dtype: int32
1
2
3
4
5

sr.values
1

array([2, 4, 6, 8])
1

sr.index
1

Index(['数值1', '数值2', '数值3', '数值4'], dtype='object')
1

索引操作

import numpy as np
import pandas as pd
mydata = np.random.normal(0, 1, (5, 5))
mydata_index = ['index{}'.format(i+1) for i in range(5)]
mydata_col =  ['col{}'.format(i+1) for i in range(5)]
data = pd.DataFrame(mydata, index=mydata_index, columns=mydata_col)
data
1
2
3
4
5
6
7

直接索引

data['col1']['index1']  ## 先列后行
1

-0.31201088599026405
1

按名字索引

data.loc['index1']['col1']
1

-0.31201088599026405
1

data.loc['index1', 'col1']
1

-0.31201088599026405
1

data.loc[['index1', 'index2'], 'col1']
1

index1    0.178961
index2   -0.479774
Name: col1, dtype: float64
1
2
3

按数值索引

data.iloc[1, 0]
1

-0.2269501796329433
1

data.iloc[:4, :1]
1

赋值操作

data['col1'] = 0.01
data
1
2

data.col1 = 0.02
data
1
2

data.col1.index1 = 0.1
data
1
2

data['col1']['index2'] = 0.3
data
1
2

排序

对内容排序

• 对象.sort_values(by=, key=, ascending=) 单个键或者多个键进行排序，默认升序 True升序 False降序

data.sort_values(by=['col1'], ascending=False)
1

data.sort_values(by=['col1', 'col2'], ascending=False)
1

sr = data['col1']  ## 对serias进行排序
sr
1
2

index1    0.10
index2    0.30
index3    0.02
index4    0.02
index5    0.02
Name: col1, dtype: float64
1
2
3
4
5
6

sr.sort_values()
1

index3    0.02
index4    0.02
index5    0.02
index1    0.10
index2    0.30
Name: col1, dtype: float64
1
2
3
4
5
6

按索引排序

• 对象.sort_index()

data.sort_index()
1

sr.sort_index()
1

index1    0.10
index2    0.30
index3    0.02
index4    0.02
index5    0.02
Name: col1, dtype: float64
1
2
3
4
5
6

DataFrame的运算

算术运算

data.col1 + 2
1

index1    2.10
index2    2.30
index3    2.02
index4    2.02
index5    2.02
Name: col1, dtype: float64
1
2
3
4
5
6

data.col1.add(3)
1

index1    3.10
index2    3.30
index3    3.02
index4    3.02
index5    3.02
Name: col1, dtype: float64
1
2
3
4
5
6

data.sub(10).head(2)  ## data - 10
1

data.col1.sub(data.col2).head(3)
1

index1   -0.749560
index2    1.286681
index3    0.656485
dtype: float64
1
2
3
4

逻辑运算

逻辑运算符号 < > | &

## 筛选col1的数据大于0.1的
data.col1 > 0.1
1
2

index1    False
index2     True
index3    False
index4    False
index5    False
Name: col1, dtype: bool
1
2
3
4
5
6

data[data.col1 > 0.1]
1

data[(data.col1 < 0.1) & (data.col2 < 0.1)]
1

逻辑运算函数 query() isin()

## 对象.query(expr) expr： 查询的字符串
data.query('col1 < 0.1 & col2 < 0.1')
1
2

## 对象.isin(values) values数据列表 判断数据是否等于列表中的值
data[data.col1.isin([0.02, 0.01])]
1
2

统计运算

• 统计函数：count、mean、std、min、max、var、prod、mode、abs、idmax、idmin
• 上面的idmax、idmin、表示获取最小值最大值的位置 和numpy的argmax、argmin函数是类似的
• 对象.describe() 一次性的获取平均值、标准差、最大值、最小值等值
• 累计统计函数 cumsum、cummax、cummin、cumprod 分别是计算n个数的和、最大值、最小值、积

data.max()
1

col1    0.300000
col2    0.849560
col3    1.827731
col4    0.034858
col5    1.239907
dtype: float64
1
2
3
4
5
6

data.describe()
1

data.col1.cumsum()
1

index1    0.10
index2    0.40
index3    0.42
index4    0.44
index5    0.46
Name: col1, dtype: float64
1
2
3
4
5
6

data.col1.cumsum().plot()
1

​

​

自定义运算

• apply(func, axis=0)

func:自定义函数
axis=0:默认是列，axis=1表示进行行计算

# 计算col1和col2列最大值减去最小值的值
data[['col1', 'col2']].apply(lambda x: x.max() - x.min(), axis=0)
1
2

col1    0.280000
col2    1.858932
dtype: float64
1
2
3

Pandas画图

• Pandas.DataFrame.plot(x=None, y=None, kind=‘line’)
  • line折线图 bar柱状图 barh水平柱状图 hist直方图 pie饼图 scatter散点图
• Pandas.Serias.plot

import pandas as pd
import numpy as np
mydata = np.random.normal(0, 1, (5, 5))
mydata_index = ['index{}'.format(i+1) for i in range(5)]
mydata_col =  ['col{}'.format(i+1) for i in range(5)]
data = pd.DataFrame(mydata, index=mydata_index, columns=mydata_col)
data
1
2
3
4
5
6
7

data.plot()
1

​

​

data.plot(x='col1', y='col2', kind='barh')
1

​

​

scv文件读取与存储

pandas.read_csv(filepath_or_buffer, sep=‘,’, header=‘infer’, names=None, usecols=[])

• DataFrame.to_csv(path_or_buf=None, sep=‘,’, na_rep=‘’, index=False, header=True, mode=‘w’, encoding=None)
  • path_or_buf：写入CSV文件的路径或文件对象
  • sep：列分隔符，默认为逗
  • na_rep：缺失值的表示，默认为空字
  • index：是否写入行索引，默认为 False
  • header：是否写入列名，默认为True
  • mode:写入模式 默认是w重写，还有a追加模式

read_data = pd.read_csv('E:/Project/PyCharm_Projects/pandas_test/read.csv', encoding='GBK')
read_data
1
2

data = {'Name': ['Alice', 'Bob', 'Carol'],
        'Age': [25, 30, 35]}
df = pd.DataFrame(data)
df.to_csv('E:/Project/PyCharm_Projects/pandas_test/output.csv', index=False, mode='a', header=False)
df_read = pd.read_csv('E:/Project/PyCharm_Projects/pandas_test/output.csv')
df_read
1
2
3
4
5
6

hdf5文件读取与存储

• pandas.read_hdf(path_or_buf, key=None, **kwargs)
  • path_or_buf 文件路径
  • key:读取的键
  • mode:打开模式
  • return Theseselected objects
• DataFrame.to_hdf(path_or_buf, key, **kwargs)
• hdf5是使用键值对来存储数据的，他也是可以存储三维数据的
• 跨平台、支持压缩、节省空间

json文件读取与存储

• pandas.read_json(path_or_buf=None, orient=None, type=‘frame’, lines=‘False’)

  • 将json格式数据转换为默认的Pandas DataFrame格式的数据、
  • orient:一般选择records
  • lines:是否把每行作为一个json

• DataFrame.to_json(path_or_buf=None, orient=None, lines=‘False’)

总结

• Pandas基础数据处理
• Pandas介绍：
  • 面板数据 数据处理工具 便捷的数据处理能力
  • 继承了Numpy和matplotlib，读取文件方便
  • Series：一维数据 DataFrame多维数据
  • Series属性：index values
  • DataFrame属性：shape、index、columns、values、T
  • DataFrame常用方法：head() tail()
  • Multiindex，多维数据存储方式
• Pandas基本操作
  • 索引操作：直接索引(先列后行)、按名字索引loc、按数字索引iloc
  • 赋值操作
  • 排序操作：sort_values() sort_index()
• Pandas运算:
  • 算术运算：
  • 逻辑运算：逻辑运算符 & 布尔索引 query() isin()
  • 统计运算：describe()、min、max、std、idmax、idmin、cumsum、cummax
  • 自定义运算:apply()
• Pandas画图:
  • df.plot()
  • sr.plot()
• PandasIO操作:
  • csv:pd.read_csv(path, names, usecols) pd.to_csv(path, header, mode, index)
  • hdf5:pd.read_hdf5(path, key) pd.to_hdf5(path, key)
  • json:pd.read_json(path, records, lines) pd.to_json(path, records, lines)
    =‘w’, encoding=None)
  • path_or_buf：写入CSV文件的路径或文件对象
  • sep：列分隔符，默认为逗
  • na_rep：缺失值的表示，默认为空字
  • index：是否写入行索引，默认为 False
  • header：是否写入列名，默认为True
  • mode:写入模式 默认是w重写，还有a追加模式