数据分析Pandas专栏---第三章＜Pandas合并list和字典＞

正文:

在处理数据时，经常会遇到需要操作和转换DataFrame的场景。特别是当涉及到从单个或多个字典合成DataFrame，以及合并多个DataFrame时，适当的方法和技巧可以极大地简化程序逻辑并提高代码的可读性与效率。此外，数据操作过程中，索引的正确管理是保持数据完整性的关键。本文章将深入探讨这些操作，并通过具体案例帮助理解和应用。

数据合成DataFrame

在Pandas中，DataFrame是一种表格型数据结构，它包含有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame既可以作为数据的最终形态被分析，也可以作为数据预处理的中间步骤。下面我们将探讨如何从字典列表创建DataFrame。

单个字典列表创建DataFrame

假设我们有以下字典列表，每个字典代表一个数据记录：

data = [{"name": "Alice", "age": 30, "city": "New York"},
        {"name": "Bob", "age": 25, "city": "Paris"},
        {"name": "Charlie", "age": 35, "city": "London"}]

我们可以简单地使用pd.DataFrame()函数将其转换成DataFrame：

import pandas as pd
 
df = pd.DataFrame(data)
print(df)

多个字典列表合并为DataFrame

当有两个字典列表时，我们可能需要将它们合并为一个DataFrame。一个常见的场景是这些字典列表代表不同时间点或不同来源的数据。让我们以两个字典列表为例：

data1 = [{"name": "Alice", "age": 30, "city": "New York"},
         {"name": "Bob", "age": 25, "city": "Paris"}]
 
data2 = [{"name": "Diana", "age": 22, "city": "Berlin"},
         {"name": "Evan", "age": 28, "city": "Toronto"}]

合并这些数据时，可以首先将它们转换成两个DataFrame，然后使用pd.concat()函数：

df1 = pd.DataFrame(data1)
df2 = pd.DataFrame(data2)
 
df = pd.concat([df1, df2], ignore_index=True)
print(df)

注意，ignore_index=True参数使得合并后的DataFrame拥有一个新的整数索引(索引重新进行计算)。

迭代提取:

iterrows()

        df.iterrows() 方法返回一个迭代器，在每次迭代中返回一个包含索引和行的元组。你可以通过索引和列名来访问行中的值。

案例

一个Dataframe你想提取他的值,可以用df.iterrows()

 
data_A = [{'Col1': 6, 'Col2': 8},{'Col1': 9, 'Col2': 10}]
 
# 创建DataFrame对象
df_A = pd.DataFrame(data_A)
 
for index,row in df_A.iterrows():
    print(index)
    print(row['Col1'])

输出:

索引:0;行数据:Col1    6
Col2    8
Name: 0, dtype: int64!
索引:1;行数据:Col1     9
Col2    10
Name: 1, dtype: int64!

其中,index就是他的索引,row就是索引对应的那一行数据; 想取它的值,直接跟json提取一样的...

itertuples()

        df.itertuples() 方法返回一个迭代器，每次迭代时返回一个命名元组（namedtuple），元组的字段由列名形成。你可以通过列名来访问元组中的数据。

案例

data_A = [{'Col1': 6, 'Col2': 8},{'Col1': 9, 'Col2': 10}]
 
# 创建DataFrame对象
df_A = pd.DataFrame(data_A)
 
for row in df_A.itertuples():
    print(row.Col1)

itertools.islice(df.迭代器, X)

提取第X个row; 有时,一个dataframe里面,我们只想提取前X个row;可以用这种方式!

例如:

import pandas as pd
import itertools  #导入
 
 
for row in itertools.islice(data_shou.itertuples(), 5):  # 仅遍历前5个row
    AAA = row.字段

索引重置

在对DataFrame进行行的删除或合并后，其索引可能会变得不连续或混乱。为了恢复索引的连续性并去除可能的混乱，可以使用reset_index()方法。

案例：删除数据行并重置索引

假设我们有以下DataFrame，并且希望删除城市为"Paris"的行：

df = pd.DataFrame([{"name": "Alice", "age": 30, "city": "New York"},
                   {"name": "Bob", "age": 25, "city": "Paris"},
                   {"name": "Charlie", "age": 35, "city": "London"}])
                   
# 删除城市为"Paris"的行
df = df[df["city"] != "Paris"]
 
# 重置索引
df = df.reset_index(drop=True)
print(df)

这里，drop=True参数表示抛弃旧的索引列，如果不设置drop=True，旧的索引列将会成为DataFrame的一个列。

结论

可以见到Pandas提供的工具使得从字典列表到DataFrame的转换、多个DataFrame的合并以及索引管理变得简单高效。掌握这些技能能够在进行数据分析和数据处理时极大地节约时间，并使得代码更加清晰可读。