pyspark.sql.dataframe.DataFrame 怎么转pandas DataFrame

pyspark.sql.dataframe.DataFrame 怎么转pandas DataFrame

要将 PySpark 的 pyspark.sql.dataframe.DataFrame 转换为 Pandas DataFrame，可以使用 toPandas() 方法。以下是一个示例：

from pyspark.sql import SparkSession
 
# 创建 SparkSession 对象
spark = SparkSession.builder.getOrCreate()
 
# 创建示例 DataFrame
data = [('Alice', 25), ('Bob', 30), ('Charlie', 35)]
df_spark = spark.createDataFrame(data, ['Name', 'Age'])
 
# 将 PySpark DataFrame 转换为 Pandas DataFrame
df_pandas = df_spark.toPandas()
 
print(df_pandas)

上面的代码输出

Name  Age
0    Alice   25
1      Bob   30
2  Charlie   35

在上述示例中，我们首先使用 PySpark 创建了一个示例 DataFrame df_spark。然后，我们使用 toPandas() 方法将 PySpark DataFrame 转换为 Pandas DataFrame，并将结果存储在 df_pandas 中。

最后，我们打印 Pandas DataFrame df_pandas 来查看转换的结果。

请确保在使用 toPandas() 方法之前，您已经创建了 SparkSession 对象，并且在环境中正确配置了 PySpark。这样，您就可以将 PySpark DataFrame 转换为 Pandas DataFrame 并进行后续的分析和处理。