数据分析9

目录

字符串离散化：

 数据合并

按照行索引合并join

按照列索引合并merge

内连接

 

 外连接，左连接，右连接

---

字符串离散化：

对于这一组电影数据，如果我们希望统计电影分类(genre)的情况，应该如何处理数据？

思路：重新构造一个全为0的数组，列名为分类，如果某一条数据中分类出现过，就让0变为1

import pandas as pd
import numpy as np
 
file_path = "./IMDB-Movie-Data.csv"
df = pd.read_csv(file_path,delimiter=",")
 
#将电影分类这一列取出来
df1 = df["Genre"]
print(df1)
print("*"*100)
 
#将每个电影类型转换成列表形式
temp_list = df["Genre"].str.split(",").tolist()
print(temp_list)

 

对电影类型去重

genre_list = list(set([j for i in temp_list for j in i]))#去重
print(genre_list)

构造全为0，行数为电影个数，列数为电影类型个数的DataFrame

#构造全为0的数组(np.zeros(行数，列数))
df_0 = pd.DataFrame(np.zeros((df.shape[0],len(genre_list))),columns=genre_list)
print(df_0)

 出现类型的电影修改为1

#给每个电影出现类型的位置将0修改为1(df.shape[0]表示电影总数)
for i in range(df.shape[0]):
#     for j in temp_list[i]:
#         df_0.loc[i,j]=1
#注释掉的两行等价于
    #即取一行多列，df_0[i,[" Romance"," War","Horror"]]
    df_0.loc[i,temp_list[i]]=1
print(df_0)

本剧电影类型统计电影数

#统计每个分类的电影的数量和
genre_sum = df_0.sum(axis=0)#行方向上的统计求和
print(genre_sum)

按照统计结果排序

#排序
genre_count = genre_count.sort_values(ascending=False)
print(genre_count)

绘制条形图

绘制条形图
plt.figure(figsize=(20,8),dpi=80)
_x = genre_count.index
_y = genre_count.values
plt.barh(range(len(_x)),_y)
plt.yticks(range(len(_x)),_x)
plt.show()

完整代码 

 
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
 
 
file_path = "./IMDB-Movie-Data.csv"
df = pd.read_csv(file_path,delimiter=",")
 
#将电影分类这一列取出来
df1 = df["Genre"]
 
#将每个电影类型转换成列表形式
temp_list = df["Genre"].str.split(",").tolist()
genre_list = list(set([j for i in temp_list for j in i]))#去重
 
#构造全为0的数组(np.zeros(行数，列数))
df_0 = pd.DataFrame(np.zeros((df.shape[0],len(genre_list))),columns=genre_list)
 
#给每个电影出现类型的位置将0修改为1(df.shape[0]表示电影总数)
for i in range(df.shape[0]):
#     for j in temp_list[i]:
#         df_0.loc[i,j]=1
#注释掉的两行等价于
    #即取一行多列，df_0[i,[" Romance"," War","Horror"]]
    df_0.loc[i,temp_list[i]]=1
 
#统计每个分类的电影的数量和
genre_count = df_0.sum(axis=0)#行方向上的统计求和
 
#排序
genre_count = genre_count.sort_values()
 
#绘制条形图
plt.figure(figsize=(20,8),dpi=80)
_x = genre_count.index
_y = genre_count.values
plt.barh(range(len(_x)),_y)
plt.yticks(range(len(_x)),_x)
plt.show()
 
 

 数据合并

按照行索引合并join

join:默认情况下他是把行索引相同的数据合并到一起，

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
 
#index表示的是列标签，columns表示的是行标签
df1 = pd.DataFrame(np.ones((2,4)),index=["A","B"],columns=list("abcd"))
print(df1)
df2 = pd.DataFrame(np.ones((3,3)),index=["A","B","C"],columns=list("xyz"))
print(df2)
print("*"*100)
 
#用.join将两个表连接起来
print("df1.join(df2)")
print(df1.join(df2))
print("df2.join(df1)")
print(df2.join(df1))

 

显然，df1.join(df2)的话总是以df1的index为总体的index，在df1的基础上加上df2

按照列索引合并merge

merge:按照指定的列把数据按照一定的方式合并到一起，

内连接

 
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
 
#index表示的是列标签，columns表示的是行标签
df1 = pd.DataFrame(np.ones(((3,3))),index=["A","B","C"],columns=list("nmx"))
print("df1",df1)
df2 = pd.DataFrame(np.ones((3,3)),index=["A","B","C"],columns=list("xyz"))
print("df2",df2)
df3 = pd.DataFrame(np.zeros(((3,3))),index=["A","B","C"],columns=list("nmx"))
df3.loc["A","x"]=1
print("df3",df3)
print("*"*100)
 
#merge内连接（交集∩）默认情况下merge做得是内连接
print("内连接","两个df在x列有一样数值","df1.merge(df2,on=x)")
print(df1.merge(df2,on="x"))#on表示按照哪一列连接
print("内连接","两个df在x列存在不一样的数值","df1.merge(df3,on=x)")
print(df1.merge(df3,on="x"))

 

 

 外连接，左连接，右连接

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
 
#index表示的是列标签，columns表示的是行标签
df1 = pd.DataFrame(np.ones(((3,3))),index=["A","B","D"],columns=list("nmx"))
print("df1",df1)
df2 = pd.DataFrame(np.zeros((3,3)),index=["A","K","C"],columns=list("xyz"))
print("df2",df2)
df3 = pd.DataFrame(np.zeros(((3,3))),index=["A","B","C"],columns=list("nmx"))
df3.loc["A","x"]=1
print("df3",df3)
print("*"*100)
 
#外连接需要参数how="outer",内连接时，how="inner"（默认）外连接取并集∪
print(df1.merge(df2,on="x",how="outer"))
#一个表中有，另一个表没有，且两个表数值不完全一样，用NaN表示
 
#左连接,列根据df1的列来，即左边为准NaN补全
print("左连接")
print(df1.merge(df2,on="x",how="left"))
#右连接，列根据df2的列来，即右边为准NaN补全
print("右连接")
print(df1.merge(df2,on="x",how="right"))