1:利用下面哪个可视化绘图可以发现数据的异常点
A.密度图
B.直方图
C.盒图
D.概率图
知识点解析:
密度图:表现与数据值对应的边界或域对象的一种理论图形表示方法
直方图:直方图是数值数据分布的精确图形表示
盒图:是结构化编程中的一种可视化建模
概率图:用图来表示变量概率依赖关系的理论
2:以下关于缺失值检测的说法中,正确的是
A.null和notnull可以对缺失值进行处理
B.dropna方法既可以删除观测记录,还可以删除特征
C.fillna方法中用来替换缺失值的值只能是数据框
D.Pandas库中的interpolate模块包含了多种插值方法
**知识点解析:
处理缺失值的三种方法:isnull(),notnull(),isna()
A.忽略
B.删除
C.平均值填充
D.最大值填充
1:Pandas中利用merge函数合并数据表时默认的是内连接方式 正确
2:Pandas中的描述性统计一般会包括缺失数据 错误
3:语句dataframe.dropna(thresh=len(df)*0.9,axis=1) 表示如果某列的缺失值超过90%则删除该列 错误
知识点解析:
格式:DataFrame.dropna(self, axis=0, how=‘any’, thresh=None, subset=None, inplace=False)
用途:删除缺失的值。
thresh : int,可选需要许多非NA值。
axis : 0或’index’,1或’columns’,默认0确定是否删除包含缺失值的行或列。
0或’index’:删除包含缺失值的行。 1或“列”:删除包含缺失值的列。
可得此题应为:如果某列的缺失值不到90%则删除该列
4:利用merge方法合并数据时允许合并的DataFrame之间没有连接键 错误
5:哑变量(Dummy Variables)又称虚拟变量,是用以反映质的属性的一个人工变量 正确
6:Pandas中使用isnull().sum()可以统计缺失值 正确
1:Pandas中drop方法中的参数how取值为 ___时表示只要某行有缺失值就将改行丢弃 any
2:Pandas中drop方法中的参数how取值为 ___时表示某行全部为缺失值就将改行丢弃 all
3:Pandas通过read_json函数读取___数据 JSON
4:Pandas要读取Mysql中的数据,首先要安装 ___包,然后进行数据文件读取 Mysqldb
5:Pandas要读取SQL sever中的数据,首先要安装 ___包,然后进行数据文件读取 pymssql
1:简述Pandas删除空缺值方法dropna中参数thresh的使用方法
dropna中的参数thresh当传入thresh = N时,表示要求一行至少具有N个非NaN才能存活
2:简述Python中利用数据统计方法检测异常值的常用方法及其原理
方法:a.散点图方法观察 b. 箱线图分析 c. 3σ法则
原理:标准正态分布下的曲线为钟型曲线,期望值μ决定了其位置,其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。因此对于一组数据,如果符合正态分布,则可以通过经验法则来检测异常值,同图中可以发现,68.2%的测量值落在μ值处正负一个标准差σ的区间内,95.4%的测量值将落在μ值处正负两个标准差σ的区间内,99.7%的值落在μ值处正负三个标准差σ的区间内。因此,对于一组符合正态分布的数据,如果某个值距离μ值超过三个标准差σ则可以判断这个值属于异常数据
3:简述数据分析中要进行数据标准化的主要原因
不同特征之间往往具有不同的量纲,由此造成数值间的差异很大。因此为了消除特征之间量纲和取值范围的差异可能会造成的影响,需要对数据进行标准化处理。
4:简述Pandas中利用cut方法进行数据离散化的用法
将数据的值域划分成具有相同宽度的区间,区间个数由数据本身的特点决定或由用户指定。Pandas提供了cut函数,可以进行连续型数据的等宽离散化。cut函数的基础语法格式为:
pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3)