Python作为目前较为热门的编程语言,它已经渗人数据分析、数据挖掘、机器学习等以数据为支撑的多个领域,并分别为这些领域提供了功能强大的库。这些库中会涉及一些数据预处理的操作,以帮助开发人员解决各种各样的数据问题。Python中常用的与数据预处理相的库包括NumPy、pandas、SciPy、scikit-leam等,关于这些库的具体介绍如下。
1. NumPy
NumPy(源于Numeric和Python)是一个Python开源的、高性能的基础科学计算库,该库具有以下特点。
(1)提供了一个可高效处理复杂数据的N维数组对象ndarray。该对象的存储效率和输入/输出性能远远优于Python中等价的数据结构。
(2)大部分代码由C语言编写,性能比纯Python代码高得多。
(3)无须循环,便可完成类似MATL.AB中的矢量运算。
(4)支持线性代数、随机数生成以及傅里叶变换功能。
2. pandas
pandas是一个基于NumPy的库,是专门为实现数据分析任务而创建的。pandas中纳人了大量库和标准的数据模型,并提供了高效地操作大型数据集的函数和方法,方便用户快速地处理大型数据集。pandas具有以下特点。
(1)提供了数据结构DataFrame,可以自由地插入或删除数据结构中的列。
(2)提供了智能数据对齐和缺失数据的集成处理。
(3)提供了基于标签的切片、花式索引和布尔索引。
(4)提供了分组聚合功能。
(5)提供了高性能的合并数据功能。
(6)提供了时间序列的功能。
(7)提供了读取与写入数据的功能。
(8)提供了数据预处理功能。
(9)提供了数据可视化功能。
3. SciPy