【大厂AI课学习笔记】【2.2机器学习开发任务实例】（5）数据理解

数据理解，就是理解数据。

理解数据，就是观察数据，获得更多数据的特点。

这里要对数据进行一些处理。

查看样本数据的均值、最大值、最小值、数量、标准差等；

查看更详细的数据分位数信息。

通过观察加深数据理解，为建模做准备。

延伸学习：

---

数据理解：深入探索与分析

在人工智能和机器学习的项目中，数据理解是至关重要的一步。它涉及到对数据集的深入探索和分析，以揭示数据的内在特性、模式、异常值以及潜在的问题。通过数据理解，我们可以更好地准备数据，为后续的建模工作奠定坚实的基础。

一、数据理解的重要性

数据理解是建模前的必要准备，它能够帮助我们：

1. 识别数据问题：在数据集中，可能存在缺失值、异常值、重复值或格式错误等问题。通过数据理解，我们可以及时发现这些问题，并采取相应的处理措施。
2. 了解数据分布：数据的分布特征对于选择合适的模型和算法至关重要。通过查看数据的均值、中位数、众数等统计量，我们可以初步了解数据的集中趋势和离散程度。
3. 发现潜在关系：在某些情况下，数据集中的不同特征之间可能存在某种关联或依赖关系。通过数据理解，我们可以探索这些潜在关系，为后续的特征工程和模型优化提供线索。
4. 评估数据质量：数据的质量直接影响模型的性能。通过数据理解，我们可以评估数据的完整性、准确性、一致性和时效性等方面，从而确保输入到模型中的数据是可靠和有效的。

二、数据理解的方法与技巧

在进行数据理解时，我们可以采用以下方法和技巧：

1. 描述性统计：计算数据的均值、最大值、最小值、标准差等统计量，以了解数据的整体情况。这些统计量可以帮助我们初步判断数据的分布特征、离散程度和异常值情况。

   • 均值：均值是所有数据点的平均值，它反映了数据的中心位置。计算公式为：均值 = (数据1 + 数据2 + ... + 数据n) / n。
   • 最大值与最小值：最大值和最小值分别表示数据集中的最大和最小观测值。它们可以帮助我们了解数据的范围和边界。
   • 标准差：标准差衡量了数据点的离散程度。一个较小的标准差表示数据点比较接近均值，而较大的标准差则表示数据点分布较为分散。

2. 分位数与箱线图：通过计算数据的分位数（如四分位数、十分位数等），我们可以更详细地了解数据的分布情况。同时，箱线图（Box Plot）是一种可视化工具，它展示了数据的最小值、下四分位数（Q1）、中位数（Q2）、上四分位数（Q3）和最大值，从而帮助我们直观地识别异常值和偏态分布。

箱线图（Boxplot）也称箱须图（Box-whisker Plot）、盒式图、盒状图或箱型图，是一种用作显示一组数据分散情况资料的统计图。因形状如箱子而得名。在各种领域也经常被使用，常见于品质管理。它主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比 较。箱线图是利用数据中的五个统计量：最小值、第一四分位数、中位数、第三四分位数与最大值来描述数据的一种方法，它也可以粗略地看出数据是否具有有对称性，分布的分散程度等信息，特别可以用于对几个样本的比较。

1. 数据可视化：利用柱状图、折线图、散点图等可视化工具，我们可以直观地展示数据的分布、趋势和关系。通过对比不同图表中的信息，我们可以发现数据之间的潜在规律和异常现象。

2. 相关性分析：计算不同特征之间的相关系数（如皮尔逊相关系数、斯皮尔曼秩相关系数等），以评估它们之间的线性关系强度和方向。这有助于我们了解特征之间的相互作用和影响。

3. 特征工程：在数据理解的过程中，我们可能会发现一些对模型训练有益的新特征。通过特征构造、特征选择和特征转换等技术，我们可以增强数据的表达能力和预测性能。

三、数据理解的实践建议

在实际项目中，为了更好地进行数据理解，我们可以遵循以下建议：

1. 从简单到复杂：先从基本的统计量和可视化开始，逐步深入到更复杂的分析和挖掘。这样可以帮助我们逐步加深对数据的理解。
2. 保持好奇心：在探索数据时，要保持开放和好奇的心态。不要过早地做出结论或假设，而是让数据说话。
3. 注重细节：在查看数据时，要关注每一个细节和异常现象。这些细节可能揭示了数据的重要特征或潜在问题。
4. 与领域知识结合：在理解数据时，要结合领域知识和实际背景进行分析。这样可以帮助我们更准确地解释数据中的现象和规律。
5. 持续学习与改进：数据理解是一个持续的过程。随着项目的进展和数据的变化，我们需要不断地更新和改进我们的理解方法和工具。

总之，数据理解是人工智能项目中不可或缺的一环。通过深入探索和分析数据，我们可以为后续的建模工作奠定坚实的基础，从而提高模型的性能和准确性。