大数据学习的一些概念（值得背）

什么是数据分析

就是把隐藏在数据背后的信息提炼出来，总结出内在规律，帮助更好的决策

数据分析的三个方向

• 现状分析（分析当下的数据）
  也叫实时分析，数据产生到数据分析的间隔非常短，数据是流式的不是批式
• 原因分析（分析过去的数据）
  也叫离线分析，批处理，比如一周一分析、一天一分析，通过总结过去的数据找到一些现状的原因
• 预测分析（预测未来的变化）
  也叫机器学习，利用当下和过去的数据，预测未来的变化。侧重于数学算法。

数据分析的基本步骤

1. 明确分析的目的和思路
   分析的思路需要数据分析的方法论支撑，就像软件工程里面的一些开发模型一样，比如说用户行为理论，PEST分析法
2. 数据收集
   数据可能是采集（爬取）而来，数据也可能是被搬运而来（从数据库搬运）
3. 数据预处理
   对收集的数据进行处理，形成干净的、结构化的数据
4. 数据分析
   要掌握一些分析的工具和方法
5. 数据可视化
   将分析的结果用图表展示，因为人是视觉动物。分析结果还能进行数据挖掘
6. 报告撰写
   也就是数据分析的应用，总结出一些什么规律

大数据时代

数据分析的是数据，在谈数据分析之前，必须了解大数据

大数据（big data）是短时间内无法捕捉、处理、分析的数据集合

业界用5v来描述它的特征

大数据的应用场景

比如说，电商、传媒、金融、交通、电信领域、安防、医疗

大数据场景催生的两个问题

• 数据怎么存储的？
• 数据怎么计算的？

分布式和集群

分布式和集群的相同点在于都是多台机器构成

分布式在于各个机器承担的功能不一样。而集群里面的各个机器承担的功能是一样的，常被用于负载均衡

大数据场景催生的两个问题的解决

• 数据怎么存储的？
  分布式存储
• 数据怎么计算的？
  分布式计算