浅谈大数据算法

大数据算法大家已经不陌生了，到研究生阶段听到最多的就是什么是大数据、大数据的特点，在这个大数据的背景下的算法有什么特点，是不是就是把spark、flink跑起来就叫大数据了，其实并不是这样的。

一、大数据的定义

1、定义1 (Kusnetzky, Dan. What is “Big Data?”)

所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、
管理、处理、并整理成为人类所能解读的信息

2、定义2 (维克托·迈尔-舍恩伯格、肯尼斯·库克耶.“大数据时代”)

不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法

3、 定义3 (“大数据”（Big data）研究机构Gartner)

“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力
和流程优化能力的海量、高增长率和多样化的信息资产。

二、大数据的特点

三、大数据的应用

• 预测
• 推荐
• 商业情报分析
• 科学研究

四、大数据上问题求解计算问题的过程

五、大数据算法

1、大数据算法的定义

在给定的资源约束下，以大数据为输入，在给定时间约束内可以生成满足给定约束
结果的算法。

2、大数据算法可以不是：

• 精确算法
• 内存算法
• 串行算法
• 仅在电子计算机上运行的算法

3、大数据算法不仅是：

• 云计算
• MapReduce
• 大数据分析和挖掘的算法
• 数据库中的算法

4、大数据算法的难度

(1)访问全部数据时间过长
读取部分数据
(2)数据难于放入内存计算

• 将数据存储到磁盘上
• 仅基于少量数据进行计算

(3)单个计算机难以保存全部数据，计算需要整体数据
并行处理
(4)计算机计算能力不足或知识不足
人来帮忙