《大数据分析技术》课程设计

《大数据分析技术》课程设计

目录

第一章 大数据概述
1.1 数据、大数据概念
1.2 大数据时代的思维变革
1.3 云计算
1.4 Hadoop文件系统（HDFS）
1.5 MapReduce --“计算向数据靠拢”
第二章 Hadoop实践
2.1 Hadoop安装步骤
2.2 实践心得
第三章 对大数据的反思

第一章 大数据概述

1.1 数据、大数据概念

在互联网出现后的几十年，人类储存在互联网上的数据越来越多。到了今天，无数人在日常生活，生产劳动过程中产生的数据已经到了瞠目结舌的地步。比如百度，他们导航每天提供的数据超过1.5PB，打印出来将超过5千亿张A4纸。而且数据种类多，信息密度低，需要处理的速度快。这些因素促使着人们采取新的数据处理技术，而大数据的概念也就应运而生。

简而言之，大数据指非常庞大、复杂的数据集，特别是来自新数据源的数据集，其规模之大令传统数据处理软件束手无策，却能帮助我们解决以往非常棘手的业务难题。

1.2 大数据时代的思维变革

大数据对人类的影响是方方面面的，例如，思维变革、科学研究、社会变革等。在思维方面，大数据完全颠覆了传统的思维方式：全样而非抽样，即样本 = 总体；效率而非精确，即接受数据的混杂性；相关而非因果，即数据的相关关系。