• 大数据知识点之什么是大数据


    大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    简单理解就是:那些数据量很大、增长速度很快,数据结构和样式复杂,传统数据库很难存储、处理,传统方法很难分析的信息。

    大数据是信息资产、是发展方向、是一门技术、也是大数据从业者的饭碗。

    感兴趣的同学可以了解下大数据的发展史。

    “大数据”这一概念最早公开出现于1998年,美国高性能计算公司SGI的首席科学家约翰马西(John Mashey)在一个国际会议报告中指出:随着数据量的快速增长,必将出现数据难理解、难获取、难处理和难组织等四个难题,并用“Big Data”来描述这一挑战,在计算领域引发思考。

    萌芽阶段:

    20世纪90年代到21世纪的样子,数据库技术成熟,数据挖掘理论成熟,也称数据挖掘阶段。

    突破阶段:

    2003——2006年,非结构化的数据大量出现,传统的数据库处理难以应对,也称非结构化数据阶段。

    成熟阶段:

    2006——2009年,谷歌公开发表两篇论文《谷歌文件系统》和《基于集群的简单数据处理:MapReduce》,其核心的技术包括分布式文件系统GFS,分布式计算系统框架MapReduce,分布式锁Chubby,及分布式数据库BigTable,这期间大数据研究的焦点是性能,云计算,大规模的数据集并行运算算法,以及开源分布式架构(Hadoop)

    应用阶段:

    2009年至今,大数据基础技术成熟之后,学术界及及企业界纷纷开始转向应用研究,2013年大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透,因此2013年也被称为大数据元年。

    大数据存储和处理技术的发展同时也带动了数据分析、机器学习的蓬勃发展,也促使了新兴产业的不断涌现。

  • 相关阅读:
    自定义MVC增删改查
    Docker-harbor私有仓库部署与管理
    13、文本框和单选框
    MySQL数据库企业级开发技术(下篇)
    charles劫持修改js文件
    k8s实用命令
    IDEA中配置完Maven后 重启就恢复默认设置
    AI大模型探索之路-实战篇13: 从对话到报告:打造能记录和分析的Agent智能数据分析平台
    计算机网络——应用层网络应用模型、DNS系统、文件传输协议、电子邮件、万维网和HTTP协议
    干货分享!JAVA诊断工具Arthas在Rainbond上实践~
  • 原文地址:https://blog.csdn.net/Flychuer/article/details/132907733