大数据架构Lambda-架构师（六十九）

随着信息时代技术的发展，数据量的快速增加逐渐飙升到了惊人的数量级别。并且数据的采集与处理技术还在更新加快。大数据中，结构化占比百分之15左右，其余百分之85都是非结构化数据，他们大量存在于社交网络、互联网和电子商务等领域。

• 大数据系统架构的特征

1. 鲁棒性和容错性（Robust and Fault-tolerant）

对于大规模分布式系统中，机器可能存在宕机，但系统需要健壮性，行为正确，即使遇到了机器错误。机器错误和人错误都是存在的，每天都难以避免。

1. 低延迟读取和更新能力

有的需要毫秒的更新能力，有的允许几个小时的延迟更新，只要有低延迟需求，系统应该保证鲁棒性。

1. 横向扩展

当负载增大的时候，通常可以通过增加机器数量来横向扩展。

1. 通用性

要支持绝大多数应用程序，包括金融领域，社交领域和电子商务。

1. 延展性

有新的需求出现时候，可以把新的功能加入到系统。

1. 查询能力

用户可以按照自己的需求进行查询，可以产生更高的价值。

1. 最少维护能力

系统在大多数时候保持平衡，减少系统的维护次数重要途径。

1. 可调式性

系统在运行中，产生的每一个值，都是可追踪调试的。

• Lambda架构

Lambda架构主要分为三层，批处理层、加速层和服务层。

1. 批处理层（Batch Layer）：存储数据集，预先计算查询函数，并构建查询对应的view。Batch Layer适合批量处理离线数据。当很多场景需要实时查询的时候，则需要Speed Layer
2. 加速层（Speed Layer）：batch layer处理的是全体数据，speed layer处理的是增量数据。Speed layer接收到数据后会不断更新Real-time view。
3. 服务层（serving layer）：Serving layer用于合并batch view 和real-time view中的结果数据集到最终数据集。

1. 批处理

批处理有两个核心功能，存储数据集和生成batch View。该层主要负责主数据集，主数据集有以下三个属性：

1. 数据是原始的
2. 数据是不可变的
3. 数据永远真实的

1. 加速层

它存储实时视图并传入数据流，以便更新这些视图。

他们的区别是什么呢？

1. speed layer处理数据是增量数据，batch layer是全体数据。
2. Speed layer为了效率，接受时候更新real Time view，而batch layer是根据全体离线数据直接得到batch view。

分为加速层和批量层的好处有哪些？

容错性：当speed layer重新计算后，当前的real-time view就可以丢弃，而batch view也是重新计算的。

复杂性隔离：批量处理离线数据很好掌握，加速层处理增量数据隔离出来。

Scale out：横向扩展，通过增加机器来扩展，而不是增加机器性能scale up。

1. 服务层

用于响应用户查询，合并batch view和real-time view中的结果集得到最终数据集。

Lambda架构实现？

Hadoop(HDFS)用于存储数据集，Spark（或Storm）构成速度层（Speed Layer），HBase作为服务层，有Hive创建可查询视图。

Hadoop设计成适合运行在通用分布式文件系统（Distributed File System），与目前的分布式系统有很多共同点，HDFS是一个具有高度容错性的系统，能提供吞吐量的访问数据。

Apache Spark专门为大数据设计的快速计算引擎。

HBase-Hadoop database，是一个高可用、高性能、面向列、可伸缩的分布式系统。

Lambda优点：

1. 容错性好：一旦发生错误，从修复算法或从头计算开始。
2. 查询灵活度高：批处理可以针对任何数据临时查询。
3. 易伸缩：所有批处理、加速层和服务层都很容易扩展。
4. 扩展：添加视图很容易，只需要给主数据添加新函数。

缺点：

1. 全场景覆盖带来编码开销。
2. 针对具体场景重新训练一遍益处不大。
3. 重新部署和迁移成本高。

Lambda架构与其他架构比较：

1. 事件溯源与lambda架构

整个系统以事件驱动来完成，业务数据是事件产生的视图。

1. CQRS与lambda架构

CQRS架构分离了对数据进行的读操作和写操作，将其改变数据模型状态命令对于模型状态查询实现了分离。