码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Lambda架构与Kappa架构的特性对比


            一个大数据系统架构的设计思想很大程度上受到当时技术条件和思维模式的限制。Lambda架构将批处理层和速度层分为两层,分别进行离线数据处理和实时数据处理,这样设计的根本原因在于,Lambda提出的初期是在公司中进行小范围的业务运用,当时并没有思考有没有一个计算引擎能够在可接受的延迟条件下既进行离线数据处理又进行实时数据处理。在这样的前提下,将现有的成熟离线处理技术(Hadoop)和实时处理技术(Storm)相结合,用View模型将二者处理数据后得到的输出结果结合起来,在服务层(Serving Layer)中进行统一,开放给上层服务,是相当可行且高效的设计方式。

            Kappa架构作者对流处理系统有丰富的理论知识和使用经验,是Apache Kafka和Apache Samza等知名开源处理系统的作者之一。基于对流式计算深入的理解,Kappa架构在同一层次内进行实时处理和离线处理,在满足延迟要求的流式计算技术成熟的前提,比Lambda更优秀。表1从多个维度对Lambda架构和Kappa架构进行了对比分析。

    表1 Lambda架构和Kappa架构对比
    对比内容Lambda架构Kappa架构
    复杂度与开发、维护成本需要维护两套系统(引擎),复杂度高,开发、维护成本高只需要维护一套系统(引擎),复杂度低,开发、维护成本低
    计算开销需要一直运行批处理和实时计算,计算开销大必要时进行全量计算,计算开销相对较小
    实时性满足实时性满足实时性
    历史数据处理能力批式全量处理,吞吐量大,历史数据处理能力强流式全量处理,吞吐量相对较低,历史数据处理能力相对较弱

  • 相关阅读:
    【云原生布道系列】第二篇:云原生时代领域解决方案专家的价值
    SpringBoot集成MyBatis(iBatis)
    第十三章 实现组件库按需引入功能
    音视频知识索引
    whistle抓包工具
    【spark】记录一次 spark sparkstreaming 使用命令行提交任务在Yarn集群模式无法正常消费kerberos kafka数据的问题
    Reids的安装使用
    【附源码】计算机毕业设计JAVA茶园文化交流平台演示录像2020
    express在nodejs中的基本使用
    基本数据结构与算法实现JavaAPI【2】-----排序篇
  • 原文地址:https://blog.csdn.net/huaqianzkh/article/details/140280053
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号