码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • Lambda 架构 vs Kappa 架构


    大数据处理架构详解:Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓

    https://www.cnblogs.com/robots2/p/17769376.html

    大数据架构设计(四十五) - 知乎

    浅析Lambda架构 - 简书

    Lambda 架构 vs Kappa 架构

    Lambda架构和Kappa架构的区别可以通过下表进行对比说明:

    对比项Lambda架构Kappa架构
    组成批处理层
    速度层
    服务层
    流式处理层
    服务层
    数据处理方式批处理系统处理历史数据
    流式系统处理实时数据
    仅用流式系统处理全部数据
    系统复杂度较高,需要开发和维护两个系统较低,只需要一个流式系统
    延迟一致性存在,实时视图和批处理视图有延迟差异更好,没有批处理系统
    数据冗余存在,需要重播日志到实时系统较少,无需重播日志
    历史数据处理批处理系统可进行复杂历史分析相对复杂,只有流式系统

    总结来说:

    Lambda架构通过批处理层和速度层的组合,兼顾了低延迟和复杂分析,但系统较复杂,存在数据冗余和延迟不一致问题。

    Kappa架构只通过流式系统实现所有处理,简化了架构,但历史数据分析相对复杂,需要流式系统保证精确一次语义。

    两者都有各自的优缺点,需要根据具体场景进行技术选型和设计权衡。

  • 相关阅读:
    杰理之mic 初始化及数据出口的 API【篇】
    【C/自定义类型详解】——结构体(struct)、位段、枚举(enum)、联合(union)
    【网络】个人博客网站搭建之Typecho(命令版)
    TTS前端原理学习 chatgpt生成答案
    java方法是什么?
    Win10下pytorch环境搭建详细教程以及示例测试(二)
    通信原理_1 信号与系统基础
    教科书级别 IDEA中用Maven手工搭建Spring Boot项目
    win10打不开自带word文档怎么办
    python 语法回顾总结
  • 原文地址:https://blog.csdn.net/FlyingJiang/article/details/134255000
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号