• 01-分布式系统概述


    目录

    一,什么是分布式系统

    1,概念

    2,特点

    3,典型问题

    二,CAP定理

    1,C、A、P

    2,CAP定理

    三,BASE理论

    1,BA、S、EC

    二,BASE理论


    文章内容来自:南京大学 / 星环科技课程,大数据理论与实践课程Ⅰ

    一,什么是分布式系统

    1,概念

    将硬件或软件组件(服务)分布在不同的网络计算机上,通过消息传递进行通信和协调。

    2,特点

    分布性

    对等性

    • 平等:无主从之分
    • 独立:拥有自己的CPU和内存,独立处理数据

    并发性

    • 外部:承载多个客户端的并发访问
    • 内部:作业(Job)被分解成多个任务(Task),并发运行在不同的节点上

    故障独立性

    • 部分节点出现故障不影响整个系统的正常使用

    3,典型问题

    通信异常

    网络分区(脑裂)

    • 系统分裂为两个甚至多个局部小集群(分区)
    • 各分区独立运行,同时提供服务,从而导致混乱

    节点故障

    • 宕机或僵死

    三态

    • 成功、失败和超时

    二,CAP定理

    1,C、A、P

    C(Consistency,一致性)

    • 含义:同一时刻,数据在不同节点的多个副本是否具有完全相同的值
    • 强一致性:数据更新完成后,同一时刻,不同的读操作都能获得最新的值
    • 弱一致性:数据更新完成后,同一时刻,不同的读操作不一定都能获得最新的值,也无法保证多长时间之后可以获得最新的值

    A(Availability,可用性)

    • 含义:对于每一次请求,系统是否都能在有限(指定)的时间内做出响应

    P(Partition Tolerance,分区容错性)

    • 含义:当发生网络分区时,系统仍能对外提供满足一致性C和可用性A的服务

    2,CAP定理

    表述:分布式系统在同一时间片段内,不可能同时满足一致性C、可用性A和分区容错性P,最多只能满足其中的两项。

    对分布式系统而言,网络分区无法避免,满足P是前提条件,所以不可能选择CA架构,只能选择CP或AP架构。

    例如:发生网络分区时,某个节点正在进行写操作

    (1)如果为了保证C,必须禁止其他节点的读写操作,那就与A冲突了

    (2)如果为了保证A,其他节点正常读写,那就与C冲突了

    选择CP或AP架构,关键在业务场景。例如:对于必须确保强一致性的银行业务,只能选择CP

    三,BASE理论

    1,BA、S、EC

    BA(Basically Availability,基本可用性)

    • 当系统发生故障时,在确保核心功能和指标有效的提前下,允许损失部分可用性,包括响应时间上的损失、非核心功能上的损失等

    S(Soft State,软状态)

    • 允许数据存在中间状态(暂时未更新),且该状态不会影响整体可用性
    • 允许不同节点上的数据副本的同步过程存在一定延时

    EC(Eventually Consistency,最终一致性)

    • 分布在不同节点上的数据副本,在经过一定时间的同步后,最终达到一致状态。例如:Zookeeper、HDFS QJM写事务的过半策略
    • 弱一致性的升级版

    二,BASE理论

    表述:分布式系统在满足分区容错性P的同时,允许数据软状态S的存在,并实现基本可用性BA和最终一致性EC。

    即在满足P的前提下,对CAP中的强一致性A和绝对可用性C进行适度妥协:A-》BA、C-》EC

    通过容忍部分数据的暂时不一致(软状态),即牺牲数据的强一致性(确保最终一致性),以确保系统的核心功能和指标有效(基本可用)

    BASE理论是对大规模互联网系统分布式实践的总结,是对 CAP 中的一致性和可用性进行一个权衡的结果。

  • 相关阅读:
    鸿蒙HarmonyOS实战-ArkUI事件(键鼠事件)
    OpenHarmony网络编程及多播相关总结
    uniapp 实现地图头像上的水波纹效果
    小程序开发学习
    tf serving 从S3 minio 加载模型
    IP协议及相关技术协议
    【iOS-UIImagePickerController访问相机和相册】
    蒙特卡洛方法使用原理解系-单位圆的面积计算
    maven本地仓库配置
    DevOps|破除壁垒,重塑协作-业务闭环释放产研运协作巨大效能
  • 原文地址:https://blog.csdn.net/qq_41528502/article/details/125455794