• 云计算与大数据课程笔记(四)之Google云计算框架辅助笔记(下)


    Megastore

    Megastore是Google为了解决大规模数据存储和分布式一致性问题而开发的存储系统。它能在保持数据一致性的同时,支持跨全球多个数据中心的分布式部署。通过组织数据成实体组,Megastore既提供了事务性支持,也实现了良好的扩展性。

    核心特点

    • 半关系型:Megastore提供了类似关系数据库的特性,例如结构化数据模型和事务支持,但它是为了在更大的规模上运行而设计的。
    • 数据一致性:Megastore强调在全球范围内维护数据的一致性,即使是在分布式环境中,也能保证数据更新的准确性和可靠性。

    工作原理

    • 实体组Megastore将数据分组成为“实体组”(entity groups),这些实体组是数据存储和事务的基本单位。实体组内部的数据更新操作可以保证原子性,即要么全部成功,要么全部失败。可以理解为原子组。
    • 分布式架构:虽然单个实体组的操作保证了原子性和一致性,但Megastore通过分布式架构允许在全球范围内跨多个数据中心存储和处理数据。

    Megastore被设计用来处理需要强一致性和可靠事务的应用,同时需要在全球范围内分布式部署以支持大规模的数据存储和访问。


    Dapper

    Google的Dapper是一个分布式追踪系统,它用于监控和诊断大规模分布式系统的性能问题和运行状况。Dapper帮助开发者和运维人员理解系统中各个组件之间的交互和性能瓶颈

    核心功能

    • 性能追踪Dapper能够追踪和记录系统中的请求流程,包括每个请求经过的各个服务节点和这些服务的响应时间。
    • 透明度高:Dapper旨在对业务逻辑影响最小,尽可能透明地集成到系统中,不需要大量修改现有的代码。
    • 大规模监控:它被设计来处理极大规模的数据,可以监控Google这样庞大的系统运行状态。

    工作原理

    • 跨服务追踪Dapper通过在服务调用中嵌入特殊的标识符(通常称为trace和span ID)来追踪整个请求的生命周期。这些标识符随着请求在系统中传递,记录下每个服务处理请求的时间和状态。
    • 数据收集和分析:收集到的追踪数据被发送到中央存储系统,然后可以被查询和分析,以诊断性能问题或优化系统性能。

    Dapper特别适合于大型的分布式系统,其中需要详细了解不同服务之间如何交互以及每个服务的性能如何。这些信息对于优化系统性能、诊断问题和理解系统行为至关重要。

    Dapper是一个为大型分布式系统设计的监控和追踪工具,它通过收集和分析系统中的请求数据来帮助理解系统的行为和性能。Dapper使得在复杂的分布式环境中找到性能瓶颈和问题变得可行,从而提高系统的可靠性和效率。


    Dremel

    Google 的 Dremel 是一个用于海量数据集的交互式分析工具,它能够对存储在分布式系统中的数据执行快速的查询操作。Dremel 允许用户以近乎实时的方式分析庞大的数据集,提供了一种高效的机制来执行复杂的数据分析任务。

    核心特点

    • 高速查询:Dremel 能够在几秒内完成对 petabyte 级别数据集的查询,这得益于其高效的数据扫描和执行引擎。
    • 复杂查询能力:支持复杂的SQL-like查询,包括嵌套数据结构的处理,这使得它可以直接分析存储在类似于BigTable或其他列式存储系统中的数据。
    • 扩展性:Dremel 架构允许它通过增加更多的处理节点来扩展,从而处理更大的数据集和更复杂的查询。

    工作原理

    • 列式存储Dremel 使用列式存储格式,这意味着它按列而不是按行存储数据。这种存储方式优化了查询性能,因为它允许系统只读取查询所需的列,减少了数据读取量。
    • 多级执行树:Dremel 构建了一个多级的执行树结构来分发和处理查询查询从根服务器开始,然后向下分发到多个子节点,这些子节点进一步处理查询并将结果发送回上级节点,直到最终汇总到根服务器。

    适用场景

    Dremel 适合于需要快速分析和探索大规模数据集的场景。它在数据分析师和科学家中尤其受欢迎,他们需要快速获取查询结果来验证假设或进行探索性分析。

    简单来说

    Dremel 是一个强大的交互式数据分析工具,能够快速地处理和分析大规模数据集。它通过高效的列式存储和分布式查询处理能力,提供了快速、灵活且可扩展的数据查询服务,从而使得对海量数据进行复杂分析成为可能。


    PowerDrill

    PowerDrill是Google开发的一种内存大数据分析系统,专为高速处理大量数据而设计。与传统的磁盘驱动分析工具相比,PowerDrill主要依赖内存计算,这使得它能够实现极快的数据处理速度。

    核心特点

    • 高速数据处理:PowerDrill可以在几秒钟内分析数十亿行数据,这得益于其高效的内存数据处理能力。
    • 适用于大规模数据集:尽管主要依赖内存,PowerDrill仍能处理非常大的数据集,这是通过优化的数据结构和算法实现的。
    • 实时分析:PowerDrill特别适合于实时数据分析,能够快速对新数据进行查询和分析。

    工作原理

    • 内存计算:与依赖磁盘的传统数据分析工具不同,PowerDrill将大部分数据存储在内存中,减少了数据读取时间,从而加速了数据处理和分析过程。
    • 优化的数据结构:为了有效利用内存并提高查询速度,PowerDrill使用了高度优化的数据结构,如压缩的列式存储,以减少内存使用并加速数据访问。

    适用场景

    • PowerDrill适合于需要快速处理和分析大量数据的场景,特别是当数据分析任务需要频繁且快速的迭代时。
    • 它在广告、金融分析和网络监控等领域特别有用,这些领域通常需要实时或近实时分析大量数据。

    简单来说

    PowerDrill是一种高性能的内存大数据分析系统,它通过在内存中高效处理数据来实现快速的分析速度。PowerDrill适用于需要实时或快速分析大量数据的应用场景,使得用户能够在短时间内获得深入的数据洞察。

    对于数据处理任务,如果需要频繁的、复杂的查询,Dremel可能更合适;而对于需要快速迭代和实时分析的场景,PowerDrill会是更好的选择。

  • 相关阅读:
    带着问题去分析:Spring Bean 生命周期 | 京东物流技术团队
    机器学习入门教学——人工智能、机器学习、深度学习
    【IOS】启动报错Cannot launch ‘/private/var/containers/Bundle/Application/....‘
    React@16.x(28)useMemo
    Acwing 286. 选课(背包类树形DP)
    论文笔记《Admix: Enhancing the Transferability of Adversarial Attacks》
    D1117内置热保护和电流限制保护功能,输出电流能力为 1.0A,应用于计算机主板和显卡电源管理等产品上
    Redis之分布式锁
    高级 OpenCV:BGR 像素强度图
    人脸识别:概述【Loss:Softmax loss、Triplet loss、Centre loss、SphereFace、CosFace、ArcFace】
  • 原文地址:https://blog.csdn.net/qq_65052774/article/details/136634563