• GBase 8a MPP Cluster 硬件规划参考


    集群规划

    V953版本:gcware解绑后,数据一致性管理节点减少能在保证集群高可用下减轻信息交互的资源消耗。

    • 一个gcware服务与一个gcluster服务部署在同一服务器上
    • 部署gcware可以等于或小于gcluster服务
    • gcware服务节点上限64个,通常推荐 3-7 个足够
    • gcware解绑后,gcluster服务节点数上限理论上可以超过64个,但通常建议配置的管理节点个数不超过64个,节点数过多,管理成本、ddl成本会比较高,具体根据业务需求确定。
    • gcware推荐部署奇数个
    • gcware节点不支持扩容,gcluster节点支持扩容
    • gnode节点支持节点数1000以上,支持扩容,建议单个VC的节点规模控制在300以下,也可以超过300。

    数据量评估
    未来使用年限
    当前的数据量
    预计每日增长的数据量
    预计数据备份份数

    计算公式:
    压缩保守预计比 3:1
    总数据量:[当前数据量 + 预计每日增长数据量 * (365 * 未来使用年限)* (预计数据备份分数 + 1)] / 3

    单台服务器配置:
    硬盘:做完RAID后实际可用存储空间

    总数据量:每个节点保留40%预留空间,用以保持集群的性能和其他操作的备份空间
    当前数据量 * (1 - 40%)

    集群推荐
    数据节点数量:总数据量/单台节点数据量
    管理节点数量:推荐3-7个,如果并发量大或者sql复杂可配到5-7个。建议独立部署到单独的服务器最佳。

    服务器配置硬件规划

    数据节点内存:
    8a自动评估内存,dc_heap用途是缓存数据(DC),如dc_heap不够用时,会向操作系统申请内存dc_heap_malloc。
    dc_heap自动评估:实际内存6/16;上限为:实际内存0.8;
    冷热数据按经验预计估计*:2,查询数据量为 dc_heap/0.2最佳
    建议:数据按季度或月等时间分表,具体情况根据实际性能需求进行调整。

    数据节点CPU
    对CPU的消耗主要是数据压缩、解压、以及SQL运算中的计算需求。在不考虑计算类型的情况下,业界通常采用每CPU核心管理4GB到16GB内存,按照每CPU核心配备16GB内存计算。
    建议:每个节点配置16核以上的CPU最佳。

    管理节点配置
    配置可比数据节点较低,建议CPU和内存一致,硬盘容量可比数据节点小。

    8a MPP Cluster应用于数据IO密集型应用场景,系统整体性能与IO能力密切相关,以上为预估,部署完成后根据实测进行调整。

  • 相关阅读:
    C#基于BytesIO程序包的TCP Client客户端窗体程序
    Mybatis练习之表白墙练习
    《国际服务贸易》期末复习题 及答案参考
    代码随想录day42|背包问题基础|416. 分割等和子集|Golang
    【LeetCode】每日一题 2023_11_9 逃离火灾(bfs 练习)
    展开运算符 ...
    JVM性能——开启回收日志和实时查看GC信息
    【LVS】lvs的四种模式的区别是什么?
    数据结构-栈
    AI绘画:midjourney快速生成符合心意的AI人物形象
  • 原文地址:https://blog.csdn.net/qq_37004539/article/details/126930757