• GBase 8a MPP Cluster 硬件规划参考


    集群规划

    V953版本:gcware解绑后,数据一致性管理节点减少能在保证集群高可用下减轻信息交互的资源消耗。

    • 一个gcware服务与一个gcluster服务部署在同一服务器上
    • 部署gcware可以等于或小于gcluster服务
    • gcware服务节点上限64个,通常推荐 3-7 个足够
    • gcware解绑后,gcluster服务节点数上限理论上可以超过64个,但通常建议配置的管理节点个数不超过64个,节点数过多,管理成本、ddl成本会比较高,具体根据业务需求确定。
    • gcware推荐部署奇数个
    • gcware节点不支持扩容,gcluster节点支持扩容
    • gnode节点支持节点数1000以上,支持扩容,建议单个VC的节点规模控制在300以下,也可以超过300。

    数据量评估
    未来使用年限
    当前的数据量
    预计每日增长的数据量
    预计数据备份份数

    计算公式:
    压缩保守预计比 3:1
    总数据量:[当前数据量 + 预计每日增长数据量 * (365 * 未来使用年限)* (预计数据备份分数 + 1)] / 3

    单台服务器配置:
    硬盘:做完RAID后实际可用存储空间

    总数据量:每个节点保留40%预留空间,用以保持集群的性能和其他操作的备份空间
    当前数据量 * (1 - 40%)

    集群推荐
    数据节点数量:总数据量/单台节点数据量
    管理节点数量:推荐3-7个,如果并发量大或者sql复杂可配到5-7个。建议独立部署到单独的服务器最佳。

    服务器配置硬件规划

    数据节点内存:
    8a自动评估内存,dc_heap用途是缓存数据(DC),如dc_heap不够用时,会向操作系统申请内存dc_heap_malloc。
    dc_heap自动评估:实际内存6/16;上限为:实际内存0.8;
    冷热数据按经验预计估计*:2,查询数据量为 dc_heap/0.2最佳
    建议:数据按季度或月等时间分表,具体情况根据实际性能需求进行调整。

    数据节点CPU
    对CPU的消耗主要是数据压缩、解压、以及SQL运算中的计算需求。在不考虑计算类型的情况下,业界通常采用每CPU核心管理4GB到16GB内存,按照每CPU核心配备16GB内存计算。
    建议:每个节点配置16核以上的CPU最佳。

    管理节点配置
    配置可比数据节点较低,建议CPU和内存一致,硬盘容量可比数据节点小。

    8a MPP Cluster应用于数据IO密集型应用场景,系统整体性能与IO能力密切相关,以上为预估,部署完成后根据实测进行调整。

  • 相关阅读:
    基于.NetCore开发博客项目 StarBlog - (8) 分类层级结构展示
    淘宝app商品详情源数据API接口(解决滑块问题)可高并发采集
    Semantic Kernel 入门系列:💾Native Function
    信奥赛一本通题解目录(未做完)
    软件工程考试重点图形:数据流图画法介绍(★★★★★)
    体验版小程序访问不到后端接口请求失败问题解决方案
    (附源码)spring boot北京冬奥会志愿者报名系统 毕业设计 150947
    WebSocket: 实时通信的理解与认识
    Mac电脑配置Java环境和android环境,删除谷歌浏览器的自动更新
    YOLO X 改进详解
  • 原文地址:https://blog.csdn.net/qq_37004539/article/details/126930757