GBase 8a MPP Cluster 集群所面临的集群规模、数据量、SQL复杂度越来越大,虽然通过加强数据的合理分布、集群查询计划的合理调度、硬件资源的扩展等手段解决一部分资源(CPU、NET、MEMORY、DISK IO等)瓶颈问题,但依然面临如下挑战:
系统资源不受控情况下,所有SQL执行都会抢占资源,这样会造成系统的不稳定;
系统资源被一条低优先级的SQL大量占用,导致高优先级SQL无法按时完成;
复杂SQL在集群中往往会分多步执行,在并发情况下,同一SQL的任务会受资源限制,无法保证在所有节点间同步完成。
GBase 8a提供资源管理功能,其配置原则主要关注资源管理要解决的问题:
系统资源能够按照策略分配使用;
任务的执行要有优先级管理;
复杂(多步)任务在集群中要有统一的管理策略(包括:资源分配、优先级、执行顺序等)。
集群管理相关命令使用原则:
用户优先级设定
用户资源组设定
查询并行度设定
用户优先级与任务调度配重设定
显示优先级状态
配置优先级队列相关参数
指定查询SQL优先级