CDH拥有全球70% 的Hadoop用户,在国内也拥有庞大的用户群体。由于Cloudera 和Hortonworks 合并后厂商政策调整,不再更新、不再免费、不再提供服务,众多企业用户生产集群面临着进退两难的窘境和未知的技术风险。
碧茂科技作为国内最早提供CDH培训和技术服务的第三方平台服务商,一路伴随CDH成长发展,深怀对产品的感情,深感对用户的责任。自厂商停止服务以来,不断收到老学员和用户的反馈,决定公益免费提供CDH集群巡检以及60天远程技术支持服务。
一、支持范围
组件响应清单:
| 序号 | CDH5 | CDH6 |
|---|---|---|
| 1 | Flume | Flume |
| 2 | HBase | HBase |
| 3 | HDFS | HDFS |
| 4 | Hive | Hive |
| 5 | Hue | Hue |
| 6 | Impala | Impala |
| 7 | Java KeyStore KMS | Java KeyStore KMS |
| 8 | Key-Value Store Indexer | Key-Value Store Indexer |
| 9 | MapReduce | MapReduce |
| 10 | Oozie | Oozie |
| 11 | Sentry | Sentry |
| 12 | Solr | Solr |
| 13 | Spark | Spark |
| 14 | Spark (Standalone) | Spark (Standalone) |
| 15 | Sqoop 1 Client | Sqoop 1 Client |
| 16 | Sqoop 2 | YARN (MR2 Included) |
| 17 | YARN (MR2 Included) | ZooKeeper |
| 18 | ZooKeeper | Kafka |
| 19 | Kafka | Kudu |
| 20 | Kudu |
二、服务内容
1、集群巡检 系统巡检是对大数据平台各项运行指标、数据质量、系统性能、安全性等方面进行检查和评估的过程。巡检的目的是发现问题并及时解决,以确保大数据平台的正常运行和稳定性。 大数据平台巡检包括以下内容:
巡检报告目录示例:
1、集群硬件与 OS 环境
1.1 节点数量及网络拓扑
1.2 硬件类型及其参数
1.3 操作系统
1.4 Hostname与DNS
1.5 透明大页
1.6 交换分区
1.7 JVM 版本
1.8 数据分区的挂载参数
1.9 磁盘分区的使用情况
2、Hadoop 平台与架构
2.1 整体情况
2.2 主集群(Cluster 1)组件概况
2.2.1 Parcels
2.2.2 角色分布
2.2.3 静态资源分配
2.4 HDFS 的配置参数与健康度
2.4.1 配置与部署情况
2.4.2 小文件问题
2.4.3 Namenode的GC情况
2.4.4 Namenode 的内存交换
2.4.5 HDFS关键性能指标
2.5 YARN/MR 的配置参数与健康度
2.5.1 配置与部署情况
2.5.2 YARN/MR 关键性能指标
2.6 HIVE/IMPALA 的主要配置参数与健康度
2.6.1 主要表及分区
2.6.2 HIVE 并发与 Zookeeper 注册项
2.6.3 Impala 关键性能与配置参数
2.6.4 Impala 的 Local Assignment比率
2.6.5 Impala 应用级健康检查方式
2.6.6 Impala 集群的健康度评估指标
2.6.7 CM 中显示的主要异常告警
3、IMPALA 负载分析与建议
3.1 主集群 CPU 使用率高,主要消耗在 user,但内存使用率低
3.2 IMPALA 组件的整体负载不高
3.3 主集群 Worker 节点的 CPU 资源使用情况
3.4 主集群(IMPALA集群)的性能诊断结论与优化方向
2、远程技术支持
针对集群巡检中发现的问题和客户提交的集群故障,进行诊断排查,并反馈故障处理方案。根据用户业务及集群现状,提供升级、迁移等技术规划建议。出具分析报告及改进意见书。
三、申请方式
1、在线申请:http://bemoredata2020.mikecrm.com/bKgyMNk
2、识别二维码申请:

中科院上海计算技术研究所孵化,国家高新技术企业,专业大数据平台第三方服务商。公司成立于2011年,总部位于上海,在北京、深圳、长沙等地设有分支机构,形成了覆盖全国的服务体系。为客户提供基于Cloudera、华为等主流大数据平台,从系统架构、数据治理到人才培养,全生命周期、跨行业的底层大数据解决方案和技术支持。参与建设或维护了中石油大数据云计算中心、华星光电大数据平台、京东方大数据平台、中国商飞智能刀具检测系统、万达金融风控大数据平台、中国移动黑龙江中心计费系统等重大项目。