GreenPlum6.x之ETL工具

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

GreenPlum作为一款定位为OLAP系统的分布式数据库平台，具有非常强大的ETL功能，其中存储过程和GPLoad是必须掌握的数据仓库开发工具。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、ETL是什么？

ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。
ETL 是企业数据应用过程中的一个数据流（pipeline）的控制技术，把原始的数据经过一定的处理，放入数据仓库里。
ETL的目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。

二、数据加载工具GPLoad

1.GPLoad安装部署

代码如下（示例）：

#在虚拟机增加了一台做ETL的服务器
192.168.1.200 gpetl

mkdir -p /gpdata/gpadmin/greenplum-db-clients
chown -R hadoop:hadoop /gpdata/gpadmin/greenplum-db-clients

root: yum install apr apr-util bzip2 libyaml libevent rsync

root:
cd /gpdata/gpadmin/greenplum-db-clients
rpm -ivh greenplum-db-clients-6.18.0-rhel7-x86_64.rpm
rpm -ivh --prefix=/gpdata/gpadmin/greenplum-db-clients/ greenplum-db-clients-6.18.1-rhel7-x86_64.rpm

#将软件赋权给实际管理员用户
ls -al
chown -Rf hadoop:hadoop /gpdata/gpadmin/greenplum-db-clients*

#设置环境变量
source /gpdata/gpadmin/greenplum-db-clients/greenplum-db-clients-6.18.1/greenplum_loaders_path.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

2.编写控制文件test.yml

代码如下（示例）：

VERSION: 1.0.0.1
DATABASE: gpdb 
USER: gpadmin 
HOST: 192.168.1.201 
PORT: 5432 
GPLOAD:
  INPUT:
  - SOURCE:
      LOCAL_HOSTNAME:
        - 192.168.1.200
      PORT: 8080
      FILE:
      - /home/test/test.csv #数据文件路径
  - COLUMNS:
    - id: INT8
  - MAX_LINE_LENGTH: 1000000
  - FORMAT: csv
  - DELIMITER: ','
  - HEADER: true
  OUTPUT:
  - TABLE: public.t_test #测试表，表中包含字段id 类型为INT8
  - MODE: insert
#准备数据文件test.csv
id
1
2
3
4

#执行gpload
gpload -f test.yml 
#成功导入数据则安装成功，否则根据具体提示处理
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

---

总结

记录点点滴滴