Greenplum实用工具-gpfdist

注：本文翻译自https://docs.vmware.com/en/VMware-Greenplum/7/greenplum-database/utility_guide-ref-gpfdist.html
向Greenplum数据库段提供数据文件或从数据库段写入数据文件。

语法

gpfdist [-d <directory>] [-p <http_port>] [-P <last_http_port>] [-l <log_file>]
   [-t <timeout>] [-S] [-w <time>] [-v | -V] [-s] [-m <max_length>]
   [--ssl <certificate_path> [--sslclean <wait_time>] ]
   [--compress] [--multi_thread <num_threads>]
   [-c <config.yml>]

gpfdist -? | --help 

gpfdist --version
1
2
3
4
5
6
7
8
9

描述

gpfdist是Greenplum数据库并行文件分发程序。它被可读的外部表和gpload使用，以并行地向所有Greenplum数据库段提供外部表文件。可写的外部表使用它来并行地接受来自Greenplum数据库段的输出流，并将它们写入文件。

注：gpfdist和gpload仅与附带它们的Greenplum Database主版本兼容。例如，与Greenplum Database 4一起安装的gpfdist实用程序。不能与Greenplum Database 5.x或6.x一起使用。

为了让外部表使用gpfdist，外部表定义的LOCATION子句必须使用gpfdist://协议指定外部表数据(参见Greenplum数据库命令CREATE external table)。

注：如果指定–ssl选项以启用ssl安全性，则使用gpfdists://协议创建外部表。

使用gpfdist的好处是，在对外部表进行读写操作时，可以保证最大程度的并行性，从而提供最佳性能，并简化对外部表的管理。

对于可读的外部表，当用户从外部表中进行SELECT时，gpfdist将解析数据文件并将其均匀地提供给Greenplum Database系统中的所有段实例。对于可写的外部表，当用户插入到外部表中时，gpfdist接受来自段的并行输出流，并将其写入输出文件。

注：当gpfdist读取数据并遇到数据格式化错误时，错误消息包括一个行号，指示格式化错误的位置。Gpfdist尝试捕获包含错误的行。但是，由于某些格式化错误，gpfdist可能无法捕获准确的行。

对于可读的外部表，如果使用gzip或bzip2压缩加载文件(具有.gz或.bz2文件扩展名)，gpfdist会在加载数据时(动态地)解压缩数据。对于可写的外部表，如果目标文件的扩展名为.gz, gpfdist会使用gzip压缩数据。

注：当gpfdist实用程序在Windows平台上运行时，不支持对可读和可写的外部表进行压缩。

当使用gpfdist或gpfdists协议读写数据时，Greenplum Database在HTTP请求头中包含X-GP-PROTO，以表明请求来自Greenplum Database。该实用程序拒绝在请求头中不包含X-GP-PROTO的HTTP请求。

最有可能的是，您希望在您的ETL机器上运行gpfdist，而不是在安装了Greenplum Database的主机上。要在另一台主机上安装gpfdist，只需将该实用程序复制到该主机，并将gpfdist添加到$PATH中。

选项

-d directory
gpfdist将从中为可读的外部表提供文件或为可写的外部表创建输出文件的目录。如果未指定，则默认为当前目录。

-l log_file
将记录标准输出消息的完全限定路径和日志文件名。

-p http_port
gpfdist将在其上提供文件的HTTP端口。默认为8080。

-p last_http_port
HTTP端口号范围(包括http_port到last_http_port)中的最后一个端口号，gpfdist将在该端口号上尝试为文件提供服务。Gpfdist在它成功绑定到的范围内的第一个端口号上提供文件。

-t timeout
设置Greenplum Database与gpfdist进程建立连接所允许的时间。默认为5秒。取值范围为2 ~ 7200秒(2小时)。可能需要在具有大量网络流量的系统上增加。

-m max_length
以字节为单位设置允许的最大数据行长度。默认值是32768。当用户数据包含非常宽的行时(或者当出现行过长的错误消息时)应该使用。不应用于其他用途，因为它增加了资源分配。有效范围是32K到256MB。(Windows系统的上限是1MB。)

-s
启用简化的日志记录。当指定此选项时，只有具有WARN级别及更高级别的消息才会写入gpfdist日志文件。INFO级别的消息不写入日志文件。如果未指定此选项，则将所有gpfdist消息写入日志文件。
您可以指定此选项以减少写入日志文件的信息。

-S(use O_SYNC)
打开带有O_SYNC标志的同步I/O文件。在数据被物理地写入底层硬件之前，对结果文件描述符的任何写操作都将阻塞gpfdist。

-w time
设置Greenplum Database在关闭目标文件(如命名管道)之前延迟的秒数。缺省值为0，无延时。最大值为7200秒(2小时)。
对于具有多个段的Greenplum数据库，在将数据从不同段写入文件时，段之间可能会有延迟。您可以指定Greenplum Database关闭文件之前的等待时间，以确保所有数据都写入该文件。

–ssl certificate_path
对使用gpfdist传输的数据添加SSL加密。在使用——ssl certificate_path选项运行gpfdist之后，从该文件服务器加载数据的唯一方法是使用gpfdist://协议。有关gpfdist://协议的信息，请参见《Greenplum数据库管理员指南》中的“加载和卸载数据”。
“certificate_path”中指定的位置必须包含以下文件:

• 服务器证书文件server.crt
• 服务器私钥文件server.key
• 受信任的证书颁发机构root.crt

根目录(/)不能指定为certificate_path。

–sslclean wait_time
当实用程序使用–ssl选项运行时，设置实用程序在关闭ssl会话之前延迟的秒数，并在完成向Greenplum数据库段写入数据或从数据库段写入数据后清理ssl资源。缺省值为0，无延时。最大值是500秒。如果延迟增加，传输速度降低。
在某些情况下，复制大量数据时可能会出现此错误:gpfdist服务器关闭连接。为了避免这个错误，您可以添加一个延迟，例如–sslclean 5。

–compress
在数据传输过程中启用压缩。当指定时，gpfdist使用Zstandard (zstd)压缩算法。
此选项在Windows平台上不可用。

–multi_threads num_threads
设置gpfdist在数据传输期间使用的最大线程数，并行化操作。当指定时，gpfdist会在传输之前自动压缩数据(也是并行化的)。
Gpfdist最多支持256个线程。
此选项在Windows平台上不可用。

-c config.yaml
指定gpfdist用来在加载或提取数据时选择要应用的转换的规则。gpfdist配置文件是一个YAML 1.1文档。
有关文件格式的信息，请参见《Greenplum数据库管理员指南》中的“配置文件格式”。有关使用gpfdist配置数据转换的信息，请参阅《Greenplum数据库管理员指南》中的使用gpfdist和gpload转换外部数据。
此选项在Windows平台上不可用。

-v(verbose)
详细模式显示进度和状态消息。

-V(very verbose)
详细模式显示此实用程序生成的所有输出消息。

-?(help)
显示联机帮助。

–version
显示此实用程序的版本。

注意

服务器配置参数verify_gpfdists_cert控制当Greenplum Database与gpfdist实用程序通信以从外部数据源读取数据或向外部数据源写入数据时是否启用SSL证书身份验证。您可以将参数值设置为false，以便在测试Greenplum Database外部表与为外部数据提供服务的gpfdist实用程序之间的通信时停用身份验证。如果该值为false，则忽略以下SSL异常:
gpfdist使用的自签名SSL证书不受Greenplum数据库的信任。

SSL证书中包含的主机名与运行gpfdist的主机名不匹配。

您可以设置服务器配置参数gpfdist_retry_timeout，以控制当Greenplum数据库试图将数据写入gpfdist时，如果gpfdist服务器没有响应，那么在返回错误之前，Greenplum数据库等待的时间。默认值为300秒(5分钟)。

如果gpfdist实用程序挂起而没有发生读写活动，则可以在下一次发生挂起时生成核心转储，以帮助调试问题。将环境变量GPFDIST_WATCHDOG_TIMER设置为强制gpfdist退出之前等待无活动的秒数。当设置了环境变量并且gpfdist挂起时，该实用程序将在指定的秒数之后停止，创建一个核心转储，并将相关信息发送到日志文件。

本例在Linux系统上设置环境变量，以便gpfdist在没有活动的300秒(5分钟)后退出。

export GPFDIST_WATCHDOG_TIMER=300
1

当启用压缩时，gpfdist传输更大量的数据，同时保持较低的网络使用率。请注意，压缩可能是时间密集型的，并且可能会降低传输速度。当您使用多线程执行时，压缩所需的总时间可能会减少，这有助于更快的数据传输，同时保持低网络占用和高速度。

示例

使用端口8081从指定目录提供文件(并在后台启动gpfdist):

gpfdist -d /var/load_files -p 8081 &
1

要在后台启动gpfdist，并将输出和错误重定向到日志文件:

gpfdist -d /var/load_files -p 8081 -l /home/gpadmin/log &
1

启用多线程数据传输(隐式压缩)使用四个线程，启动gpfdist如下:

gpfdist -d /var/load_files -p 8081 --multi_thread 4
1

当gpfdist在后台运行时停止它:
首先找到它的进程id:

ps ax | grep gpfdist
1

然后停止该进程，例如:

kill 3456
1