HADOOP 的 LZO 压缩 hadoop-lzo 编译

HADOOP 支持 LZO 的 hadoop-lzo 编译

twitter 提供的 lzo 压缩的开源组件：hadoop-lzo

安装相关包

$ sudo yum install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

安装 LZO

$ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

$ tar xzvf lzo-2.10.tar.gz

$ cd lzo-2.10

$ ./configure -prefix=/home/hadoop/local//lzo

$ make

$ make install

编译 hadoop-lzo 源码

下载源码

$ wget https://github.com/twitter/hadoop-lzo/archive/master.zip

解压缩

$ mv master.zip hadoop-lzo-master.zip

$ unzip hadoop-lzo-master.zip

$ cd hadoop-lzo-master

编译

$ mvn package -Dmaven.test.skip=true

得到 hadoop-lzo

在 target 下有编译好的 jar：

• hadoop-lzo-0.4.21-SNAPSHOT.jar
• hadoop-lzo-0.4.21-SNAPSHOT-javadoc.jar
• hadoop-lzo-0.4.21-SNAPSHOT-sources.jar

这个 jar 包就可以放到 Hadoop 中去使用了。