Flume环境搭建

1、新建一个专门放文件的目录：mkdir /export/server

2、将Flume的安装包上传到/export/server目录并解压，重命名：

tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /export/server

mv apache-flume-1.8.0-bin flume

3、修改flume-env.sh文件：

cd /Flume/conf

cp flume-env.sh.template flume-env.sh

vi flume-env.sh

找到JAVA_HOME变量配置位置：

export JAVA_HOME=/export/server/jdk

4、配置环境：vi /etc/profile（全局生效）

export FLUME_HOME=/export/server/flume
export PATH=$PATH:$FLUME_HOME/bin

刷新：source /etc/profile

或者：vi /root/.bash_profile （只对root用户生效）

export FLUME_HOME=/export/server/flume
export PATH=$PATH:$FLUME_HOME/bin

刷新：source /root/.bash_profile

验证是否安装成功：flume-ng version

出现版本号即可

测试采集日志：

在flume安装目录下的conf下创建一个netcat-logger.conf文件,并写入配置：

touch netcat-logger.conf

vi netcat-logger.conf

# 示例配置方案: 单节点Flume配置
# 定义Agent中各个组件名称，
# 其中该Agent名为a1，sources名为r1，sinks名为k1，channels名为c1
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述并配置sources组件（数据源类型、采集数据源的应用地址）
a1.sources.r1.type = netcat          
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 描述并配置sinks组件（采集后的数据流出的类型）
a1.sinks.k1.type = logger
# 描述并配置channels（缓存类型、内存缓存大小和事务缓存大小）
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 将source和sink通过同一个channel连接绑定
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

上面这一步最好在windows系统桌面上新建一个txt文档然后把内容放入，

并修改文件后缀为conf。

然后在flume/conf目录下使用rz将文件上传

安装rz命令：yum install -y lrzsz

启动Flume进行监听:

flume-ng agent -f /export/server/flume/conf/netcat-logger.conf -n a1

测试：

重新打开一个窗口

安装nc :

yum install nc

连接：nc localhost 44444

或安装telnet:

yum -y install telnet

连接：telnet localhost 44444

连接后随便输入一些东西，原窗口能接受到数据即为成功

 

 从上面的截图时间可以看出，博主是一边操作一边写文章的。并且成功了，如果你测试时出现报错，请自行百度解决。