• flume的安装和配置



    原创申明: 未经许可,禁止以任何形式转载,若要引用,请标注链接地址
    全文共计2439字,阅读大概需要3分钟
    欢迎关注我的个人公众号:不懂开发的程序猿

    一、任务描述

    Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。本试验就是通过学习flume工具的安装,为后面学习flume实现对数据信息的采集以便于解决实际中存在的问题打下基础。

    二、任务目标

    熟练flume的安装和配置,理解flume的原理和应用

    三、任务环境

    本次环境是:Ubuntu16.04 + jdk1.8.0_73 + hadoop-2.7.3+flume-1.7.0

    四、任务分析

    解压fulem的安装包,然后配置环境变量,修改flume配置文件,最后测试是否安装成功。

    五、任务实施

    步骤1、解压flume压缩包

    在linux终端执行切换命令:【cd /simple/soft】并查看是否存在解压后flume文件,如果不存在,则需要查看/simple/soft目录下是否存在flume压缩包文件apache-flume-1.7.0-bin.tar.gz。如图1所示

    在这里插入图片描述

    图1 查看压缩包所在目录

    在linux命令终端执行解压命令:【tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /simple】对flume压缩包进行解压 。如图2所示

    在这里插入图片描述

    图2 解压需要的压缩包

    解压flume压缩包之后,通过执行ls命令:【ls apache-flume-1.7.0-bin/】来查看flume解压后的目录结构。如图3所示

    在这里插入图片描述

    图3 查看flume的目录结构

    为了方便美观将apaceh-flume-1.7.0-bin修改为flume。如图4所示

    在这里插入图片描述

    图4 修改名字

    进入flume目录下的bin目录下的内容列表。可以看到该目录下有一个执行文件flume-ng 。如图5所示

    在这里插入图片描述

    图5 查看执行文件

    输入命令【vim /etc/profile】进入配置文件,配置flume的环境变量,配置完成后保存,然后输入命令【source /etc/profile】使环境变量生效。如图6所示

    在这里插入图片描述

    图6 配置环境变量

    ♥ 知识链接
    概念
      Flume的一些核心概念:

    nameValue
    (1)Events一个数据单元,带有一个可选的消息头,可以是日志记录、avro 对象等。
    (2)AgentJVM中一个独立的Flume进程,包含组件Source、Channel、Sink。
    (3)Client运行于一个独立线程,用于生产数据并将其发送给Agent。
    (4)Source用来消费传递到该组件的Event,从Client收集数据,传递给Channel。
    (5)Channel中转Event的一个临时存储,保存Source组件传递过来的Event,其实就是连接 Source 和 Sink ,有点像一个消息队列。
    (6)Sink从Channel收集数据,运行在一个独立线程。

    步骤2、 配置flume

    在/simple/flume/conf目录下可以看到有个配置文件模板flume-env.sh.template,首先更改该文件名,需要执行命令:mv flume-env.sh.template flume-env.sh对conf目录下的配置文件进行重命名。如图6所示

    在这里插入图片描述

    图7 重命名配置文件
      首先通过编辑命令:【vim flume-env.sh】进入配置文件中然后修改配置文件中的内容。如图8所示

    在这里插入图片描述

    图8 编辑配置文件

    六、任务测试

    在任意目录下输入【flume-ng version】查看flume是否安装成功。如图9

    在这里插入图片描述

    图9 检查是否安装成功

    在这里插入图片描述

  • 相关阅读:
    洛谷 P3588 【[POI2015]PUS】题解
    LeetCode 0216.组合总和 III:回溯(剪枝) OR 二进制枚举
    C++编程案例讲解-基于结构体的控制台通讯录管理系统
    机器人强化学习——第一人称 VS 第三人称
    PMP备考大全:经典题库(敏捷管理第2期)
    js逆向-F12及网页重定向检测
    JUC系列(一&二):线程基础、生产与消费模型、8锁问题
    JAVA:实现GCD最大公约数算法(附完整源码)
    《2022年中国银行业RPA供应商实力矩阵分析》研究报告正式启动
    笙默考试管理系统-MyExamTest----codemirror(29)
  • 原文地址:https://blog.csdn.net/qq_44807756/article/details/125545554