大数据实战之前戏

开发背景

因为要开发一套通话详单系统。该系统上每天产生1亿条通话话单，要保存一个月的通话话单。也就是保存30亿条通话，能够做到准实时的通话详单查询。于是采用大数据架构进行话单的保存和查询。

服务器规划

为了验证系统的可用性，我先搭建了一个小型的大数据库系统，使用了5台服务器。
服务器配置为CPU ： Intel® Xeon® Gold 5118 CPU @ 2.30GHz 8C，内存32G，硬盘1T。

设置主机名

使用命令hostnamect
hostnamectl set-hostname bigdata-pro01.kfk.com
vim /etc/sysconfig/network
bigdata-pro01.kfk.com

添加用户

useradd kfk
passwd kfk

编辑/etc/sudoers

kfk ALL=(root) NOPASSWD: ALL

编辑/etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.23.100 bigdata-pro01.kfk.com bigdata-pro01
192.168.23.102 bigdata-pro02.kfk.com bigdata-pro02
192.168.23.103 bigdata-pro03.kfk.com bigdata-pro03
192.168.23.104 bigdata-pro04.kfk.com bigdata-pro04
192.168.23.106 bigdata-pro05.kfk.com bigdata-pro05

关闭防火墙

iptables -F
[root@hadoop0 ~]# service iptables status
Redirecting to /bin/systemctl status iptables.service
● iptables.service - IPv4 firewall with iptables
Loaded: loaded (/usr/lib/systemd/system/iptables.service; disabled; vendor preset: disabled)
Active: inactive (dead)
[root@hadoop0 ~]#

hadoop2.8.0版本下载及安装

下载地址是https://archive.apache.org/dist/hadoop/hadoop-2.8.0.tar.gz。用浏览器下载太慢了，推荐用迅雷单线程模式下载。

hadoop安装

将hdoop-2.8.0.tar.gz 上传到kfk的家目录。对是kfk用户的家目录。不要用其他砖家说的的将hdoop放到/opt/module中。
然后使用tar将hdoop-2.8.0.tar.gz加压即可。

配置/etc/bashrc

将java的环境变量，hadoop的环境变量及PATH路径在/etc/bashrc中进行配置。
export JAVA_HOME=/opt/modules/jdk-18.0.2.1
export HADOOP_HOME=/home/kfk/hadoop-2.8.0
PATH=$PATH:$HADOOP_HOME/bin:$HADOO{P}_{H}OME/sbin:$JAVA_HOME/bin:.
export PATH

其中JDK的安装，请自行百度，此处不再赘述。将PATH中把JAVA及HADOOP的可执行文件的路径做了配置。