Haddop+Hive 单机hadoop 单机hive

hadoop单机版
hive使用
首先确保linux环境已有java环境
使用jps命令 看下面四个进程 是hdsf（hadoop）必须要启动的进程

hadoop目录文件预览 注意使用目录
etc 配置
sbin 启动文件
share 例子jar

配置文件在etc/hadoop下面
需要修改的文件如下：内容可以自行百度 很简单 配个端口 主机名 内存等

start-all.sh 正常启动这个就可以了 如jps进程里看不到datanode 或者namenode 需要自行启动
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode

首次启动之后 格式下一下
hadoop namenode -format
hadoop datanode -format

测试计算pi

访问ip:50070 查看页面

查看ip:8088

上面hdfs（hadoop）已基本构建完成，记得hdfs数据目录要给够权限 hadoop_home也要配置好

hive安装比较简单，需要hadoop的环境就可以了
看下目录结构
bin 启动
conf 配置
lib jar包 如果是mysql形式需要加入驱动jar包的

bin下有几种启动模式
1、本服务器上直接使用 ./hive 就能启动了 之后进入sql形式 去执行语句。
2、启动后台服务 远程连接 nphup hiveserver2 &；
3、也可以用 beeline -u jdbc:hive2://主机名或ip:10000 -n root

通过配置文件设置10002端口 可以访问hive ui页面

hive.server2.webui.port
10002

1
2
3
4

在lib下 放入MySQL驱动包 如下

在conf目录下
将template文件复制一个改名
将内容进行修改 具体可以百度
如果用mysql 需要修改site配置 加入mysql地址 用户名 密码 及库名 等

设置下hive_home环境变量 就完成了
可以启动尝试下
mysql先建个hive库 启动后初始化 会生成一些表 初始化命令（schematool -initSchema -dbType mysql）