码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • presto搭建,并配置hive


    我是cdh6.3,当然你hadoop也是一样可以的

    注意:

    hive中的表字段不能为中文,如果为中文,presto会连接超时,但是hive本身以及hue或者spark都不会有影响。只有presto会连接超时

     

    英文

     

    cdh,我采用的是jdk1.8_188

    听其他人说,presto的jdk的小版本要大于155,因为我是188大于155,所以我没有遇到过,如果你不是用的cdh带的jdk,你要稍微注意一下噢

     

     开始正题:

    搭建什么的很简单。就是上面那个玩意,把我整傻了。因为他的报错原因就1个,超时。根本搜不到解决方案。谁能想到超时和中文字段有关?:)

    单节点

    2个包,一个客户端,一个服务端

    地址的

    https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.184/presto-server-0.184.tar.gz https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.184/presto-cli-0.184-executable.jar

    上传他们到这个目录/opt/cloudera/parcels/

    cd /opt/cloudera/parcels/

    tar -xvf presto-server-0.184.tar.gz

    进入目录server目录

    cd /opt/cloudera/parcels/presto-server-0.184

    presto他会默认读server目录下面etc中的配置

    mkdir etc

    创建4个文件,1个文件夹

     4个文件是presto的基础配置,catalog文件夹(名称不能改)是presto可集成的数据源目录

    每个文件配置,可以直接复制,除了绿色部分,写成自己的

    vi config.properties

    coordinator=true
    node-scheduler.include-coordinator=true
    http-server.http.port=20080
    query.max-memory=3GB
    discovery-server.enabled=true
    discovery.uri=http://192.168.30.101:20080

    vi jvm.config

    -server
    -Xmx32G
    -XX:+UseG1GC
    -XX:G1HeapRegionSize=150M
    -XX:+UseGCOverheadLimit
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:+ExitOnOutOfMemoryError
    -DHADOOP_USER_NAME=presto

    adduser presto

    vi log.properties

    com.facebook.presto=INFO

    vi node.properties

    node.environment=presto
    node.id=presto1
    node.data-dir=/data/presto

    解释environment是集群标识,如果3台节点,那么这个都是相同的,id是唯一的,每台节点不同

    在catlog创建hive的配置,这样就可以连接hive

    cd catalog/

    vi hive.properties

    connector.name=hive-hadoop2
    hive.metastore.uri=thrift://hadoop1:9083
    hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

    hive.metastore.uri中的hadoop1

    是在cdh的管理平台选择的,我配置了hosts。集群也用的别名。

     

     

    resources是cdh的默认core-site.xml和hdfs-site.xml地址,如果你是hadoop,你要去指向你安装hdfs路径的这2个内容。

    然后会到server的bin目录就可以启动了

    cd /opt/cloudera/parcels/presto-server-0.184

    ./bin/launcher start --server-log-file=./logs/server.log

    这里会生成日志文件,他的logs下面,可以查看presto的运行情况

    成功后,可以通过界面访问

     

    启动客户端,进行查询

    客户端就是一起上传过来的那个jar包

    cd /opt/cloudera/parcels

    java -jar presto-cli-0.184-executable.jar --server hadoop01:20080 --catalog hive --schema default

    集群的话,也很简单分发一样,参考(亲测,能搭出来)

    presto安装(基于cdh6.1集成hive+sentry)_belialxing的博客-CSDN博客

  • 相关阅读:
    推荐前 6 名 JavaScript 和 HTML5 游戏引擎
    vue__组件自定义事件绑定、解绑、触发自定义事件、父子组件之间通信
    python 视角下的 6 大程序设计原则
    R语言时间序列数据算术运算:使用diff函数计算时间序列数据的逐次差分、使用除法将两个长度不等时间序列数据进行相除、使用固定值乘以指定的时间序列
    Kubernetes技术--k8s核心技术持久化存储
    Lifecycle 一篇文章就够了
    二十年架构师马士兵老师告诉你:2022年Java架构师到底该如何进阶
    SpringCloud之配置中心
    【c++】对象与对象之间的关系
    深入浅出org.springframework.util
  • 原文地址:https://blog.csdn.net/qq_38403590/article/details/126168262
  • 最新文章
  • 【JVM】编译执行与解释执行的区别是什么?JVM 使用哪种方式?
    用 Hashids 优雅解决 C 端自增 ID 暴露问题
    V8引擎 精品漫游指南--Ignition篇(上) 指令 栈帧 槽位 调用约定 内存布局 基础内容
    LLVM Pass快速入门(四):代码插桩
    milkup:桌面端 markdown AI续写和即时渲染
    基于项目工程构建SBOM(软件物料清单)的研究
    鸿蒙应用开发UI基础第二节:鸿蒙应用程序框架核心解析与实操
    .NET 中如何快速实现 List 集合去重?
    扣子Coze实战:从0到1打造抖音+小红书热点监控智能体
    浅谈数据访问层
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号