码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • 任务长期不释放和占用单节点持续的cpu,导致hivesever2本身内存泄漏造成


    任务长期不释放和占用单节点持续的cpu,导致hivesever2本身内存泄漏造成

    在这里插入图片描述
    产生的原因在于:

    1. 查询过于复杂或者数据量过大:当有复杂的查询或处理大量数据的请求时,HiveServer2可能会出现高负载。这可能涉及大量的计算、IO操作或涉及大量的数据移动。
    2. 资源限制:HiveServer2可能没有足够的计算资源或内存来处理并发查询。这导致查询排队等待或运行缓慢。
    3. 硬件性能问题:HiveServer2运行的机器可能存在硬件性能瓶颈,例如CPU、内存、磁盘或网络问题。这些问题可能导致处理请求的速度变慢。
    4. 并发连接数过高:如果同时有大量用户连接到HiveServer2,这可能导致高负载。每个连接都会占用一定的系统资源,过多的连接数可能超出系统的承载能力。
    5. 调优不合理:HiveServer2的配置可能存在问题,例如资源配置不足、查询参数设置不合理等。这可能导致系统无法有效地利用可用资源,从而导致高负载。

    解决:

    在配合和资源都合理的情况下,找那个任务导致的cpu持续升高,可以优化底层sql,或则调整配置参数
    或则把hivserver2重启(维护hiveserver2的时候要定期重启)

    1.资源的负载均衡动态配置
    2.用户提交的任务释放
    3.yarn上的配置策略

  • 相关阅读:
    基于matlab的卫星网络DCAR编码感知路由发现仿真
    IO的演进
    程序无法启动,提示“找不到msvcp140.dll”或“msvcp140.dll缺失报错”解决方法
    机器人仿真-gazebo学习笔记(5)添加Gazebo属性
    HTTP资源预取
    从键入网址到网页显示的详细过程
    爬虫 | 理解BeautifulSoup的定位方法
    【二】【SQL】去重表数据及分组聚合查询
    计算机图形学之应用程序
    2021年游戏项目的十大编程语言:C++、Java、C#均上榜
  • 原文地址:https://blog.csdn.net/qq_43688472/article/details/132859074
  • 最新文章
  • 沪漂五周年了:我越来越迷茫了
    Agentic Skill Routing 实战:别再把所有 Skill 塞进 AI Agent 上下文
    MySQL-Seconds_behind_master的精度误差
    [MAF预定义ChatClient中间件-03]CachingChatClient——利用缓存省钱省时间
    AI的至暗历史:从万众期待到被政府撤资,AI的两次死亡徘徊
    Agent OS :五种驯服不确定性的范式
    PortSwigger SQL注入LAB11
    数据库即时编译JIT
    [Begin]AI Learn Data Day 0
    深度学习进阶(二十七)现代 LLM 的核心架构设计其二:SwiGLU
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
小工具 小游戏
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1

京公网安备 11010502049817号