• ElasticSearch--线程池(ThreadPool)--使用/设置


    原文网址:ElasticSearch--线程池(ThreadPool)--使用/设置_IT利刃出鞘的博客-CSDN博客

    简介

    说明

            本文介绍ElasticSearch的线程池的配置。

            ES每个node都有多个线程池来管理内存占用,线程池都有一个queue来缓存需要处理的request而不是直接丢弃。

            ES的线程池有点儿类似于Java中的线程池

    官网网址

    Thread pools | Elasticsearch Guide [8.4] | Elastic

    粉丝福利:有很多粉丝私信问我有没有Java的面试及PDF书籍等资料,我整理一下,包含:真实面试题汇总、简历模板、PDF书籍、PPT模板等。这些是我自己也在用的资料,面试题是面试官问到我的问题的整理,其他资料也是我自用的,真正实用、靠谱。资料可以从这里免费获取:资料地址

    线程池的类型

    1. fixed

            fixed线程池是有固定线程数量的线程池,它有一个固定大小的queue来缓存处理不过来的任务。

    设置一个fixed线程池:

    1. thread_pool:
    2.     write:
    3.         size: 30
    4.         queue_size: 1000

            queue_size的值如果不设置的话默认为-1,代表无限大。当queue被填满的时候请求就会被丢弃掉。

    2. fixed_auto_queue_size

            这是实验性的类型特性,fixed_auto_queue_size的thread的数量是fixed,但是queue的大小是根据一些规则进行变动的。

    设置一个fixed_auto_queue_size线程池:

    1. thread_pool:
    2.     search:
    3.         size: 30
    4.         queue_size: 500
    5.         min_queue_size: 10
    6.         max_queue_size: 1000
    7.         auto_queue_frame_size: 2000
    8.         target_response_time: 1s
    • queue_size
      • 初始化的queue的size数量
    • auto_queue_frame_size
      • 衡量是否需要扩容的请求数。
    • target_response_time
      • 当任务的处理时间(加上排队时间)大于1s的时候会对queue进行缩容,来避免大量的超时处理。

    3. scaling

            这类线程池的thread的数量是可以基于负载的大小动态变化的。

    设置一个scaling的线程池:

    1. thread_pool:
    2.     warmer:
    3.         core: 1
    4.         max: 8
    5.         keep_alive: 2m

    keep_alive 指定了闲置的线程池达到2m会被回收。

    重要的线程池

    1. generic线程池

            普通线程池,一般用来运行后台任务或者discovery等,是一个大小可以scaling的线程池。

    2. search线程池

            针对 count/search/suggest 操作。

            线程池的类型是 fixed_auto_queue_size 线程池的大小是固定值 int((# of available_processors * 3) / 2) + 1, 有一个可以伸缩的queue, queue size 初始值是 1000。

    3. search_throttled线程池

            应对count/search/suggest/get 操作,但是这些对应的索引是search_throttled indices。

            线程池的类型是 fixed_auto_queue_size,thread 的size 是 1, queue_size 的初始值为 100.

    4. get线程池

            get操作对应的线程池。

            Thread pool 的类型是 fixed,size 是 available processors,queue_size 是 1000.

    5. analyze线程池

            analyze 请求对应的线程池。

            Thread pool 的类型是 fixed,size 是1,queue size 是16.

    6. write线程池

            这个线程池对应处理的是index/delete/update请求和bulk请求。

            Thread pool 的类型是 fixed,size 是 available processors,queue size 是 200。thread pool最大的可设置的值为1+ available processors

    7. snapshot线程池

            这个线程池对应处理的是snapshot/restore操作。

            Thread pool 的类型是 scaling,size 最大值是min(5, (# of available processors)/2),每个thread的keep-alive时间是5m,如果5m都是空闲的,那么该线程就会别回收。

    8. warmer线程池

            这个线程池对应处理的是segment warm-up 操作。

            Thread pool 的类型是scaling,size 最大值是min(5, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的,那么该线程就会别回收。

    9. refresh线程池

            这个线程池对应处理的是refresh 操作。

            Thread pool 的类型是scaling,size 最大值是min(10, (# of available processors)/2),每个thread的keep-alive时间是5m,如果5m都是空闲的,那么该线程就会别回收。

    10. listener线程池

            这个线程池对应处理的是java client的操作。

            Thread pool 的类型是scaling,size 最大值是min(10, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的,那么该线程就会别回收。

    Processors setting

            设置elasticsearch动态监测到的processor的数量。

            这个一般情况下不用设置,只有由于操作系统的原因可能导致检测不准,或者因为对应的服务器上还有其他服务,想要缩小ES使用的cpu核数才会使用。

  • 相关阅读:
    【2023,学点儿新Java-05】搭建Java开发环境:什么是JDK、JRE、JVM、Java API?|G1垃圾回收算法 |应该选择哪个版本的jdk?| 安装jdk17 |如何找到各个版本jdk
    解决 Centos 安装 Python 3.10 的报错: Could not import runpy module
    k8s 集群调度,标签,亲和性和反亲和性,污点和容忍,pod启动状态 排错详解
    液压系统中比较常用的密封件是什么?
    Qt OpenGL 图形字体的纹理映射
    数组对象(上)
    普林斯顿微积分读本04第三章--极限导论
    stable-diffusion-ui 下载和安装
    scapy sniff与command方法
    Unity学习shader笔记[一百零八]简单萤火效果
  • 原文地址:https://blog.csdn.net/feiying0canglang/article/details/126517444