• elk日志某个时间节点突然搜索不到了


    elk日志某个时间节点突然搜索不到了,检查filebeat正常

    Kibana手动上传数据:

    响应:

    Error:

    Validation Failed: 1: this action would add [2] total shards, but this cluster currently has [2000]/[2000] maximum shards open

    原因:ElasticSearch总分片数量导致的异常,ES总分片数限制最大只有2000个,目前已经用完了,导致已经没法创建新的索引了。

    解决方案:
            解决方法就是提高ES的分片数量。

    方法1:控制台

    PUT /_cluster/settings
    {
      "persistent": {
        "cluster": {
          "max_shards_per_node":10000
        }
      }
    }
    persistent:永久生效,transient:临时生效。

    方法2:CURL命令

    curl --location --request PUT 'http://127.0.0.1:9200/_cluster/settings' \
    --header 'Content-Type: application/json' \
    --data '{"persistent":{"cluster":{"max_shards_per_node":10000}}}'
    persistent:永久生效,transient:临时生效。 

    查看是否生效
    GET /_cluster/settings?pretty

    结果

    {
        "persistent": {
            "cluster": {
                "max_shards_per_node": "10000"
            }
        },
        "transient": {}
    }

    删除索引

    查询索引

    GET _cat/indices

    显示索引的文档数

    GET http://127.0.0.1:9200/_cat/count/index_name?v

    定期清理索引

    方式1:利用ES的索引生命周期
    方式2:脚本实现(日期后缀索引YYYY.MM.DD)

    #!/bin/bash

    ###################################
    #删除早于十天的ES集群的索引
    ###################################
    function delete_indices() {
        comp_date=`date -d "10 day ago" +"%Y-%m-%d"`
        date1="$1 00:00:00"
        date2="$comp_date 00:00:00"

        t1=`date -d "$date1" +%s` 
        t2=`date -d "$date2" +%s` 

        if [ $t1 -le $t2 ]; then
            echo "$1时间早于$comp_date,进行索引删除"
            #转换一下格式,将类似2017-10-01格式转化为2017.10.01
            format_date=`echo $1| sed 's/-/\./g'`
            curl -XDELETE http://es-cluster-ip:9200/*$format_date
        fi
    }

    curl -XGET http://es-cluster-ip:9200/_cat/indices | awk -F" " '{print $3}' | awk -F"-" '{print $NF}' | egrep "[0-9]*\.[0-9]*\.[0-9]*" | sort | uniq  | sed 's/\./-/g' | while read LINE
    do
        #调用索引删除函数
        delete_indices $LINE
    done

    手动删除

    修改配置信息为'开启使用通配符或_all'

    PUT /_cluster/settings { "transient": { "action.destructive_requires_name": true } }

    DELETE /索引名字(可以使用*作为通配符)

  • 相关阅读:
    BYD精制项目除铜工艺去除铜离子
    1410. HTML 实体解析器-力扣双百代码-简洁做法
    华为政企协作平板产品集
    Elasticsearch系列组件:Kibana无缝集成的数据可视化和探索平台
    Spring boot Actuator监控管理的快速入门和实战
    sqlserver性能优化之索引最左匹配
    Avalonia环境搭建
    python 打包可执行文件-Nuitka详解
    关于RecyclerView的瀑布流 分割线左右间距问题
    基于Python实现的负载均衡模拟(语言类综合项目实践)
  • 原文地址:https://blog.csdn.net/qq_27173485/article/details/132962647