ElasticSearch新增IK扩展词后,让历史数据生效方法

ElasticSearch新增IK扩展词后,让历史数据生效方法

一、前言

ES词库新增一个关键词、同义词、简繁体和停止词之后，发现只有新数据进入到索引才会生效，对于之前已经存储到索引的数据，还是按照之前的方式来做分词，这个问题应该如何解决呢？

我在网上发现有三种方式：

第一种就是将之前的索引的索引数据重新再刷一次，这种做法比较伤身体，不太推荐。

第二种方式就是采用reindex，这种方法一般用于解决索引结构调整比较大的问题，需要新建一个副本索引，把数据全部迁移到副本索引上，然后将原有索引删除，最后再将副本索引取一个别名，名字为原有索引的名称。

第三种方式就是采用update_by_query，这种方式可以不创建新索引，在已有索引基础上，将数据根据现有结构重新刷新一次，刷新之后，索引的历史数据就会采用词库新增词建立倒排索引了。

二、ES实现

2.1 参数简介

POST article/_update_by_query?conflicts=proceed&wait_for_completion=false&scroll_size=100
{
  "query": {
    "match_all": {
      
    }
  }
}
1
2
3
4
5
6
7
8

conflicts: 当更新遇到版本冲突是否继续执行，proceed为继续执行，abort为停止执行

wait_for_completion： 发送请求后之后等待返回结果，如果设置为false，ES将会开启一个后台任务，并且返回一个任务编号；如何设置为true，发送请求之后将会一直等待任务执行完毕才会返回结果，如果数据量比较大，不建议设置为true，因为容易出现请求超时502 Bad Request的情况。

scroll_size： 任务每次批量执行多少条数据，默认设置为1000条，如果一条数据执行时间比较长，可以考虑设置为100。

query： 此处的query你可以任意的发挥你的想象，这个就类似与数据库中的update table set column = value where field = condition中的where子句一样，可以过滤非必要更新数据并较少刷新时间。

2.2 获取任务执行详情

get _tasks/H9tGBF8FS-il0WyDNnhtSA:44192641
1

返回结果

{
  "completed": false,
  "task": {
    "node": "H9tGBF8FS-il0WyDNnhtSA",
    "id": 44283452,
    "type": "transport",
    "action": "indices:data/write/update/byquery",
    "status": {
      "total": 94759,
      "updated": 33199,
      "created": 0,
      "deleted": 0,
      "batches": 333,
      "version_conflicts": 1,
      "noops": 0,
      "retries": {
        "bulk": 0,
        "search": 0
      },
      "throttled_millis": 0,
      "requests_per_second": -1,
      "throttled_until_millis": 0
    },
    "description": "update-by-query [article]",
    "start_time_in_millis": 1696666800258,
    "running_time_in_nanos": 524996978138,
    "cancellable": true,
    "cancelled": false,
    "headers": {}
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

2.3 获取ES任务列表

get _tasks?detailed=true&actions=*byquery&pretty
1

2.4 取消任务

POST _tasks/H9tGBF8FS-il0WyDNnhtSA:44161765/_cancel
1

2.5 进度条

如果你认为执行时间太长了，可以考虑做个进度条给在界面上展示，毕竟没有人会想点击刷新之后世界进入茫然无知的状况。下面是进度条的简短代码。

@Override
public BarVO getBar(String taskId) {
    if (taskId == null || !taskId.contains(":")){
        throw new RuntimeException("任务编号不合法");
    }
    // 1. 查询进度条
    GetTasksResponse tasksResponse = null;
    try {
        tasksResponse = elasticsearchClient.tasks()
            .get(taskQueryBuilder -> taskQueryBuilder
                 .taskId(taskId));
    } catch (IOException e) {
        throw new RuntimeException(e);
    }

    TaskStatus taskStatus = tasksResponse.task().status();
    BarVO barVO = new BarVO();
    barVO.setFail(taskStatus.versionConflicts());
    barVO.setSuccess(taskStatus.updated());
    barVO.setTotal(taskStatus.total());
    String percent = MathUtil.getPercent(barVO.getFail() + barVO.getSuccess(), barVO.getTotal());
    barVO.setRage(percent);
    barVO.setTaskId(taskId);

    return barVO;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

请求结果展示

{
    "code": 200,
    "msg": "操作成功",
    "result": {
        "timestamp": null,
        "total": 94759,
        "success": 79642,
        "fail": 5658,
        "rage": "90.02%",
        "taskId": "H9tGBF8FS-il0WyDNnhtSA:44316655"
    }
}
1
2
3
4
5
6
7
8
9
10
11
12