ES 8.x 向量检索性能测试 & 把向量检索性能提升100倍！

  向量检索不仅在的跨模态检索场景中应用广泛，随着chat gpt的火热，es的向量检索，在Ai领域发挥着越来越大的作用。

  本文，主要测试es的向量检索性能。我从8.x就开始关注ES的向量检索了。当前ES已经发布到 8.10 版本。以下是官方文档的链接：

   https://www.elastic.co/guide/en/elasticsearch/reference/current/release-highlights.html

  本文，在测试的时候使用的是8.3版本（因为测试的时候只发布到这里 ）。

  在本文中，妥妥滴都是干货，因为不仅有性能测试，还有搜索性能优化。这里预告以下，在千万规模数据中做的测试，将检索性能提升了将近100倍。在本文中可以看看性能是如何被优化的。

一、背景

测试ES - KNN向量检索性能、写入性能、准确度、资源占用情况。针对该需求，搭建一个8.3.0版本的ES节点，使用ES8.3.0版本的java Client高级API来调用KNN搜索。

测试资源介绍

二、测试结果

写入性能

批量写数据，使用es bulk提交数据，数据刷新间隔时间30s（近实时）。

写入数34万，耗时170s。

最佳查询性能

 最终的性能如下表,千万级别的检索可以在毫秒级别。经历了两轮优化。

~ps 最长耗时是非常重要的指标，要重点关注。这很可能是用户在第一次点击搜索的时候出现的情况。短板效应。

检索优化过程

  说明：使用ES原生KNN检索，尝试做了三轮优化。第一轮是对写入的数据，进行一次合并优化；第二轮使用使用开源的插件elastiknn进行优化。第三轮是将数据放在SSD磁盘的机器上。每轮提升两倍。整体性能提升近10倍。（测试结果会受到了Linux os cache的影响，磁盘上的数据从磁盘读取到os cache中 ）如果追求检索性能，应该增加内存，来达到将更多的数据放在缓存中去做检索的目的。

  ps~ 以下相同颜色做对比。第一轮对比，是forceMerge的优化。第二轮是插件优化。第三轮在千万数据集下做测试，接近生产需求，并且包含了三项优化一起做的场景。把三种优化，放在一起，带来更多的提升！

  其中forceMerge优化，只能对不再发生变化的数据做优化。比如昨天入库的数据不再新增和修改，则优化可以生效。但是不适用于实时入库的数据！

使用elastiknn插件优化检索（只看插件优化)

华为云es + 自研插件 性能（性能比原生好10倍左右）

测试数据集

DataSet1：SIFT开源数据集，维度128，Base数据集100万条

DataSet2：SIFT10M开源数据集，维度128，Base数据集1100万条

DataSet3：GIST开源数据集，维度960，Base数据集100万条

检索性能

说明：

Rec表示Topk召回率，RT表示平均查询时延（毫秒），QPS表示查询吞吐量；

由于GIST的维度较高，通过使用GRAPH_PQ加速能够极大地提升查询性能，以损失精准度为代价，来提升速度

三、索引结构

以下索引，30万数据规模用一个分片即可。1000万数据规模，给3个分片。

 
  "knn_image_index": {
    "aliases": {},
    "mappings": {
      "properties": {
        "my_image_vector": {
          "type": "dense_vector",
          "dims": 512,
          "index": true,
          "similarity": "l2_norm"
        },
        "pic": {
          "type": "keyword"
        },
        "pic_path": {
          "type": "keyword"
        }
      }
    },
    "settings": {
      "index": {
        elastiknn": "true",
        "routing": {
          "allocation": {
            "include": {
              "_tier_preference": "data_content"
            }
          }
        },
        "refresh_interval": "30s",
        "number_of_shards": "1",
        "provided_name": "knn_image_index",
        "creation_date": "1681825402139",
        "number_of_replicas": "0",
        "uuid": "KjqLhlv2SMGxlwWIjgJCMw",
        "version": {
          "created": "8030099"
        }
      }
    }
  }
}

四、资源使用情况

磁盘占用量

30W数据，占用1.7G磁盘空间。

内存占用量

内存使用量极少。

五、测试结论

  ES支持ANN检索、支持删除、支持修改、数据写入性能平均每条耗时5ms。数据存储不占用内存空间，都在磁盘上。1000W图片占用磁盘空间50GB。

  检索性能以下为最佳状态。存储使用SSD盘、使用elastiknn插件做优化、对数据做合并，merge成一个segment。能够达到最好的性能如下表。

是否能够满足使用需求

六、插件调研、开源测试工具调研、向量算法

KNN - plugin

开源向量性能测试工具

向量检索相关算法

图像检索：向量索引 

蚂蚁金服 ZSearch 在向量检索上的探索 · SOFAStack