Elasticsearch：fielddata作用

答案引用自chatgpt生成，望对题主有所帮助/启发；若有帮助，还望采纳！

Elasticsearch中的fielddata是用于对文档中的字段进行聚合操作的一种数据结构。它允许在不加载整个文档的情况下，对特定字段进行聚合操作，从而提高了查询性能。

基本概念：

• fielddata：Elasticsearch中用于对文档中的字段进行聚合操作的数据结构。
• 文档：Elasticsearch中的基本数据单位，包含一个或多个字段。
• 聚合操作：对文档中的字段进行统计、计算等操作，例如求和、平均值、最大值等。

作用说明：

1. 提高查询性能：通过使用fielddata，可以在不加载整个文档的情况下，对特定字段进行聚合操作，从而减少了内存消耗和网络传输，提高了查询性能。
2. 支持实时分析：fielddata可以实时更新，因此可以支持对实时数据进行分析，例如实时监控、实时报表等。
3. 支持复杂查询：fielddata可以与其他Elasticsearch功能结合使用，例如分片查询、脚本查询等，从而实现更复杂的查询需求。

代码示例：
以下是一个使用Elasticsearch的Python客户端库（elasticsearch-py）进行fielddata聚合操作的示例：

from elasticsearch import Elasticsearch

# 创建Elasticsearch客户端实例
es = Elasticsearch("http://localhost:9200")

# 定义聚合查询
query = {
    "aggs": {
        "avg_age": {"avg": {"field": "age"}},
        "max_age": {"max": {"field": "age"}},
        "min_age": {"min": {"field": "age"}}
    }
}

# 执行聚合查询
response = es.search(index="my_index", body=query)

# 输出聚合结果
print(response["aggregations"])

在这个示例中，我们对名为"my_index"的索引中的"age"字段进行了平均值、最大值和最小值的聚合操作。

引自免费微信小程序：皆我百晓生

在Elasticsearch中，fielddata 是一个关键特性，它允许实时地对字段数据进行排序、聚合和脚本操作。虽然在 Elasticsearch 7.0 版本之后，由于内存管理的变化，fielddata 的使用有所限制，但在早期版本以及特定场景下，它仍然是非常重要的。

Fielddata 的作用：

1. 即时排序（Sorting）：Elasticsearch 在索引时并不存储每个文档所有值的排序列表，因此如果没有 fielddata，排序将会变得很慢，因为必须遍历整个索引以获取排序所需的值。
2. 实时聚合（Aggregation）：对于非数值类型字段，例如文本字段，fielddata 允许在不扫描整个索引的情况下进行聚合操作。这在处理大量数据时提高了效率。
3. 脚本操作（Scripting）：fielddata 可用于脚本中，使得脚本可以直接访问某个字段的所有值。

Fielddata 的原理与执行步骤：

1. 当你需要对一个字段进行排序、聚合或脚本操作时，Elasticsearch 会检查是否已为该字段创建了 fielddata 缓存。
2. 如果没有缓存，则Elasticsearch会在后台异步构建 fielddata 缓存。这个过程包括读取索引中的字段值，并将其转换成可用于排序、聚合和脚本的格式。
3. 一旦 fielddata 缓存构建完成，Elasticsearch 将其加载到内存中。为了管理内存使用，Elasticsearch 实行了一种基于LRU（最近最少使用）策略的缓存机制。
4. 当请求到达时，Elasticsearch 使用 fielddata 缓存来执行排序、聚合或脚本操作，然后返回结果。

如何给分词字段提供聚合功能：

假设我们有一个包含文章内容的文本字段 content，并希望对其进行聚合分析。首先，我们需要确保这个字段被正确设置为可聚合的。在映射定义中，可以将字段类型设置为 text 并启用 fielddata：

PUT /my_index
{
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "fielddata": true
      }
    }
  }
}

接下来，我们可以使用聚合查询来分析文本字段。比如，我们可以计算最频繁的单词：

GET /my_index/_search
{
  "size": 0,
  "aggs": {
    "top_words": {
      "terms": {
        "field": "content.keyword", 
        "size": 10
      }
    }
  }
}

在这个例子中，我们使用了 content.keyword 字段，这是因为 Elasticsearch 对文本字段进行了分词，而 .keyword 后缀表示原始未分词的值，这样我们就可以在分词字段上进行聚合操作了。

注意：从 Elasticsearch 7.0 开始，fielddata 的默认行为发生了变化，因为它消耗大量的内存。为了减少内存使用，你可以考虑使用 doc_values，并在可能的情况下使用 scripted_metric 而不是 fielddata 进行聚合。不过，在某些情况下，fielddata 仍然是必不可少的，特别是当需要在排序和脚本操作中使用非数值字段时。