-
【ES实战】ES主副分片数据不一致分析
ES主副分片数据不一致分析
问题描述
在请求索引中的某一条数据时，时而查询有结果，时而无结果。两种情况交替出现。
问题重现
通过对问题数据的点查，确实重现了该现象
GET indexName/typename/docid- 1
问题分析
按照ES写入的设计，是最终一致性的，在进行刷盘之后，应该是不会丢失的。存储物理文件的损坏，应该是引起索引的不健康或者集群的不健康。
ES的底层使用的是Lucene，所以详细分析了对应版本的Lucene物理文件。
下表总结了 Lucene 中文件的名称和扩展名：
Name Extension Brief Description Segments Filesegments_N 存储有关提交点的信息，N随着commit的次数增长而增长 Lock File write.lock 写入锁文件，可防止多个 IndexWriters 向同一文件写入。 Segment Info.si 记录对应段的元数据 Compound File.cfs, .cfe 合并当前段内所有文件生产合并文件，.cfe扩展后缀的合并文件用于记 录合并之前段对应的所有文件的元信息，.cfs扩展后缀的合并文件存储的 是合并前段内所有文件的实际数据 Fields.fnm 记录index对应所有字段的信息 Field Index.fdx doc通过docId来标识被存储在.fdt的文件中，方便快速的查询到docid对 应的数据需要对doc数据做相关的索引位置记录 Field Data.fdt 存储doc数据的文件，只有设置Field.Store.YES的field对应的数据才会 被存储在该文件中 Term Dictionary.tim 术语词典，记录术语信息 Term Index.tip term被记录存储在.tim中，当term数据很大时需要对term进行索引方便 快速定位到对应的term Frequencies.doc 记录包含每个术语的文档列表以及频率 Positions.pos 记录术语在索引中出现的位置 Payloads.pay 记录额外的每个位置元数据信息，如字符偏移和用户有效载荷 Norms.nvd, .nvm nvd保存索引文档字段的加权因子的数据，搜索时计算相关性的一个系数，nvm保存索引文档字段加权因子的元数据 Per-Document Values.dvd, .dvm dvd保存索引文档的评分因子，也用于存储docValues类型的字段数据，即 列存储（正向索引），dvm保存索引文档的评分因子的元数据 Term Vector Index.tvx 将偏移量存入文件数据文件 Term Vector Data.tvd 包含术语向量数据。 Live Documents.liv 有关实时文件的信息 Point values.dii, .dim 保存索引点（如果有） 由于使用的不同，并非每个索引下都同时出现以上后缀名的文件。
对副本分片的物理文件进行破坏。
若进行大规模破坏，在下次刷盘时，会触发修复，重新分配分片。
若进行轻微破坏，比如打开下面的文件，轻微删除某条记录。不会被ES感知。集群和索引状态均显示正常。
GET gudong20231012/_doc/igntIYsBVSH_ahC4Fj7-- 1
出现了副本数据查不到，主分片数据可以查询的现象。
判断应该是数据的物理文件出现了损坏，导致数据读不出来了。
修复方案
以当前主分片的数据为准，对副本分片进行重建。重建后的副本会自动获取全部最新的主分片的数据，若此时还是查询不到数据，那么只有重新向ES写入数据了。
先删除副本分片在增加副本。
PUT gudong20231012/_settings { "number_of_replicas": 0 }- 1
- 2
- 3
- 4
PUT gudong20231012/_settings { "number_of_replicas": 1 }- 1
- 2
- 3
- 4
-
相关阅读:
JVM区域划分
HackTheBox MetaTwo 网站框架CVE获取用户shell和破解私钥提权
汇编语言外中断
gpt支持json格式的数据返回（response_format: ‘json_object‘）
(十六)admin-boot项目之文件存储上传与下载minio
最小二乘法在ISP CCM标定中的简介
【mia】live2rtc 的adapter及RTCPeer发布
获取对象占用内存
Spring AI 接入OpenAI实现文字生成图片功能
【深度学习21天学习挑战赛】2、复杂样本分类识别——卷积神经网络（CNN）服装图像分类
- 原文地址：https://blog.csdn.net/weixin_43820556/article/details/133931856