Teng's blog Teng's blog
首页
Java
H5前端
GitHub (opens new window)
首页
Java
H5前端
GitHub (opens new window)
  • 认知

  • 入门

  • 环境

  • 进阶

  • 框架集成

  • 优化

  • 面试题

    • 为什么使用Elasticsearch
    • ES中master的选举流程
    • ES中的脑裂问题
    • ES索引文档的流程
    • ES更新和删除文档的流程
    • ES搜索的流程
    • Linux部署ES优化点
    • 关于GC需要注意的点
    • 大数据量聚合实现
    • 并发下保证读写一致
    • 关于字典树
    • 关于倒排索引
    • ES基本组成
  • Database-Elasticsearch
  • 面试题
Shetengteng
2022-02-05

ES索引文档的流程

img

协调节点默认使用文档 ID 参与计算(也支持通过 routing),为路由提供合适的分片

  • shard = hash(document_id) % (num_of_primary_shards)

当分片所在的节点接收到来自协调节点的请求后,会将请求写入到 Memory Buffer,然后定时(默认是每隔 1 秒)写入到 Filesystem Cache

  • 这个从 Memory Buffer 到 Filesystem Cache 的过程就叫做 refresh

当然在某些情况下,存在 Momery Buffer 和 Filesystem Cache 的数据可能会丢失, ES 是通过 translog的机制来保证数据的可靠性的。其实现机制是接收到请求后,同时也会写入到 translog 中,当 Filesystem cache 中的数据写入到磁盘中时,才会清除掉,这个过程叫做 flush

在 flush 过程中,内存中的缓冲将被清除,内容被写入一个新段,段的 fsync 将创建一个新的提交点,并将内容刷新到磁盘,旧的 translog 将被删除并开始一个新的 translog

flush 触发的时机是定时触发(默认 30 分钟)或者 translog 变得太大(默认为 512M)时

Last Updated: 2022/03/20, 10:04:55
ES中的脑裂问题
ES更新和删除文档的流程

← ES中的脑裂问题 ES更新和删除文档的流程→

Theme by Vdoing | Copyright © 2021-2022 Shetengteng | MIT License
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式