admin管理员组文章数量:1624784
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
需要这份系统化资料的朋友,可以戳这里获取
ElasticSearch集群内存占用高?如果降低内存占用看这篇文章就够啦
一、冻结索引的介绍
经常搜索的索引被保留在内存中,因为重建索引和帮助高效搜索需要花费时间。另一方面,可能存在我们很少访问的索引。这些索引不需要占用内存,可以在需要时进行重建。这样的索引称为冻结索引。
每当搜索分片时,Elasticsearch都会构建冻结索引的每个分片的即时数据结构,并在搜索完成后立即丢弃这些数据结构。因为Elasticsearch不会在内存中维护这些临时数据结构,所以冻结索引消耗的堆要比普通索引少得多。与其他方式相比,这允许更高的磁盘与堆的比率。
总结来说索引的冻结是Elasticsearch提供的一个用于减少内存开销的操作,这个功能在7.14版本中被标记为Deprecated,在Version 8以后,已经对堆内存的使用进行了改进,冻结和解冻的功能不再适用,但在Version 8以前的版本中不失为一个可行的优化方案。
二、索引冻结和解冻示例及注意事项
冻结和解冻示例
POST /index_name/_freeze -- 冻结
POST /index_name/_unfreeze -- 解冻
冻结索引示例
- 预期对冻结索引的搜索将缓慢执行。冻结索引不适用于较高的搜索负载。对未冻结的索引进行的搜索在几毫秒内完成,对冻结索引的搜索也可能需要数秒或数分钟才能完成。
- 索引冻结以后除了保存一些必要的元数据信息意外,将不再占用系统负载,索引将会变成只读,不再提供写入的能力,类似force
merge等操作也将无法执行。 - 冻结特别注意:当前正在写的索引不能被冻结,并且执行了冻结操作以后,会将索引先进行close,然后再open,在这段时间内,可能导致主分片没有被分配,集群可能短暂出现red状态,open结束后恢复。
- 冻结索引是一个阻塞操作,意味着在冻结期间,该索引将无法进行任何写入和读取操作。因此,在使用冻结和解冻命令时,请确保在适当的时间进行操作,以避免对索引的可用性造成负面影响。
解冻索引示例
- 需求解冻的过程中,同样会将索引先进行close,然后再open,在这段时间内,索引不可查询,集群可能短暂出现red状态,open结束后恢复。
- 解冻特别注意:在再次冻结索引之前,一定要运行“force_merge”,以确保最佳性能。
- 解冻后,该索引将重新启用新的文档写入,并恢复正常的搜索和读取操作。
三、搜索冻结索引
- 索引被冻结后如果按照之前的查询语句请求数据是拿不到数据的,示例如下:
- 每个节点的并发加载的冻结索引数受search_throttled线程池中的线程数限制,默认情况下为1。要包含冻结索引,必须使用查询参数?ignore_throttled = false来执行搜索请求。
四、冻结索引在Java代码中的实现
- 首先需要引入ElasticSearch的依赖,这里我使用的是7.6.2,冻结索引的概念存在于7.X版本中,如果你的es版本低于7.X,请记得升级版本
<!-- 新增 elasticsearch相关依赖 -->
<dependency>
<groupId>org.elasticsearch</groupId>
<artifactId>elasticsearch</artifactId>
<version>7.6.2</version>
</dependency>
<!-- elasticsearch的客户端 -->
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>elasticsearch-rest-high-level-client</artifactId>
<version>7.6.2</version>
</dependency>
在 Elasticsearch 6.X 版本中,searchRequest.setIgnoreThrottled(false) 方法已经被废弃。取而代之的是使用 IndicesOptions 类来设置索引选项。要设置 ignoreThrottled 参数为 false,您可以使用 IndicesOptions.fromOptions() 方法并传递适当的参数。
- 以下是一个示例代码片段,展示如何通过其他方法将 ignoreThrottled 参数设置为 false:
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化资料的朋友,可以戳这里获取
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
)**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
版权声明:本文标题:ElasticSearch集群内存占用高?如何降低内存占用看这篇文章就够啦!(冻结索引)_es占用内存太大 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/dianzi/1728913444a1179397.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论