← 返回目录

5、对于 GC 方面,在使用 Elasticsearch 时要注意什么?

第 10 / 12 卷

用 Java 的本地序列化。

(6)通过设置 gateway.recover_after_nodes、gateway.expected_nodes、 gateway.recover_after_time 可以在集群重启的时候避免过多的分片交换,这可能会让数据恢复从数个

小时缩短为几秒钟。

(7)Elasticsearch 默认被配置为使用单播发现,以防止节点无意中加入集群。只有在同一台机器上运行的节点才会自动组成集群。最好使用单播代替组播。

(8)不要随意修改垃圾回收器(CMS)和各个线程池的大小。

(9)把你的内存的(少于)一半给 Lucene(但不要超过 32 GB!),通过ES_HEAP_SIZE 环境变量设置。

(10)内存交换到磁盘对服务器性能来说是致命的。如果内存交换到磁盘上,一个100 微秒的操作可能变成 10 毫秒。再想想那么多 10 微秒的操作时延累加起来。不难看出 swapping 对于性能是多么可

怕。

(11)Lucene 使用了大量的文件。同时,Elasticsearch 在节点和 HTTP 客户端之间进行通信也使用了大量的套接字。所有这一切都需要足够的文件描述符。你应该增加你的文件描述符,设置一个很大的

值,如 64,000。

补充:索引阶段性能提升方法

(1)使用批量请求并调整其大小:每次批量数据 5–15 MB 大是个不错的起始点。

(2)存储:使用 SSD

(3)段和合并:Elasticsearch 默认值是 20 MB/s,对机械磁盘应该是个不错的设置。如果你用的是 SSD,可以考虑提高到 100–200 MB/s。如果你在做批量导入,完全不在意搜索,你可以彻底关掉合并

限流。另外还可以增加index.translog.flush_threshold_size 设置,从默认的 512 MB 到更大一些的值,比如 1 GB,这可以在一次清空触发的时候在事务日志里积累出更大的段。

(4)如果你的搜索结果不需要近实时的准确度,考虑把每个索引的index.refresh_interval 改到 30s。

(5)如果你在做大批量导入,考虑通过设置 index.number_of_replicas: 0 关闭副本。

5、对于 GC 方面,在使用 Elasticsearch 时要注意什么?

(1)倒排词典的索引需要常驻内存,无法 GC,需要监控 data node 上 segmentmemory 增长趋势。

(2)各类缓存,field cache, filter cache, indexing cache, bulk queue 等等,要设置合理的大小,并且要应该根据最坏的情况来看 heap 是否够用,也就是各类缓存全部占满的时候,还有 heap 空间可以

分配给其他任务吗?避免采用 clear cache等“自欺欺人”的方式来释放内存。

(3)避免返回大量结果集的搜索与聚合。确实需要大量拉取数据的场景,可以采用scan & scroll api 来实现。

(4)cluster stats 驻留内存并无法水平扩展,超大规模集群可以考虑分拆成多个集群通过 tribe node 连接。

(5)想知道 heap 够不够,必须结合实际应用场景,并对集群的 heap 使用情况做持续的监控。

(6)根据监控数据理解内存需求,合理配置各类circuit breaker,将内存溢出风险降低到最低

图 10-1
图 10-1
全站分卷索引 · 12 卷
  1. 1上篇
  2. 21.3、查询调优
  3. 33、elasticsearch 索引数据多了怎么办,如何调优,部署
  4. 45、详细描述一下 Elasticsearch 索引文档的过程
  5. 57、Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法
  6. 69、Elasticsearch 是如何实现 Master 选举的?
  7. 7下篇
  8. 8Elasticsearch面试题
  9. 92、详细描述一下 Elasticsearch 搜索的过程。
  10. 105、对于 GC 方面,在使用 Elasticsearch 时要注意什么?
  11. 116、Elasticsearch 对于大数据量(上亿量级)的聚合如何实现?
  12. 1212、拼写纠错是如何实现的?