← 返回目录

3、elasticsearch 索引数据多了怎么办,如何调优,部署

第 3 / 12 卷

(2)查询速度快。O(len(str))的查询时间复杂度。

3、elasticsearch 索引数据多了怎么办,如何调优,部署

面试官:想了解大数据量的运维能力。

解答:索引数据的规划,应在前期做好规划,正所谓“设计先行,编码在后”,这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。

如何调优,正如问题 1 所说,这里细化一下:

3.1 动态索引层面

基于模板+时间+rollover api 滚动创建索引,举例:设计阶段定义:blog 索引的模板格式为:

blog_index_时间戳的形式,每天递增数据。这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线 2 的32 次幂-1,索引存储达到了 TB+甚至更大。

一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑+及早避免。

3.2 存储层面

冷热数据分离存储,热数据(比如最近 3 天或者一周的数据),其余为冷数据。

对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索效率。

3.3 部署层面

一旦之前没有规划,这里就属于应急策略。

结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等规划合理,不需要重启集群也能完成动态新增的。

4、elasticsearch 是如何实现 master 选举的

面试官:想了解 ES 集群的底层原理,不再只关注业务层面了。

解答:

前置前提:

(1)只有候选主节点(master:true)的节点才能成为主节点。

(2)最小主节点数(min_master_nodes)的目的是防止脑裂。

核对了一下代码,核心入口为 findMaster,选择主节点成功返回对应 Master,否则返回 null。选举流程大致描述如下:

第一步:确认候选主节点数达标,elasticsearch.yml 设置的值

discovery.zen.minimum_master_nodes;

第二步:比较:先判定是否具备 master 资格,具备候选主节点资格的优先返回;

全站分卷索引 · 12 卷
  1. 1上篇
  2. 21.3、查询调优
  3. 33、elasticsearch 索引数据多了怎么办,如何调优,部署
  4. 45、详细描述一下 Elasticsearch 索引文档的过程
  5. 57、Elasticsearch 在部署时,对 Linux 的设置有哪些优化方法
  6. 69、Elasticsearch 是如何实现 Master 选举的?
  7. 7下篇
  8. 8Elasticsearch面试题
  9. 92、详细描述一下 Elasticsearch 搜索的过程。
  10. 105、对于 GC 方面,在使用 Elasticsearch 时要注意什么?
  11. 116、Elasticsearch 对于大数据量(上亿量级)的聚合如何实现?
  12. 1212、拼写纠错是如何实现的?