← 返回目录

3、elasticsearch 索引数据多了怎么办,如何调优,部署

第 196 / 222 卷

图 198-1
图 198-1

学术的解答方式:

倒排索引,相反于一篇文章包含了哪些词,它从词出发,记载了这个词在哪些文档中出现过,由两部分组成——词典和倒排表。

加分项:倒排索引的底层实现是基于:FST(Finite State Transducer)数据结构。

lucene 从 4+版本后开始大量使用的数据结构是 FST。FST 有两个优点:

1、空间占用小。通过对词典中单词前缀和后缀的重复利用,压缩了存储空间;

2、查询速度快。O(len(str))的查询时间复杂度。

3、elasticsearch 索引数据多了怎么办,如何调优,部署

面试官:想了解大数据量的运维能力。

解答:索引数据的规划,应在前期做好规划,正所谓“设计先行,编码在后”,这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。

如何调优,正如问题 1 所说,这里细化一下:

3.1 动态索引层面基于模板+时间+rollover api 滚动创建索引,举例:设计阶段定义:blog 索引的模板格式为:blog_index_时间戳的形式,每天递增数据。

这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上线 2 的32 次幂-1,索引存储达到了 TB+甚至更大。

一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑+及早避免。

3.2 存储层面冷热数据分离存储,热数据(比如最近 3 天或者一周的数据),其余为冷数据。对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间

和检索效率。

3.3 部署层面一旦之前没有规划,这里就属于应急策略。结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力,注意:如果之前主节点等规划合理,不需要重启集群也

能完成动态新增的。

4、elasticsearch 是如何实现 master 选举的

面试官:想了解 ES 集群的底层原理,不再只关注业务层面了。

解答:

前置前提:

1、只有候选主节点(master:true)的节点才能成为主节点。

2、最小主节点数(min_master_nodes)的目的是防止脑裂。

这个我看了各种网上分析的版本和源码分析的书籍,云里雾里。

核对了一下代码,核心入口为 findMaster,选择主节点成功返回对应 Master,否则返回 null。选举流程大致描述如下:

第一步:确认候选主节点数达标,elasticsearch.yml 设置的值 discovery.zen.minimum_master_nodes;

第二步:比较:先判定是否具备 master 资格,具备候选主节点资格的优先返回;若两节点都为候选主节点,则 id 小的值会主节点。注意这里的 id 为 string 类型。题外话:获取节点 id 的方法。

1GET /_cat/nodes?v&h=ip,port,heapPercent,heapMax,id,name 2ip port heapPercent heapMax id name

5、详细描述一下 Elasticsearch 索引文档的过程

面试官:想了解 ES 的底层原理,不再只关注业务层面了。

解答:

这里的索引文档应该理解为文档写入 ES,创建索引的过程。

文档写入包含:单文档写入和批量 bulk 写入,这里只解释一下:单文档写入流程。

记住官方文档中的这个图。

图 198-2
图 198-2
全站分卷索引 · 222 卷
  1. 1JavaOOP面试题
  2. 27、Java的数据结构有那些?
  3. 314、Char类型能不能转成int类型?能不能转化成string类型,能不能转成double类型
  4. 420、访问修饰符 public,private,protected,以及不写(默认) 时的区别?
  5. 525、equals与==的区别
  6. 641、Object类常用方法有那些?
  7. 747、构造方法能不能显式调用?
  8. 854、String str=”aaa”,与String str=new String(“aaa”)一样吗?
  9. 963、Hashcode的作用
  10. 1066、有没有可能两个不相等的对象有相同的hashcode
  11. 1170、final、finalize()、finally
  12. 1278、什么是成员内部类
  13. 1385、排序都有哪几种方法?请列举
  14. 1495、String 和 StringBuilder、StringBuffer 的区别?
  15. 15100、Java 中会存在内存泄漏吗,请简单描述。
  16. 16101、抽象的(abstract)方法是否可同时是静态的(static),是否可同时是本地方法(native),是否可同时被 synchronized修饰?
  17. 17104、接口是否可继承(extends)接口?抽象类是否可实现(implements)接口?抽象类是否可继承具体类(concreteclass)?
  18. 18107、内部类可以引用它的包含类(外部类)的成员吗?有没有什么限制?
  19. 193、Collection包结构,与Collections的区别
  20. 208、集合类存放于 Java.util 包中, 主要有几 种接口
  21. 2114、HashSet( Hash 表)
  22. 2216、说说LinkHashSet( HashSet+LinkedHashMap)
  23. 2319、HashTable(线程安全)
  24. 2421、LinkHashMap(记录插入顺序)
  25. 253、如何自定义一个异常
  26. 266、Thow与thorws区别
  27. 273、常用io类有那些
  28. 2810、JAVA NIO
  29. 29Java反射面试题
  30. 308、Java 反射 API
  31. 31Java序列化面试题
  32. 327、序列化 ID
  33. 332、注解是什么?
  34. 343、实现 Runnable 接口。
  35. 357、如何停止一个正在运行的线程
  36. 368、notify()和notifyAll()有什么区别?
  37. 3711、Thread 类中的start() 和 run() 方法有什么区别?
  38. 3817、SynchronizedMap和ConcurrentHashMap有什么区别?
  39. 3922、说说自己是怎么使用 synchronized 关键字,在项目中用到了吗synchronized关键字最主要的三种使用方式
  40. 4030、阻塞状态(BLOCKED)
  41. 4133、start 与 run 区别
  42. 4238、Synchronized 同步锁
  43. 4340、Condition 类和 Object 类锁方法区别区别
  44. 4443、Semaphore 与 ReentrantLock 区别
  45. 4549、轻量级锁
  46. 4657、线程中断(interrupt)
  47. 4764、寄存器
  48. 4874、拒绝策略
  49. 4977、Java 中的阻塞队列
  50. 5078、ArrayBlockingQueue(公平、非公平)
  51. 5185、在 java 中守护线程和本地线程区别
  52. 5292、在 Java 中 Executor 和 Executors 的区别?
  53. 5397、什么是阻塞队列?阻塞队列的实现原理是什么?如何使用阻塞队列来实现生产者-消费者模型?
  54. 54103、为什么我们调用 start()方法时会执行 run()方法,为什么我们不能直接调用 run()方法?
  55. 55JVM面试题
  56. 5610、解释 Java 堆空间及 GC?
  57. 5712、程序计数器(线程私有)
  58. 5818、描述一下 JVM 加载 class 文件的原理机制
  59. 5923、新生代
  60. 6029、标记清除算法( Mark-Sweep)
  61. 6132、分代收集算法
  62. 6238、JAVA虚引用
  63. 6346、Parallel Scavenge 收集器(多线程复制算法、高效)
  64. 6459、CMS 收集器(多线程标记清除算法)
  65. 6562、类加载器
  66. 6663、双亲委派
  67. 6767、JVM内存模型
  68. 6876、什么是Java虚拟机?为什么Java被称作是“平台无关的编程语言”?
  69. 6979、Java对象创建过程
  70. 7086、Minor GC与Full GC分别在什么时候发生?
  71. 712、TokuDB( Fractal Tree-节点带数据)
  72. 726、InnoDB与MyISAM的区别
  73. 7311、第二范式(2nd NF- 每个表只描述一件事情)
  74. 7415、简单说一说drop、delete与truncate的区别
  75. 7520、大表如何优化?
  76. 7622、分库分表之后,id 主键如何处理
  77. 7729、简述在 MySQL 数据库中 MyISAM 和 InnoDB 的区别
  78. 7838、列对比运算符是什么?
  79. 7948、MySQL 支持事务吗?
  80. 8055、什么情况下设置了索引但无法使用
  81. 8161、为表中得字段选择合适得数据类型
  82. 8267、完整性约束包括哪些?
  83. 8375、主键、外键和索引的区别?
  84. 8483、什么是页级锁
  85. 856、Memcache 与 Redis 的区别都有哪些?
  86. 8611、热点数据和冷数据是什么
  87. 8715、Redis 常见性能问题和解决方案?
  88. 8819、Redis 常见性能问题和解决方案:
  89. 8926、Redis 集群方案什么情况下会导致整个集群不可用?
  90. 9040、Redis 如何做内存优化?
  91. 9147、假如 Redis 里面有 1 亿个 key,其中有 10w 个 key 是以某个固定的已知的前缀开头的,如果将它们全部找出来?
  92. 922、memcached 服务在企业集群架构中有哪些应用场景?
  93. 935、memcached 是怎么工作的?
  94. 9412、如何将 memcached 中 item 批量导入导出?
  95. 9520、什么是二进制协议,我该关注吗?
  96. 96MongoDB面试题
  97. 974、NoSQL数据库有哪些类型?
  98. 9815、如何执行事务/加锁?
  99. 9929、如果我在使用复制技术(replication),可以一部分使用日志(journaling)而其他部分则不使用吗?
  100. 10042、分析器在MongoDB中的作用是什么?
  101. 10156、MongoDB的优势有哪些
  102. 10267、MongoDB中的命名空间是什么意思?
  103. 10375、在MongoDB中如何除去一个数据库Collection Methods24.在MongoDB中如何除去一个数据库
  104. 10485、如何在集合中插入一个文档
  105. 10593、在MongoDB中如何排序
  106. 1065、Spring Framework 中有多少个模块,它们分别是什么?
  107. 1078、使用 Spring 有哪些方式?
  108. 10816、Spring IoC 的实现机制。
  109. 10919、spring 支持集中 bean scope?
  110. 11023、自动装配有哪些方式?
  111. 11130、@Qualifier 注解有什么用?
  112. 11234、spring JDBC API 中存在哪些类?
  113. 11340、什么是切点(JoinPoint)
  114. 11446、如何理解 Spring 中的代理?
  115. 11550、介绍一下 WebApplicationContext
  116. 11655、Spring中Autowired和Resource关键字的区别
  117. 11757、讲一下什么是Spring
  118. 11859、springMVC是什么
  119. 11965、解释Spring支持的几种bean的作用域。
  120. 12071、解释 AOP 模块
  121. 12181、有哪些不同类型的 IOC(依赖注入)方式?
  122. 12291、什么是 Spring 的内部 bean?
  123. 123102、@Autowired 注解
  124. 124113、解释 AOP
  125. 125126、什么是 Spring 的 MVC 框架?
  126. 1263、Spring Boot 有哪些优点?
  127. 1277、如何在Spring Boot启动的时候运行一些特定的代码?
  128. 12815、Spring Boot 的核心配置文件有哪几个?它们的区别是什么?
  129. 12923、如何实现 Spring Boot 应用程序的安全性?
  130. 13034、什么是 AOP?
  131. 13140、运行 Spring Boot 有哪几种方式?
  132. 13249、如何重新加载Spring Boot上的更改,而无需重新启动服务器?
  133. 13353、Spring Boot 还提供了其它的哪些 Starter Project Options?
  134. 13455、创建一个 Spring Boot Project 的最简单的方法是什么?
  135. 13558、 什么是嵌入式服务器?我们为什么要使用嵌入式服务器呢?
  136. 13661、什么是 Spring Data REST?
  137. 13765、如何使用 Spring Boot 生成一个 WAR 文件?
  138. 13873、如何不通过任何配置来选择 Hibernate 作为 JPA 的默认实现?
  139. 13976、Spring Boot 配置的默认 H2 数据库的名字是上面?为什么默认的数据库名字是 testdb?
  140. 14081、如何使用配置文件通过 Spring Boot 配置特定环境的配置?
  141. 14183、如何禁用特定的自动配置?
  142. 14287、SpringBoot 中静态首页默认位置可以放在哪里?
  143. 143Spring Cloud面试题
  144. 1447、什么是 Netflix Feign?它的优点是什么?
  145. 1459、什么是微服务
  146. 14611、Eureka和zookeeper都可以提供服务注册与发现的功能,请说说两个的区别?
  147. 14714、说说 RPC 的实现原理
  148. 14819、微服务之间是如何独立通讯的?
  149. 14927、springcloud断路器作用?
  150. 15035、Eureka和zookeeper都可以提供服务注册与发现的功能,请说说两个的区别?
  151. 1513、使用 rabbitmq 的场景
  152. 15210、使用 RabbitMQ 有什么好处?
  153. 15315、如何保证消息的可靠传输?如果消息丢了怎么办
  154. 15417、如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决
  155. 15520、什么是Publisher ?
  156. 15631、Fanout(广播分发)?
  157. 157Dubbo 面试题
  158. 1585、一般使用什么注册中心?还有别的选择吗?
  159. 15914、Dubbo 集群容错有几种方案?
  160. 16019、Dubbo 配置文件是如何加载到 Spring 中的?
  161. 16124、Dubbo 必须依赖的包有哪些?
  162. 16231、Dubbo是什么?
  163. 16342、Dubbo可以对结果进行缓存吗?
  164. 16430、服务读写推荐的容错策略是怎样的?
  165. 165MyBatis 面试题
  166. 1668、 模糊查询 like 语句该怎么写?
  167. 16713、如何获取自动生成的(主)键值?
  168. 16814、在 mapper 中如何传递多个参数?
  169. 16918、为什么说 Mybatis 是半自动 ORM 映射工具?它与全自动的区别在哪里?
  170. 17024、什么是 MyBatis 的接口绑定?有哪些实现方式?
  171. 17128、MyBatis实现一对一有几种方式?具体怎么操作的 ?
  172. 1726、四种类型的数据节点 Znode
  173. 17311、ACL 权限控制机制
  174. 17417、zookeeper 是如何保证事务的顺序一致性的?
  175. 17524、Zookeeper 对节点的 watch监听通知是永久的吗?为什么不是永久的?
  176. 17632、分布式通知和协调
  177. 17739、事务编号 Zxid(事务请求计数器+ epoch)
  178. 17846、ZAB 协议 JAVA 实现(FLE-发现阶段和同步合并为 Recovery Phase(恢复阶段) )
  179. 1791、栈(stack)
  180. 1805、排序二叉树
  181. 1816、 前缀树
  182. 1827、红黑树
  183. 1838、B-TREE
  184. 1849、位图
  185. 185算法面试题
  186. 1863、假设今日是2015年3月1日,星期日,请算出13个月零6天后是星期几,距离现在多少天(请用代码实现,谢绝调用API方法)
  187. 1875、二分查找
  188. 1888、快速排序算法
  189. 1899、希尔排序算法
  190. 19010、归并排序算法
  191. 19111、桶排序算法
  192. 19213、剪枝算法
  193. 19317、AES
  194. 19419、CRC
  195. 19521、更多算法练习
  196. 1963、elasticsearch 索引数据多了怎么办,如何调优,部署
  197. 1976、详细描述一下 Elasticsearch 搜索的过程?
  198. 1989、Elasticsearch 是如何实现 Master 选举的?
  199. 19913、详细描述一下 Elasticsearch 更新和删除文档的过程。
  200. 20017、对于 GC 方面,在使用 Elasticsearch 时要注意什么?
  201. 20122、介绍一下你们的个性化搜索方案?
  202. 202Kafka 面试题
  203. 2033、数据文件分段 segment(顺序读写、分段命令、二分查找)
  204. 2048、Consumer Group
  205. 20513、讲一下主从同步
  206. 20619、消费者如何不自动提交偏移量,由应用提交?
  207. 207微服务 面试题
  208. 2083、微服务有哪些特点?
  209. 2095、微服务架构如何运作?
  210. 2108、在使用微服务架构时,您面临哪些挑战?
  211. 21113、什么是无所不在的语言?
  212. 21220、Spring Cloud 解决了哪些问题?
  213. 21328、双因素身份验证的凭据类型有哪些?
  214. 21434、什么是端到端微服务测试?
  215. 21540、我们如何进行跨功能测试?
  216. 21646、什么是持续集成(CI)?
  217. 2173、怎么清屏?怎么退出当前命令?怎么执行睡眠?怎么查看当
  218. 2188、建立软链接(快捷方式),以及硬链接的命令
  219. 21914、复制文件用哪个命令?如果需要连同文件夹一块复制呢?如果需要有提示功能呢?
  220. 22025、怎么查看系统支持的所有信号?
  221. 22134、查找命令的可执行文件是去哪查找的? 怎么对其进行设置及添加?
  222. 22241、如果你的助手想要打印出当前的目录栈,你会建议他怎么做?