← 返回目录

17、对于 GC 方面,在使用 Elasticsearch 时要注意什么?

第 200 / 222 卷

10、内存交换到磁盘对服务器性能来说是致命的。如果内存交换到磁盘上,一个100 微秒的操作可能变成 10 毫秒。再想想那么多 10 微秒的操作时延累加起来。不难看出 swapping 对于性能是多么可怕。

11、Lucene 使用了大量的文件。同时,Elasticsearch 在节点和 HTTP 客户端之间进行通信也使用了大量的套接字。所有这一切都需要足够的文件描述符。你应该增加你的文件描述符,设置一个很大的值,如 64,000。

补充:索引阶段性能提升方法 1、使用批量请求并调整其大小:每次批量数据 5–15 MB 大是个不错的起始点。

2、存储:使用 SSD 3、段和合并:Elasticsearch 默认值是 20 MB/s,对机械磁盘应该是个不错的设置。如果你用的是 SSD,可以考虑提高到 100–200 MB/s。如果你在做批量导入,完全不在意搜

索,你可以彻底关掉合并限流。另外还可以增加 index.translog.flush_threshold_size 设置,从默认的 512 MB 到更大一些的值,比如 1 GB,这可以在一次清空触发的时候在事务日志里积累出更大的段。

4、如果你的搜索结果不需要近实时的准确度,考虑把每个索引的index.refresh_interval 改到 30s。

5、如果你在做大批量导入,考虑通过设置 index.number_of_replicas: 0 关闭副本。

17、对于 GC 方面,在使用 Elasticsearch 时要注意什么?

1、SEE:https://elasticsearch.cn/article/32 2、倒排词典的索引需要常驻内存,无法 GC,需要监控 data node 上 segmentmemory 增长趋势。

3、各类缓存,field cache, filter cache, indexing cache, bulk queue 等等,要设置合理的大小,并且要应该根据最坏的情况来看 heap 是否够用,也就是各类缓存全部占满的时候,还有 heap 空间可以分配给其他任务吗?避免采用 clear cache等“自欺欺人”的方式来释放内存。

4、避免返回大量结果集的搜索与聚合。确实需要大量拉取数据的场景,可以采用scan & scroll api 来实现。

5、cluster stats 驻留内存并无法水平扩展,超大规模集群可以考虑分拆成多个集群通过 tribe node 连接。

6、想知道 heap 够不够,必须结合实际应用场景,并对集群的 heap 使用情况做持续的监控。

18、Elasticsearch 对于大数据量(上亿量级)的聚合如何实现?

Elasticsearch 提供的首个近似聚合是 cardinality 度量。它提供一个字段的基数,即该字段的 distinct 或者 unique 值的数目。它是基于 HLL 算法的。HLL 会先对我们的输入作哈希运算,然后根据哈希运算的结果中的 bits 做概率估算从而得到基数。其特点是:可配置的精度,用来控制内存的使用(更精确=更多内存);

小的数据集精度是非常高的;我们可以通过配置参数,来设置去重需要的固定内存使用量。无论数千还是数十亿的唯一值,内存使用量只与你配置的精确度相关。

19、在并发情况下,Elasticsearch 如果保证读写一致?

1、可以通过版本号使用乐观并发控制,以确保新版本不会被旧版本覆盖,由应用层来处理具体的冲突;

2、另外对于写操作,一致性级别支持 quorum/one/all,默认为 quorum,即只有当大多数分片可用时才允许写操作。但即使大多数可用,也可能存在因为网络等原因导致写入副本失败,这样该副本被认为故障,分片将会在一个不同的节点上重建。

3、对于读操作,可以设置 replication 为 sync(默认),这使得操作在主分片和副本分片都完成后才会返回;如果设置 replication 为 async 时,也可以通过设置搜索请求参数 _preference 为 primary 来查询主分片,确保文档是最新版本。

20、如何监控 Elasticsearch 集群状态?

Marvel 让你可以很简单的通过 Kibana 监控 Elasticsearch。你可以实时查看你的集群健康状态和性能,也可以分析过去的集群、索引和节点指标。

21、介绍下你们电商搜索的整体技术架构

本卷图片

本页图片

第 202 页图片 1
图 202-1
第 202 页图片 2
图 202-2
全站分卷索引 · 222 卷
  1. 1JavaOOP面试题
  2. 27、Java的数据结构有那些?
  3. 314、Char类型能不能转成int类型?能不能转化成string类型,能不能转成double类型
  4. 420、访问修饰符 public,private,protected,以及不写(默认) 时的区别?
  5. 525、equals与==的区别
  6. 641、Object类常用方法有那些?
  7. 747、构造方法能不能显式调用?
  8. 854、String str=”aaa”,与String str=new String(“aaa”)一样吗?
  9. 963、Hashcode的作用
  10. 1066、有没有可能两个不相等的对象有相同的hashcode
  11. 1170、final、finalize()、finally
  12. 1278、什么是成员内部类
  13. 1385、排序都有哪几种方法?请列举
  14. 1495、String 和 StringBuilder、StringBuffer 的区别?
  15. 15100、Java 中会存在内存泄漏吗,请简单描述。
  16. 16101、抽象的(abstract)方法是否可同时是静态的(static),是否可同时是本地方法(native),是否可同时被 synchronized修饰?
  17. 17104、接口是否可继承(extends)接口?抽象类是否可实现(implements)接口?抽象类是否可继承具体类(concreteclass)?
  18. 18107、内部类可以引用它的包含类(外部类)的成员吗?有没有什么限制?
  19. 193、Collection包结构,与Collections的区别
  20. 208、集合类存放于 Java.util 包中, 主要有几 种接口
  21. 2114、HashSet( Hash 表)
  22. 2216、说说LinkHashSet( HashSet+LinkedHashMap)
  23. 2319、HashTable(线程安全)
  24. 2421、LinkHashMap(记录插入顺序)
  25. 253、如何自定义一个异常
  26. 266、Thow与thorws区别
  27. 273、常用io类有那些
  28. 2810、JAVA NIO
  29. 29Java反射面试题
  30. 308、Java 反射 API
  31. 31Java序列化面试题
  32. 327、序列化 ID
  33. 332、注解是什么?
  34. 343、实现 Runnable 接口。
  35. 357、如何停止一个正在运行的线程
  36. 368、notify()和notifyAll()有什么区别?
  37. 3711、Thread 类中的start() 和 run() 方法有什么区别?
  38. 3817、SynchronizedMap和ConcurrentHashMap有什么区别?
  39. 3922、说说自己是怎么使用 synchronized 关键字,在项目中用到了吗synchronized关键字最主要的三种使用方式
  40. 4030、阻塞状态(BLOCKED)
  41. 4133、start 与 run 区别
  42. 4238、Synchronized 同步锁
  43. 4340、Condition 类和 Object 类锁方法区别区别
  44. 4443、Semaphore 与 ReentrantLock 区别
  45. 4549、轻量级锁
  46. 4657、线程中断(interrupt)
  47. 4764、寄存器
  48. 4874、拒绝策略
  49. 4977、Java 中的阻塞队列
  50. 5078、ArrayBlockingQueue(公平、非公平)
  51. 5185、在 java 中守护线程和本地线程区别
  52. 5292、在 Java 中 Executor 和 Executors 的区别?
  53. 5397、什么是阻塞队列?阻塞队列的实现原理是什么?如何使用阻塞队列来实现生产者-消费者模型?
  54. 54103、为什么我们调用 start()方法时会执行 run()方法,为什么我们不能直接调用 run()方法?
  55. 55JVM面试题
  56. 5610、解释 Java 堆空间及 GC?
  57. 5712、程序计数器(线程私有)
  58. 5818、描述一下 JVM 加载 class 文件的原理机制
  59. 5923、新生代
  60. 6029、标记清除算法( Mark-Sweep)
  61. 6132、分代收集算法
  62. 6238、JAVA虚引用
  63. 6346、Parallel Scavenge 收集器(多线程复制算法、高效)
  64. 6459、CMS 收集器(多线程标记清除算法)
  65. 6562、类加载器
  66. 6663、双亲委派
  67. 6767、JVM内存模型
  68. 6876、什么是Java虚拟机?为什么Java被称作是“平台无关的编程语言”?
  69. 6979、Java对象创建过程
  70. 7086、Minor GC与Full GC分别在什么时候发生?
  71. 712、TokuDB( Fractal Tree-节点带数据)
  72. 726、InnoDB与MyISAM的区别
  73. 7311、第二范式(2nd NF- 每个表只描述一件事情)
  74. 7415、简单说一说drop、delete与truncate的区别
  75. 7520、大表如何优化?
  76. 7622、分库分表之后,id 主键如何处理
  77. 7729、简述在 MySQL 数据库中 MyISAM 和 InnoDB 的区别
  78. 7838、列对比运算符是什么?
  79. 7948、MySQL 支持事务吗?
  80. 8055、什么情况下设置了索引但无法使用
  81. 8161、为表中得字段选择合适得数据类型
  82. 8267、完整性约束包括哪些?
  83. 8375、主键、外键和索引的区别?
  84. 8483、什么是页级锁
  85. 856、Memcache 与 Redis 的区别都有哪些?
  86. 8611、热点数据和冷数据是什么
  87. 8715、Redis 常见性能问题和解决方案?
  88. 8819、Redis 常见性能问题和解决方案:
  89. 8926、Redis 集群方案什么情况下会导致整个集群不可用?
  90. 9040、Redis 如何做内存优化?
  91. 9147、假如 Redis 里面有 1 亿个 key,其中有 10w 个 key 是以某个固定的已知的前缀开头的,如果将它们全部找出来?
  92. 922、memcached 服务在企业集群架构中有哪些应用场景?
  93. 935、memcached 是怎么工作的?
  94. 9412、如何将 memcached 中 item 批量导入导出?
  95. 9520、什么是二进制协议,我该关注吗?
  96. 96MongoDB面试题
  97. 974、NoSQL数据库有哪些类型?
  98. 9815、如何执行事务/加锁?
  99. 9929、如果我在使用复制技术(replication),可以一部分使用日志(journaling)而其他部分则不使用吗?
  100. 10042、分析器在MongoDB中的作用是什么?
  101. 10156、MongoDB的优势有哪些
  102. 10267、MongoDB中的命名空间是什么意思?
  103. 10375、在MongoDB中如何除去一个数据库Collection Methods24.在MongoDB中如何除去一个数据库
  104. 10485、如何在集合中插入一个文档
  105. 10593、在MongoDB中如何排序
  106. 1065、Spring Framework 中有多少个模块,它们分别是什么?
  107. 1078、使用 Spring 有哪些方式?
  108. 10816、Spring IoC 的实现机制。
  109. 10919、spring 支持集中 bean scope?
  110. 11023、自动装配有哪些方式?
  111. 11130、@Qualifier 注解有什么用?
  112. 11234、spring JDBC API 中存在哪些类?
  113. 11340、什么是切点(JoinPoint)
  114. 11446、如何理解 Spring 中的代理?
  115. 11550、介绍一下 WebApplicationContext
  116. 11655、Spring中Autowired和Resource关键字的区别
  117. 11757、讲一下什么是Spring
  118. 11859、springMVC是什么
  119. 11965、解释Spring支持的几种bean的作用域。
  120. 12071、解释 AOP 模块
  121. 12181、有哪些不同类型的 IOC(依赖注入)方式?
  122. 12291、什么是 Spring 的内部 bean?
  123. 123102、@Autowired 注解
  124. 124113、解释 AOP
  125. 125126、什么是 Spring 的 MVC 框架?
  126. 1263、Spring Boot 有哪些优点?
  127. 1277、如何在Spring Boot启动的时候运行一些特定的代码?
  128. 12815、Spring Boot 的核心配置文件有哪几个?它们的区别是什么?
  129. 12923、如何实现 Spring Boot 应用程序的安全性?
  130. 13034、什么是 AOP?
  131. 13140、运行 Spring Boot 有哪几种方式?
  132. 13249、如何重新加载Spring Boot上的更改,而无需重新启动服务器?
  133. 13353、Spring Boot 还提供了其它的哪些 Starter Project Options?
  134. 13455、创建一个 Spring Boot Project 的最简单的方法是什么?
  135. 13558、 什么是嵌入式服务器?我们为什么要使用嵌入式服务器呢?
  136. 13661、什么是 Spring Data REST?
  137. 13765、如何使用 Spring Boot 生成一个 WAR 文件?
  138. 13873、如何不通过任何配置来选择 Hibernate 作为 JPA 的默认实现?
  139. 13976、Spring Boot 配置的默认 H2 数据库的名字是上面?为什么默认的数据库名字是 testdb?
  140. 14081、如何使用配置文件通过 Spring Boot 配置特定环境的配置?
  141. 14183、如何禁用特定的自动配置?
  142. 14287、SpringBoot 中静态首页默认位置可以放在哪里?
  143. 143Spring Cloud面试题
  144. 1447、什么是 Netflix Feign?它的优点是什么?
  145. 1459、什么是微服务
  146. 14611、Eureka和zookeeper都可以提供服务注册与发现的功能,请说说两个的区别?
  147. 14714、说说 RPC 的实现原理
  148. 14819、微服务之间是如何独立通讯的?
  149. 14927、springcloud断路器作用?
  150. 15035、Eureka和zookeeper都可以提供服务注册与发现的功能,请说说两个的区别?
  151. 1513、使用 rabbitmq 的场景
  152. 15210、使用 RabbitMQ 有什么好处?
  153. 15315、如何保证消息的可靠传输?如果消息丢了怎么办
  154. 15417、如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决
  155. 15520、什么是Publisher ?
  156. 15631、Fanout(广播分发)?
  157. 157Dubbo 面试题
  158. 1585、一般使用什么注册中心?还有别的选择吗?
  159. 15914、Dubbo 集群容错有几种方案?
  160. 16019、Dubbo 配置文件是如何加载到 Spring 中的?
  161. 16124、Dubbo 必须依赖的包有哪些?
  162. 16231、Dubbo是什么?
  163. 16342、Dubbo可以对结果进行缓存吗?
  164. 16430、服务读写推荐的容错策略是怎样的?
  165. 165MyBatis 面试题
  166. 1668、 模糊查询 like 语句该怎么写?
  167. 16713、如何获取自动生成的(主)键值?
  168. 16814、在 mapper 中如何传递多个参数?
  169. 16918、为什么说 Mybatis 是半自动 ORM 映射工具?它与全自动的区别在哪里?
  170. 17024、什么是 MyBatis 的接口绑定?有哪些实现方式?
  171. 17128、MyBatis实现一对一有几种方式?具体怎么操作的 ?
  172. 1726、四种类型的数据节点 Znode
  173. 17311、ACL 权限控制机制
  174. 17417、zookeeper 是如何保证事务的顺序一致性的?
  175. 17524、Zookeeper 对节点的 watch监听通知是永久的吗?为什么不是永久的?
  176. 17632、分布式通知和协调
  177. 17739、事务编号 Zxid(事务请求计数器+ epoch)
  178. 17846、ZAB 协议 JAVA 实现(FLE-发现阶段和同步合并为 Recovery Phase(恢复阶段) )
  179. 1791、栈(stack)
  180. 1805、排序二叉树
  181. 1816、 前缀树
  182. 1827、红黑树
  183. 1838、B-TREE
  184. 1849、位图
  185. 185算法面试题
  186. 1863、假设今日是2015年3月1日,星期日,请算出13个月零6天后是星期几,距离现在多少天(请用代码实现,谢绝调用API方法)
  187. 1875、二分查找
  188. 1888、快速排序算法
  189. 1899、希尔排序算法
  190. 19010、归并排序算法
  191. 19111、桶排序算法
  192. 19213、剪枝算法
  193. 19317、AES
  194. 19419、CRC
  195. 19521、更多算法练习
  196. 1963、elasticsearch 索引数据多了怎么办,如何调优,部署
  197. 1976、详细描述一下 Elasticsearch 搜索的过程?
  198. 1989、Elasticsearch 是如何实现 Master 选举的?
  199. 19913、详细描述一下 Elasticsearch 更新和删除文档的过程。
  200. 20017、对于 GC 方面,在使用 Elasticsearch 时要注意什么?
  201. 20122、介绍一下你们的个性化搜索方案?
  202. 202Kafka 面试题
  203. 2033、数据文件分段 segment(顺序读写、分段命令、二分查找)
  204. 2048、Consumer Group
  205. 20513、讲一下主从同步
  206. 20619、消费者如何不自动提交偏移量,由应用提交?
  207. 207微服务 面试题
  208. 2083、微服务有哪些特点?
  209. 2095、微服务架构如何运作?
  210. 2108、在使用微服务架构时,您面临哪些挑战?
  211. 21113、什么是无所不在的语言?
  212. 21220、Spring Cloud 解决了哪些问题?
  213. 21328、双因素身份验证的凭据类型有哪些?
  214. 21434、什么是端到端微服务测试?
  215. 21540、我们如何进行跨功能测试?
  216. 21646、什么是持续集成(CI)?
  217. 2173、怎么清屏?怎么退出当前命令?怎么执行睡眠?怎么查看当
  218. 2188、建立软链接(快捷方式),以及硬链接的命令
  219. 21914、复制文件用哪个命令?如果需要连同文件夹一块复制呢?如果需要有提示功能呢?
  220. 22025、怎么查看系统支持的所有信号?
  221. 22134、查找命令的可执行文件是去哪查找的? 怎么对其进行设置及添加?
  222. 22241、如果你的助手想要打印出当前的目录栈,你会建议他怎么做?