← 返回目录

深入 Hystrix 线程池隔离与接口限流

第 56 / 72 卷日期:

参考内容

  1. Hystrix issue 1459
  2. Hystrix Metrics

深入Hystrix线程池隔离与接口限流

前面讲了 Hystrix 的 request cache 请求缓存、fallback 优雅降级、circuit breaker 断路器快速熔断,这一讲,我们来详细说说 Hystrix 的线程池隔离与接口限流。

图 190-1
图 190-1

Hystrix 通过判断线程池或者信号量是否已满,超出容量的请求,直接 Reject 走降级,从而达到限流的作用。

限流是限制对后端的服务的访问量,比如说你对 MySQL、Redis、Zookeeper 以及其它各种后端中间件的资源的访问的限制,其实是为了避免过大的流量直接打死后端的服务。

线程池隔离技术的设计

Hystrix 采用了 Bulkhead Partition 舱壁隔离技术,来将外部依赖进行资源隔离,进而避免任何外

图 191-1
图 191-1

Hystrix 对每个外部依赖用一个单独的线程池,这样的话,如果对那个外部依赖调用延迟很严重,最多就是耗尽那个依赖自己的线程池而已,不会影响其他的依赖调用。

Hystrix应用线程池机制的场景

每个服务都会调用几十个后端依赖服务,那些后端依赖服务通常是由很多不同的团队开发的。

每个后端依赖服务都会提供它自己的 client 调用库,比如说用 thri 的话,就会提供对应的 thri 依赖。

client 调用库随时会变更。

client 调用库随时可能会增加新的网络请求的逻辑。

client 调用库可能会包含诸如自动重试、数据解析、内存中缓存等逻辑。

client 调用库一般都对调用者来说是个黑盒,包括实现细节、网络访问、默认配置等等。

在真实的生产环境中,经常会出现调用者,突然间惊讶的发现,client 调用库发生了某些变化。

即使 client 调用库没有改变,依赖服务本身可能有会发生逻辑上的变化。

有些依赖的 client 调用库可能还会拉取其他的依赖库,而且可能那些依赖库配置的不正确。

大多数网络请求都是同步调用的。

调用失败和延迟,也有可能会发生在 client 调用库本身的代码中,不一定就是发生在网络请求中。

简单来说,就是你必须默认 client 调用库很不靠谱,而且随时可能发生各种变化,所以就要用强制隔离的方式来确保任何服务的故障不会影响当前服务。

线程池机制的优点

任何一个依赖服务都可以被隔离在自己的线程池内,即使自己的线程池资源填满了,也不会影响任何其他的服务调用。

服务可以随时引入一个新的依赖服务,因为即使这个新的依赖服务有问题,也不会影响其他任何服务的调用。

简单来说,最大的好处,就是资源隔离,确保说任何一个依赖服务故障,不会拖垮当前的这个服务。

线程池机制的缺点

线程池机制最大的缺点就是增加了 CPU 的开销。

除了 tomcat 本身的调用线程之外,还有 Hystrix 自己管理的线程池。

每个 command 的执行都依托一个独立的线程,会进行排队,调度,还有上下文切换。

Hystrix 官方自己做了一个多线程异步带来的额外开销统计,通过对比多线程异步调用+同步调用得出,Netflix API 每天通过 Hystrix 执行 10 亿次调用,每个服务实例有 40 个以上的线

程池,每个线程池有 10 个左右的线程。)最后发现说,用 Hystrix 的额外开销,就是给请求带来了 3ms 左右的延时,最多延时在 10ms 以内,相比于可用性和稳定性的提升,这是可

以接受的。

我们可以用 Hystrix semaphore 技术来实现对某个依赖服务的并发访问量的限制,而不是通过线程池/队列的大小来限制流量。

semaphore 技术可以用来限流和削峰,但是不能用来对调用延迟的服务进行 timeout 和隔离。

execution.isolation.strategy 设置为 SEMAPHORE,那么 Hystrix 就会用 semaphore 机制来替代线程池机制,来对依赖服务的访问进行限流。如果通过 semaphore 调用的时候,底层的

网络调用延迟很严重,那么是无法 timeout 的,只能一直 block 住。一旦请求数量超过了 semaphore 限定的数量之后,就会立即开启限流。

接口限流Demo

假设一个线程池大小为 8,等待队列的大小为 10。timeout 时长我们设置长一些,20s。

在 command 内部,写死代码,做一个 sleep,比如 sleep 3s。

withCoreSize:设置线程池大小。

withMaxQueueSize:设置等待队列大小。

withQueueSizeRejectionThreshold:这个与 withMaxQueueSize 配合使用,等待队列的大小,取得是这两个参数的较小值。

private static final HystrixCommandKey KEY = HystrixCommandKey.Factory

public GetProductInfoCommand(Long productId) {

super(Setter.withGroupKey(HystrixCommandGroupKey.Factory.asKey("Pr

.andCommandKey(KEY)

// 线程池相关配置信息

.andThreadPoolPropertiesDefaults(HystrixThreadPoolProperti

// 设置线程池大小为8

.withCoreSize(8)

// 设置等待队列大小为10

.withMaxQueueSize(10)

.withQueueSizeRejectionThreshold(12))

.andCommandPropertiesDefaults(HystrixCommandProperties.Set

.withCircuitBreakerEnabled(true)

.withCircuitBreakerRequestVolumeThreshold(20)

.withCircuitBreakerErrorThresholdPercentage(40)

.withCircuitBreakerSleepWindowInMilliseconds(3000)

// 设置超时时间

.withExecutionTimeoutInMilliseconds(20000)

// 设置fallback最大请求并发数

.withFallbackIsolationSemaphoreMaxConcurrentReques

this.productId = productId;

}

@Override

protected ProductInfo run() throws Exception {

System.out.println("调用接口查询商品数据,productId=" + productId);

if (productId == -1L) {

throw new Exception();

}

// 请求过来,会在这里hang住3秒钟

if (productId == -2L) {

TimeUtils.sleep(3);

@Override

protected ProductInfo getFallback() {

ProductInfo productInfo = new ProductInfo();

productInfo.setName("降级商品");

return productInfo;

}

}

我们模拟 25 个请求。前 8 个请求,调用接口时会直接被 hang 住 3s,那么后面的 10 个请求会先进入等待队列中等待前面的请求执行完毕。最后的 7 个请求过来,会直接被 reject,调用

fallback 降级逻辑。

java

@SpringBootTest

@RunWith(SpringRunner.class)

public class RejectTest {

@Test

public void testReject() {

for (int i = 0; i < 25; ++ ) {i

new Thread(() -> HttpClientUtils.sendGetRequest("http://localh

}

// 防止主线程提前结束执行

TimeUtils.sleep(50);

}

}

从执行结果中,我们可以明显看出一共打印出了 7 个降级商品。这也就是请求数超过线程池+队列的数量而直接被 reject 的结果。

c

ProductInfo(id null=,name=降级商品,price null=,pictureList null=,specificat
ProductInfo(id null=,name=降级商品,price null=,pictureList null=,specificat
全站分卷索引 · 72 卷
  1. 1互联网 Java 工程师进阶知识完全扫盲
  2. 2为什么使用消息队列?
  3. 3如何保证消息队列的高可用?
  4. 4如何保证消息不被重复消费?
  5. 5如何保证消息的可靠性传输?
  6. 6如何保证消息的顺序性?
  7. 7如何解决消息队列的延时以及过期失效问题?
  8. 8如何设计一个消息队列?
  9. 9搜索引擎
  10. 10ES 的分布式架构原理是什么?
  11. 11ES 写入数据的工作原理是什么?
  12. 12ES 在数十亿级别数量下如何提高查询效率?
  13. 13ES 生产集群的部署架构是什么?
  14. 14缓存
  15. 15Redis 和 Memcached 有什么区别?
  16. 16Redis 都有哪些数据类型以及适用场景?
  17. 17Redis 的过期策略都有哪些?
  18. 18如何保证 Redis 高并发、高可用?
  19. 19Redis 主从架构是怎样的?
  20. 20Redis 的持久化有哪几种方式?
  21. 21Redis 如何基于哨兵集群实现高可用?
  22. 22Redis 集群模式的工作原理能说一下么?
  23. 23Redis 的雪崩、穿透和击穿,如何应对?
  24. 24如何保证缓存与数据库双写一致性?
  25. 25如何解决 Redis 的并发竞争问题?
  26. 26生产环境中的 Redis 是怎么部署的?
  27. 27分库分表如何平滑过渡?
  28. 28设计一个动态扩容缩容的分库分表方案?
  29. 29分库分表之后,id 主键如何处理?
  30. 30读写分离
  31. 31高并发系统
  32. 32分布式系统
  33. 33系统拆分
  34. 34分布式服务框架
  35. 35Dubbo 支持哪些序列化协议?
  36. 36Dubbo 负载均衡策略和集群容错策略?
  37. 37Dubbo 的 SPI 思想是什么?
  38. 38如何基于 Dubbo 进行服务治理?
  39. 39分布式服务接口的幂等性如何设计?
  40. 40分布式服务接口请求的顺序性如何保证?
  41. 41如何自己设计一个类似 Dubbo 的 RPC 框架?
  42. 42CAP 定理的 P 是什么?
  43. 43分布式锁
  44. 44分布式锁如何设计?
  45. 45分布式事务
  46. 46分布式会话
  47. 47高可用架构
  48. 48电商网站详情页系统架构
  49. 49Hystrix 线程池技术实现资源隔离
  50. 50Hystrix 信号量机制实现资源隔离
  51. 51Hystrix 隔离策略细粒度控制
  52. 52深入 Hystrix 执行时内部原理
  53. 53基于 request cache 请求缓存技术优化批量商品数据查询接口
  54. 54基于本地缓存的 fallback 降级机制
  55. 55深入 Hystrix 断路器执行原理
  56. 56深入 Hystrix 线程池隔离与接口限流
  57. 57基于 timeout 机制为服务接口调用超时提供安全保护
  58. 58限流
  59. 59熔断
  60. 60微服务架构
  61. 61从单体式架构迁移到微服务架构
  62. 62微服务的事件驱动数据管理
  63. 63选择微服务部署策略
  64. 64Spring Cloud微服务架构
  65. 65你所知道的微服务技术栈都有哪些?
  66. 66谈谈服务发现组件 Eureka 的主要调用过程?
  67. 67海量数据处理
  68. 68如何找出某一天访问百度网站最多的 IP?
  69. 69如何在大量的数据中找出不重复的整数?
  70. 70如何在大量的数据中判断一个数是否存在?
  71. 71如何统计不同电话号码的个数?
  72. 72如何按照 query 的频度排序?