← 返回目录

限流

第 58 / 72 卷日期:

@Test

public void testTimeout() {

HttpClientUtils.sendGetRequest("http://localhost:8080/getProductIn

}

}

结果中可以看到,打印出了降级商品相关信息。

c

ProductInfo(id null=, name=降级商品, price null=, pictureList null=, specificat

{"id": 1, "name": "iphone7手机", "price": 5599, "pictureList":"a.jpg,b.jpg"

如何限流?在工作中是怎么做的?说一下具

体的实现?

Author: HuiFer Description: 该文简单介绍限流相关技术以及实现

什么是限流

限流可以认为服务降级的一种,限流就是限制系统的输入和输出流量已达到保护系统的目的。一般来说系统的吞吐量是可以被测算的,为了保证系统的稳定运行,一旦达

到的需要限制的阈值,就需要限制流量并采取一些措施以完成限制流量的目的。比如:延迟处理,拒绝处理,或者部分拒绝处理等等。

限流方法

计数器

实现方式

import java util concurrent atomic....AtomicInteger;

public class Counter {

/**

  • 最大访问数量

*/

private final int limit = 10;

/**

  • 访问时间差

*/

private final long timeout = 1000;

/**

  • 请求时间

*/

private long time;

/**

  • 当前计数器

*/

private AtomicInteger reqCount = new AtomicInteger(0);

public boolean limit() {

long now = System.currentTimeMillis();

if (now < time + timeout) {

// 单位时间内

reqCount.addAndGet(1);

return reqCount.get() <= limit;

} else {

// 超出单位时间

time = now;

reqCount = new AtomicInteger(0);

return true;

}

}

}

滑动窗口

实现方式

滑动窗口是对计数器方式的改进, 增加一个时间粒度的度量单位把一分钟分成若干等分(6份,每份10秒), 在每一份上设置独立计数器,在 00:00-00:09 之间

发生请求计数器累加1.当等分数量越大限流统计就越详细

java

package com example demo1 service...;

import java util..Iterator;

import java util..Random;

importjava util concurrent...ConcurrentLinkedQueue;
importjava util stream...IntStream;

public class TimeWindow {

private ConcurrentLinkedQueue<Long> queue = new ConcurrentLinkedQueue<

/**

  • 间隔秒数

*/

private int seconds;

/**

  • 最大限流

*/

private int max;

public TimeWindow(int max, int seconds) {

this.seconds = seconds;

this.max = max;

/**

} catch (InterruptedException e) {

e.printStackTrace();

}

clean();

}

}).start();

}

public static void main(String[] args) throws Exception {

final TimeWindow timeWindow = new TimeWindow(10, 1);

// 测试3个线程

IntStream.range(0, 3).forEach(( ) -> {i

new Thread(() -> {

while (true) {

try {

Thread.sleep(new Random().nextInt(20) * 100);

} catch (InterruptedException e) {

e.printStackTrace();

}

timeWindow.take();

}

}).start();

});

}

/**

  • 获取令牌,并且添加时间

*/

}

synchronized (queue) {

if (sizeOfValid() > max) {

System.err.println("超限");

System.err.println("queue中有 " + queue.size() + " 最大数

}

this.queue.offer(System.currentTimeMillis());

}

System.out.println("queue中有 " + queue.size() + " 最大数量 " +

}

}

public int sizeOfValid() {

Iterator<Long> it = queue.iterator();

Long ms = System.currentTimeMillis() - seconds * 1000;

int count = 0;

while (it.hasNext()) {

long t = it.next();

if (t > ms) {

// 在当前的统计时间范围内

count++;

}

}

return count;

}

/**

  • 清理过期的时间

*/

public void clean() {

Long c = System.currentTimeMillis() - seconds * 1000;

Leaky Bucket漏桶

实现方式

规定固定容量的桶, 有水进入, 有水流出. 对于流进的水我们无法估计进来的数量、速度, 对于流出的水我们可以控制速度.

java

public class LeakBucket {

/**

  • 时间

*/

private long time;

/**

  • 总量

*/

private Double total;

/**

  • 水流出去的速度

*/

private Double rate;

/**

  • 当前总量

*/

private Double nowSize;

public boolean limit() {

long now = System.currentTimeMillis();

nowSize = Math.max(0, (nowSize - (now - time) * rate));

time = now;

if ((nowSize + 1) < total) {

nowSize++;

return true;

Token Bucket令牌桶

实现方式

规定固定容量的桶, token 以固定速度往桶内填充, 当桶满时 token 不会被继续放入, 每过来一个请求把 token 从桶中移除, 如果桶中没有 token 不能请求

java

public class TokenBucket {

/**

  • 时间

*/

private long time;

/**

  • 总量

*/

private Double total;

/**

  • token 放入速度

*/

private Double rate;

/**

  • 当前总量

*/

private Double nowSize;

public boolean limit() {

long now = System.currentTimeMillis();

nowSize = Math.min(total, nowSize + (now - time) * rate);

time = now;

if (nowSize < 1) {

// 桶里没有token

return false;

} else {

工作中的使用

spring cloud gateway

spring cloud gateway 默认使用redis进行限流, 笔者一般只是修改修改参数属于拿来即用. 并没有去从头实现上述那些算法.

xml

<dependency>

<groupId>org.springframework.cloud</groupId>

<artifactId>spring-cloud-starter-gateway</artifactId>

</dependency>

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-data-redis-reactive</artifactId>

</dependency>

yaml

spring:

cloud:

gateway:

routes:

  • id: requestratelimiter_route

uri: lb://pigx-upms

order: 10000

predicates:

  • Path=/admin/**

key-resolver: "#{@remoteAddrKeyResolver}" #SPEL表达式去的对应的be

  • StripPrefix=1

java

@Bean

KeyResolver remoteAddrKeyResolver() {

return exchange -> Mono.just(exchange.getRequest().getRemoteAddress().

}

sentinel

通过配置来控制每个url的流量

xml

<dependency>

<groupId>com.alibaba.cloud</groupId>

<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>

</dependency>

yaml

spring:

cloud:

nacos:

discovery:

server-addr: localhost:8848

sentinel:

transport:

dashboard: localhost:8080

port: 8720

datasource:

ds:

配置内容在nacos上进行编辑

json

[

{

"resource": "/hello",

"limitApp": "default",

"grade": 1,

"count": 1,

"strategy": 0,

"controlBehavior": 0,

"clusterMode": false

}

]

resource:资源名,即限流规则的作用对象。

limitApp:流控针对的调用来源,若为 default 则不区分调用来源。

grade:限流阈值类型,QPS 或线程数模式,0代表根据并发数量来限流,1代表根据QPS来进行流量控制。

count:限流阈值 strategy:判断的根据是资源自身,还是根据其它关联资源 (refResource),还是根据链路入

口 controlBehavior:流控效果(直接拒绝 / 排队等待 / 慢启动模式)

clusterMode:是否为集群模式

总结

sentinel和spring cloud gateway两个框架都是很好的限流框架, 但是在我使用中还没有将 spring-cloud-alibaba接入到项目中进行使用, 所以我会选择spring cloud gateway, 当接入

完整的或者接入Nacos项目使用setinel会有更加好的体验.

如何做技术选型?Sentinel还是Hystrix?

全站分卷索引 · 72 卷
  1. 1互联网 Java 工程师进阶知识完全扫盲
  2. 2为什么使用消息队列?
  3. 3如何保证消息队列的高可用?
  4. 4如何保证消息不被重复消费?
  5. 5如何保证消息的可靠性传输?
  6. 6如何保证消息的顺序性?
  7. 7如何解决消息队列的延时以及过期失效问题?
  8. 8如何设计一个消息队列?
  9. 9搜索引擎
  10. 10ES 的分布式架构原理是什么?
  11. 11ES 写入数据的工作原理是什么?
  12. 12ES 在数十亿级别数量下如何提高查询效率?
  13. 13ES 生产集群的部署架构是什么?
  14. 14缓存
  15. 15Redis 和 Memcached 有什么区别?
  16. 16Redis 都有哪些数据类型以及适用场景?
  17. 17Redis 的过期策略都有哪些?
  18. 18如何保证 Redis 高并发、高可用?
  19. 19Redis 主从架构是怎样的?
  20. 20Redis 的持久化有哪几种方式?
  21. 21Redis 如何基于哨兵集群实现高可用?
  22. 22Redis 集群模式的工作原理能说一下么?
  23. 23Redis 的雪崩、穿透和击穿,如何应对?
  24. 24如何保证缓存与数据库双写一致性?
  25. 25如何解决 Redis 的并发竞争问题?
  26. 26生产环境中的 Redis 是怎么部署的?
  27. 27分库分表如何平滑过渡?
  28. 28设计一个动态扩容缩容的分库分表方案?
  29. 29分库分表之后,id 主键如何处理?
  30. 30读写分离
  31. 31高并发系统
  32. 32分布式系统
  33. 33系统拆分
  34. 34分布式服务框架
  35. 35Dubbo 支持哪些序列化协议?
  36. 36Dubbo 负载均衡策略和集群容错策略?
  37. 37Dubbo 的 SPI 思想是什么?
  38. 38如何基于 Dubbo 进行服务治理?
  39. 39分布式服务接口的幂等性如何设计?
  40. 40分布式服务接口请求的顺序性如何保证?
  41. 41如何自己设计一个类似 Dubbo 的 RPC 框架?
  42. 42CAP 定理的 P 是什么?
  43. 43分布式锁
  44. 44分布式锁如何设计?
  45. 45分布式事务
  46. 46分布式会话
  47. 47高可用架构
  48. 48电商网站详情页系统架构
  49. 49Hystrix 线程池技术实现资源隔离
  50. 50Hystrix 信号量机制实现资源隔离
  51. 51Hystrix 隔离策略细粒度控制
  52. 52深入 Hystrix 执行时内部原理
  53. 53基于 request cache 请求缓存技术优化批量商品数据查询接口
  54. 54基于本地缓存的 fallback 降级机制
  55. 55深入 Hystrix 断路器执行原理
  56. 56深入 Hystrix 线程池隔离与接口限流
  57. 57基于 timeout 机制为服务接口调用超时提供安全保护
  58. 58限流
  59. 59熔断
  60. 60微服务架构
  61. 61从单体式架构迁移到微服务架构
  62. 62微服务的事件驱动数据管理
  63. 63选择微服务部署策略
  64. 64Spring Cloud微服务架构
  65. 65你所知道的微服务技术栈都有哪些?
  66. 66谈谈服务发现组件 Eureka 的主要调用过程?
  67. 67海量数据处理
  68. 68如何找出某一天访问百度网站最多的 IP?
  69. 69如何在大量的数据中找出不重复的整数?
  70. 70如何在大量的数据中判断一个数是否存在?
  71. 71如何统计不同电话号码的个数?
  72. 72如何按照 query 的频度排序?