「java线程池异步处理」python线程池异步处理

本篇文章给大家谈谈java线程池异步处理，以及python线程池异步处理对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、超详细的线程池使用解析
• 2、java 线程池异步任务需要处理异步结果会阻塞吗
• 3、Spring Boot中异步线程池@Async详解
• 4、java中使用异步线程池有什么优缺点

超详细的线程池使用解析

Java 中线程池是运用场景最多的并发框架，几乎所有需要异步或并发执行任务的程序都可以使用线程池。合理的使用线程池可以带来多个好处：

（1） 降低资源消耗 。通过重复利用已创建的线程降低线程在创建和销毁时造成的消耗。

（2） 提高响应速度 。当处理执行任务时，任务可以不需要等待线程的创建就能立刻执行。

（3） 提高线程的可管理性 。线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一分配、调优和监控。

线程池的处理流程如上图所示

线程池中通过 ctl 字段来表示线程池中的当前状态，主池控制状态 ctl 是 AtomicInteger 类型，包装了两个概念字段：workerCount 和 runState，workerCount 表示有效线程数，runState 表示是否正在运行、正在关闭等状态。使用 ctl 字段表示两个概念，ctl 的前 3 位表示线程池状态，线程池中限制 workerCount 为(2^29 )-1（约 5 亿）个线程，而不是 (2^31)-1（20 亿）个线程。workerCount 是允许启动和不允许停止的工作程序的数量。该值可能与实际的活动线程数暂时不同，例如，当 ThreadFactory 在被询问时未能创建线程时，以及退出线程在终止前仍在执行记时。用户可见的池大小报告为工作集的当前大小。 runState 提供主要的生命周期控制，取值如下表所示：

runState 随着时间的推移而改变，在 awaitTermination() 方法中等待的线程将在状态达到 TERMINATED 时返回。状态的转换为：

RUNNING - SHUTDOWN 在调用 shutdown() 时，可能隐含在 finalize() 中

(RUNNING 或 SHUTDOWN)- STOP 在调用 shutdownNow() 时

SHUTDOWN - TIDYING 当队列和线程池都为空时

STOP - TIDYING 当线程池为空时

TIDYING - TERMINATED 当 terminate() 方法完成时

开发人员如果需要在线程池变为 TIDYING 状态时进行相应的处理，可以通过重载 terminated() 函数来实现。

结合上图说明线程池 ThreadPoolExecutor 执行流程，使用 execute() 方法提交任务到线程池中执行时分为4种场景：

（1）线程池中运行的线程数量小于 corePoolSize，创建新线程来执行任务。

（2）线程池中运行线程数量不小于 corePoolSize，将任务加入到阻塞队列 BlockingQueue。

（3）如果无法将任务加入到阻塞队列（队列已满），创建新的线程来处理任务（这里需要获取全局锁）。

（4）当创建新的线程数量使线程池中当前运行线程数量超过 maximumPoolSize，线程池中拒绝任务，调用 RejectedExecutionHandler.rejectedExecution() 方法处理。

源码分析：

线程池创建线程时，会将线程封装成工作线程 Worker，Worker 在执行完任务后，还会循环获取工作队列里的任务来执行。

创建线程池之前，首先要知道创建线程池中的核心参数：

corePoolSize （核心线程数大小）：当提交任务到线程池时，线程池会创建一个线程来执行任务，即使其他空闲的基本线程能够执行新任务也会创建线程，直到需要执行的任务数大于核心线程数时就不再创建。

runnableTaskQueue （任务队列）：用于保存等待执行任务的阻塞队列。一般选择以下几种：

ArrayBlockingQueue：基于数组的有界阻塞队列，按照 FIFO 原则对元素进行排序。

LinkedBlockingQueue：基于链表的阻塞队列，按照 FIFO 原则对元素进行排序。

SynchronousQueue：同步阻塞队列，也是不存储元素的阻塞队列。每一个插入操作必须要等到另一个 线程调用移除操作，否则插入操作一直处于阻塞状态。

PriorityBlockingQueue：优先阻塞队列，一个具有优先级的无限阻塞队列。

maximumPoolSize （最大线程数大小）：线程池允许创建的最大线程数，当队列已满，并且线程池中的线程数小于最大线程数，则线程池会创建新的线程执行任务。当使用无界队列时，此参数无用。

RejectedExecutionHandler （拒绝策略）：当任务队列和线程池都满了，说明线程池处于饱和状态，那么必须使用拒绝策略来处理新提交的任务。JDK 内置拒绝策略有以下 4 种：

AbortPolicy：直接抛出异常

CallerRunsPolicy：使用调用者所在的线程来执行任务

DiscardOldestPolicy：丢弃队列中最近的一个任务来执行当前任务

DiscardPolicy：直接丢弃不处理

可以根据应用场景来实现 RejectedExecutionHandler 接口自定义处理策略。

keepAliveTime （线程存活时间）：线程池的工作线程空闲后，保持存活的时间。

TimeUnit （存活时间单位）：可选单位DAYS（天）、HOURS（小时）、MINUTES（分钟）、MILLISECONDS（毫秒）、MICROSECONDS（微妙）、NANOSECONDS（纳秒）。

ThreadFactory （线程工厂）：可以通过线程工厂给创建出来的线程设置有意义的名字。

创建线程池主要分为两大类，第一种是通过 Executors 工厂类创建线程池，第二种是自定义创建线程池。根据《阿里java开发手册》中的规范，线程池不允许使用 Executors 去创建，原因是规避资源耗尽的风险。

创建一个单线程化的线程池

创建固定线程数的线程池

以上两种创建线程池方式使用链表阻塞队列来存放任务，实际场景中可能会堆积大量请求导致 OOM

创建可缓存线程池

允许创建的线程数量最大为 Integer.MAX_VALUE，当创建大量线程时会导致 CPU 处于重负载状态和 OOM 的发生

向线程池提交任务可以使用两个方法，分别为 execute() 和 submit()。

execute() 方法用于提交不需要返回值的任务，所以无法判断任务是否被线程池执行成功。execute() 方法中传入的是 Runnable 类的实例。

submit() 方法用于提交需要返回值的任务。线程池会返回一个 Future 类型的对象，通过 future 对象可以判断任务是否执行成功，并且可以通过 future 的 get() 方法来获取返回值。get() 方法会阻塞当前线程直到任务完成，使用 get(long timeout, TimeUnit unit)方法会阻塞当前线程一段时间后立即返回，这时候可能任务没有执行完。

可以通过调用线程池的 shutdown() 或shutdownNow() 方法来关闭线程池。他们的原理是遍历线程池中的工作线程，然后逐个调用 interrupt() 方法来中断线程，所以无法响应中断任务可能永远无法终止。

shutdown() 和 shutdownNow() 方法的区别在于 shutdownNow 方法首先将线程池的状态设置为 STOP，然后尝试停止正在执行或暂停任务的线程，并返回等待执行任务的列表，而 shutdown 只是将线程池的状态设置成 SHUTDOWN 状态，然后中断所有没有正在执行任务的线程。

线程池使用面临的核心的问题在于： 线程池的参数并不好配置 。一方面线程池的运行机制不是很好理解，配置合理需要强依赖开发人员的个人经验和知识；另一方面，线程池执行的情况和任务类型相关性较大，IO 密集型和 CPU 密集型的任务运行起来的情况差异非常大，这导致业界并没有一些成熟的经验策略帮助开发人员参考。

（1）以任务型为参考的简单评估：

假设线程池大小的设置(N 为 CPU 的个数)

如果纯计算的任务,多线程并不能带来性能提升，因为 CPU 处理能力是稀缺的资源，相反导致较多的线程切换的花销，此时建议线程数为 CPU 数量或+1；----为什么+1？因为可以防止 N 个线程中有一个线程意外中断或者退出，CPU 不会空闲等待。

如果是 IO 密集型应用, 则线程池大小设置为 2N+1. 线程数 = CPU 核数 目标 CPU 利用率 （1 + 平均等待时间 / 平均工作时间)

（2）以任务数为参考的理想状态评估：

1）默认值

2）如何设置 * 需要根据相关值来决定 - tasks ：每秒的任务数，假设为500~1000 - taskCost：每个任务花费时间，假设为0.1s - responsetime：系统允许容忍的最大响应时间，假设为1s

以上都为理想值，实际情况下要根据机器性能来决定。如果在未达到最大线程数的情况机器 cpu load 已经满了，则需要通过升级硬件和优化代码，降低 taskCost 来处理。

（仅为简单的理想状态的评估，可作为线程池参数设置的一个参考）

与主业务无直接数据依赖的从业务可以使用异步线程池来处理，在项目初始化时创建线程池并交给将从业务中的任务提交给异步线程池执行能够缩短响应时间。

严禁在业务代码中起线程！！！

当任务需要按照指定顺序(FIFO, LIFO, 优先级)执行时，推荐创建使用单线程化的线程池。

本文章主要说明了线程池的执行原理和创建方式以及推荐线程池参数设置和一般使用场景。在开发中，开发人员需要根据业务来合理的创建和使用线程池达到降低资源消耗，提高响应速度的目的。

原文链接：

java 线程池异步任务需要处理异步结果会阻塞吗

1、关于异步：java中异步请求就是*调用*在发出之后，这个调用就直接返回了，所以没有返回结果。换句话说，当一个异步过程调用发出后，调用者不会立刻得到结果。而是在*调用*发出后，*被调用者*通过状态、通知来通知调用者，或通过回调函数处理

Spring Boot中异步线程池@Async详解

1、消息队列MQ

2、线程池处理。

我们来看看Spring框架中如何去使用线程池来完成异步操作，以及分析背后的原理。

在Spring4中，Spring中引入了一个新的注解@Async，这个注解让我们在使用Spring完成异步操作变得非常方便。

Spring异步线程池的接口类，其实质是java.util.concurrent.Executor

Spring 已经实现的异常线程池：

Spring中用@Async注解标记的方法，称为异步方法。在spring boot应用中使用@Async很简单：

1、调用异步方法类上或者启动类加上注解@EnableAsync

2、在需要被异步调用的方法外加上@Async

3、所使用的@Async注解方法的类对象应该是Spring容器管理的bean对象；

启动类加上注解@EnableAsync：

在需要被异步调用的方法外加上@Async，同时类AsyncService加上注解@Service或者@Component，使其对象成为Spring容器管理的bean对象；

这里需要注意的是：

1、同一个类里面调用异步方法不生效：原因默认类内的方法调用不会被aop拦截，即调用方和被调用方是在同一个类中，是无法产生切面的，该对象没有被Spring容器管理。即@Async方法不生效。

解决办法：如果要使同一个类中的方法之间调用也被拦截，需要使用spring容器中的实例对象，而不是使用默认的this，因为通过bean实例的调用才会被spring的aop拦截

本例使用方法：AsyncService asyncService = context.getBean(AsyncService.class); 然后使用这个引用调用本地的方法即可达到被拦截的目的

备注：这种方法只能拦截protected，default，public方法，private方法无法拦截。这个是spring aop的一个机制。

2、如果不自定义异步方法的线程池默认使用SimpleAsyncTaskExecutor。SimpleAsyncTaskExecutor：不是真的线程池，这个类不重用线程，每次调用都会创建一个新的线程。并发大的时候会产生严重的性能问题。

3、异步方法返回类型只能有两种：void和java.util.concurrent.Future。

1）当返回类型为void的时候，方法调用过程产生的异常不会抛到调用者层面，

可以通过注AsyncUncaughtExceptionHandler来捕获此类异常

2）当返回类型为Future的时候，方法调用过程产生的异常会抛到调用者层面

在Spring Boot主类中定义一个线程池，public Executor taskExecutor() 方法用于自定义自己的线程池，线程池前缀”taskExecutor-”。如果不定义，则使用系统默认的线程池。

上面我们通过ThreadPoolTaskExecutor创建了一个线程池，同时设置了如下参数：

核心线程数10：线程池创建时初始化的线程数

最大线程数20：线程池最大的线程数，只有在缓冲队列满了之后才会申请超过核心线程数的线程

缓冲队列200：用来缓冲执行任务的队列

允许线程的空闲时间60秒：超过了核心线程数之外的线程，在空闲时间到达之后会被销毁

线程池名的前缀：设置好了之后可以方便我们定位处理任务所在的线程池

线程池对拒绝任务的处理策略：此处采用了CallerRunsPolicy策略，当线程池没有处理能力的时候，该策略会直接在execute方法的调用线程中运行被拒绝的任务；如果执行程序已被关闭，则会丢弃该任务

设置线程池关闭的时候等待所有任务都完成再继续销毁其他的Bean

设置线程池中任务的等待时间，如果超过这个时候还没有销毁就强制销毁，以确保应用最后能够被关闭，而不是阻塞住

也可以单独类来配置线程池：

只需要在@Async注解中指定线程池名即可

Bean文件配置: spring_async.xml

1. 线程的前缀为xmlExecutor

2. 启动异步线程池配置

启动类导入xml文件：

线 程池参数说明

1. ‘id’ ： 线程名称的前缀

2. ‘pool-size’：线程池的大小。支持范围”min-max”和固定值（此时线程池core和max sizes相同）

3. ‘queue-capacity’ ：排队队列长度

4. ‘rejection-policy’: 对方拒绝的任务处理策略

5. ‘keep-alive’ ： 线程保护时间（单位秒）

上面也提到：在调用方法时，可能出现方法中抛出异常的情况。在异步中主要有有两种异常处理方法：

a) 、一种是在调用future的get时捕获异常;

b)、 在异常方法中直接捕获异常

实现AsyncConfigurer接口对异常线程池更加细粒度的控制

a) 创建线程自己的线程池

b) 对void方法抛出的异常处理的类AsyncUncaughtExceptionHandler

上面也提到：如果不自定义异步方法的线程池默认使用SimpleAsyncTaskExecutor。SimpleAsyncTaskExecutor：不是真的线程池，这个类不重用线程，每次调用都会创建一个新的线程。并发大的时候会产生严重的性能问题。

一般的错误OOM：OutOfMemoryError：unable to create new native thread，创建线程数量太多，占用内存过大.

解决办法：一般最好使用自定义线程池，做一些特殊策略, 比如自定义拒绝策略，如果队列满了，则拒绝处理该任务。

原文链接：

java中使用异步线程池有什么优缺点

缺点是难以保证数据的准确性 （data integration），还有一个是需要更多的资源。

优点是可以并列处理一些工作，从而减少一些不必要的等待时间（blocking）

异步线程在 UI 和 网络连接方面很常见的

java线程池异步处理的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python线程池异步处理、java线程池异步处理的信息别忘了在本站进行查找喔。