java中如何自定义线程池，如何优化参数设置？

Posted 2024-10-8 Updated 2024-10- 8

By 随风

16~21 min read

自定义线程池是通过 ThreadPoolExecutor 来实现的，它允许开发者灵活配置线程池的核心线程数、最大线程数、任务队列、线程空闲时间、线程工厂和拒绝策略等。合理配置这些参数对于线程池的性能和稳定性至关重要，尤其是在高并发系统中。下面详细介绍如何自定义线程池以及如何优化参数设置。

1. 自定义线程池

import java.util.concurrent.*;

public class CustomThreadPoolExample {
    public static void main(String[] args) {
        ExecutorService customThreadPool = new ThreadPoolExecutor(
            2,  // corePoolSize: 核心线程数
            5,  // maximumPoolSize: 最大线程数
            60, // keepAliveTime: 线程空闲时间
            TimeUnit.SECONDS,  // keepAliveTime 的时间单位
            new LinkedBlockingQueue<>(100),  // 阻塞队列，保存等待执行的任务
            Executors.defaultThreadFactory(),  // 线程工厂，创建新线程
            new ThreadPoolExecutor.AbortPolicy()  // 拒绝策略
        );

        for (int i = 0; i < 10; i++) {
            customThreadPool.execute(() -> {
                System.out.println(Thread.currentThread().getName() + " is executing task");
            });
        }

        customThreadPool.shutdown();  // 关闭线程池
    }
}

自定义线程池的核心参数：

corePoolSize：核心线程数，线程池中始终保持的线程数，即使没有任务执行时也不会回收。
- 适用场景：需要保持一定数量的线程长期存在，用于处理较长时间间隔任务。
maximumPoolSize：最大线程数，在线程池负载较高时允许的最大线程数，超过该数量的线程不会被创建。
- 适用场景：当任务繁忙时，线程池可以创建更多线程临时应对任务高峰。
keepAliveTime：线程空闲时间，当线程池中的线程数超过 corePoolSize 时，多余的空闲线程的存活时间。超过该时间，多余的线程将被终止。
- 适用场景：控制线程池资源的回收策略。
unit：时间单位，keepAliveTime 的时间单位，如 TimeUnit.SECONDS、TimeUnit.MILLISECONDS 等。
workQueue：任务队列，用于存储等待执行的任务。常用的队列类型有：
- ArrayBlockingQueue：有界阻塞队列，基于数组的先进先出队列。
- LinkedBlockingQueue：无界阻塞队列（或指定容量的有界队列），可以存放无限多的任务，直到系统资源耗尽。
- SynchronousQueue：不存储任务的队列，每个任务都必须直接提交给工作线程。
threadFactory：线程工厂，用于创建线程。可以通过自定义线程工厂来给线程设置自定义名称、优先级等。
handler：拒绝策略，当线程池已达到最大线程数且任务队列已满时，处理新任务的策略。Java 提供了四种默认拒绝策略：
- AbortPolicy：抛出 RejectedExecutionException 异常（默认）。
- CallerRunsPolicy：由提交任务的线程来执行该任务。
- DiscardPolicy：直接丢弃新任务，不抛出异常。
- DiscardOldestPolicy：丢弃队列中最早的任务，尝试重新提交新任务。

2. 优化线程池参数设置

2.1 优化核心线程数 (`corePoolSize`)

CPU 密集型任务：如果任务主要使用 CPU（如计算密集型操作），那么核心线程数应接近 CPU 核心数。可以通过 Runtime.getRuntime().availableProcessors() 获取 CPU 核心数。

int corePoolSize = Runtime.getRuntime().availableProcessors();  // 根据CPU核心数设置

I/O 密集型任务：如果任务涉及大量 I/O 操作（如文件读写、网络请求），线程数应适当增加，因为线程在等待 I/O 操作时会处于阻塞状态。一般可以设置为 CPU 核心数 * 2 或更多。

int corePoolSize = Runtime.getRuntime().availableProcessors() * 2;  // I/O密集型任务

2.2 最大线程数 (`maximumPoolSize`)

最大线程数的配置要根据系统的可承受并发数、CPU 和内存资源决定。如果任务执行时间较短，线程池应保持较高的并发度；如果任务执行时间较长，线程池的最大线程数不宜设置过高，以免资源争夺加剧。

通常最大线程数可以设置为：

int maxPoolSize = corePoolSize + (corePoolSize / 2);  // 一般设置为核心线程数的1.5倍

2.3 队列大小 (`workQueue`)

ArrayBlockingQueue（有界队列）：适用于防止任务堆积过多而导致系统内存耗尽。设置合理的队列大小可以避免任务积压。
LinkedBlockingQueue（无界队列）：适合任务之间不存在相互依赖关系，且任务量不可预测的场景。虽然是无界队列，但实际使用中可以限制其容量，避免过度积压任务。

一般情况下，有界队列是更好的选择，可以根据系统的吞吐量设置队列的容量。

BlockingQueue<Runnable> workQueue = new ArrayBlockingQueue<>(100);  // 队列容量设置为100

2.4 线程空闲时间 (`keepAliveTime`)

当线程池中线程数量超过核心线程数时，线程的空闲时间决定了多余线程的存活时间。如果系统中的任务执行频繁，可以设置较短的空闲时间，以便及时回收不必要的线程资源。

long keepAliveTime = 60L;  // 空闲线程60秒后回收

2.5 拒绝策略 (`RejectedExecutionHandler`)

当线程池和队列都已满时，拒绝策略决定了如何处理新任务。可以根据业务需求选择适合的拒绝策略：

AbortPolicy：任务溢出时抛出异常，适合任务不能丢失的关键场景。
CallerRunsPolicy：任务溢出时由调用线程执行，可以保证任务不会丢失，但会影响性能。
DiscardPolicy：任务溢出时直接丢弃新任务，适合允许部分任务失败的场景。
DiscardOldestPolicy：丢弃最早的任务，尝试执行新任务，适合时间敏感任务的场景。

RejectedExecutionHandler handler = new ThreadPoolExecutor.CallerRunsPolicy();  // 调用线程执行任务

3. 监控线程池

线程池的优化离不开对其运行状态的监控。通过监控线程池的核心线程数、活跃线程数、任务队列的长度、已完成的任务数等指标，可以及时发现线程池的瓶颈，并进行相应的调整。

ThreadPoolExecutor executor = (ThreadPoolExecutor) customThreadPool;

System.out.println("Core threads: " + executor.getCorePoolSize());
System.out.println("Active threads: " + executor.getActiveCount());
System.out.println("Max threads: " + executor.getMaximumPoolSize());
System.out.println("Task count: " + executor.getTaskCount());
System.out.println("Completed tasks: " + executor.getCompletedTaskCount());
System.out.println("Queue size: " + executor.getQueue().size());

4. 合理关闭线程池

当任务执行完毕后，应及时关闭线程池，以避免资源泄露。可以通过以下方式关闭线程池：

shutdown()：线程池执行已有任务后关闭，不再接受新任务。
shutdownNow()：立即停止线程池，取消所有等待中的任务，并尝试中断正在执行的任务。

customThreadPool.shutdown();  // 优雅关闭线程池
// 或
customThreadPool.shutdownNow();  // 强制关闭线程池

总结

核心线程数 (corePoolSize) 应根据任务的类型（CPU 密集型或 I/O 密集型）进行设置。对于 CPU 密集型任务，线程数应接近 CPU 核心数；对于 I/O 密集型任务，线程数可设置为核心数的 2 倍或更多。
最大线程数 (maximumPoolSize) 不宜设置过大，应根据系统负载合理设置，避免资源争夺。
任务队列 (workQueue) 选择有界队列是较安全的做法，可以根据系统负载设定合理的队列容量。
线程空闲时间 (keepAliveTime) 影响线程池回收空闲线程的速度，应根据任务执行频率进行设置。
拒绝策略 应根据业务需求选择合适的策略，以确保任务的正确处理。

通过这些设置，你可以构建出高效、稳定的自定义线程池，满足应用的并发需求。

Java

License: CC BY 4.0

1. 自定义线程池

自定义线程池的核心参数：

2. 优化线程池参数设置

2.1 优化核心线程数 (corePoolSize)

2.2 最大线程数 (maximumPoolSize)

2.3 队列大小 (workQueue)

2.4 线程空闲时间 (keepAliveTime)

2.5 拒绝策略 (RejectedExecutionHandler)