多线程设计模式Future、Master-Worker和生产者-消费者模型

逃离我推掉我的手 2022-02-26 12:16 153阅读 0赞

# **更多多线程知识请访问 [www.itkc8.com][]** #

并行设计模式属于设计优化的一部分，它是对一些常用的多线程结构的总结和抽象。与串行结构相比，并行程序的结构通常更为复杂。因此合理的使用并行模式在多线程开发中更具有意义，在这里主要介绍Future、Master-Worker和生产者-消费者模型。

Future模式

Future模式有点类似于商品订单。比如在网购时，当看重某一件商品时，就可以提交订单，当订单处理完成后，在家里等待商品送货上门即可。或者说更形象的我们发送ajax请求的时候，页面是异步的进行后台处理，用户无须一直等待请求的结果，可以继续浏览或操作其他内容。

Future模式会异步创建一个子线程，去完成相关请求任务，然后将处理结果返回给主线程main。在子线程请求并处理数据的过程中，主线程可以继续做别的事情，即异步加载数据。

Future模式非常适合在处理耗时很长的业务逻辑时进行使用，可以有效减少系统的响应时间，提高系统的吞吐量。

Main.java

public class Main \{  
   
    public static void main(String\[\] args) throws InterruptedException \{  
          
        FutureClient fc = new FutureClient();  
        Data data = fc.request("请求参数");  
        System.out.println("请求发送成功!");  
        System.out.println("做其他的事情...");  
          
        String result = data.getRequest();  
        System.out.println(result);  
    \}  
\}  
FutureClient.java  
public class FutureClient \{  
   
    public Data request(final String queryStr)\{  
        //1 我想要一个代理对象（Data接口的实现类）先返回给发送请求的客户端，告诉他请求已经接收到，可以做其他的事情  
        final FutureData futureData = new FutureData();  
        //2 启动一个新的线程，去加载真实的数据，传递给这个代理对象  
        new Thread(new Runnable() \{  
            @Override  
            public void run() \{  
                //3 这个新的线程可以去慢慢的加载真实对象，然后传递给代理对象  
                RealData realData = new RealData(queryStr);  
                futureData.setRealData(realData);  
            \}  
        \}).start();  
          
        return futureData;  
    \}  
      
\}  
FutureData.java  
public class FutureData implements Data\{  
   
    private RealData realData ;  
      
    private boolean isReady = false;  
      
    public synchronized void setRealData(RealData realData) \{  
        //如果已经装载完毕了，就直接返回  
        if(isReady)\{  
            return;  
        \}  
        //如果没装载，进行装载真实对象  
        this.realData = realData;  
        isReady = true;  
        //进行通知  
        notify();  
    \}  
      
    @Override  
    public synchronized String getRequest() \{  
        //如果没装载好 程序就一直处于阻塞状态  
        while(!isReady)\{  
            try \{  
                wait();  
            \} catch (InterruptedException e) \{  
                e.printStackTrace();  
            \}  
        \}  
        //装载好直接获取数据即可  
        return this.realData.getRequest();  
    \}  
   
   
\}  
RealData.java  
public class RealData implements Data\{  
   
    private String result ;  
      
    public RealData (String queryStr)\{  
        System.out.println("根据" + queryStr + "进行查询，这是一个很耗时的操作..");  
        try \{  
            Thread.sleep(5000);  
        \} catch (InterruptedException e) \{  
            e.printStackTrace();  
        \}  
        System.out.println("操作完毕，获取结果");  
        result = "查询结果";  
    \}  
      
    @Override  
    public String getRequest() \{  
        return result;  
    \}  
   
\}

上述程序执行的过程：在main主线程中，创建FutureClient对象并调用其request方法。在request方法体执行过程中，返回一个FutureData代理对象给main主线程，同时开启一个子线程A开始做真正请求处理工作。main主线程得到FutureData代理对象后，继续向下执行代码，执行String result = data.getRequest();，即调用FutureData对象中的getRequest()方法，这个方法是一个同步方法，使用了synchronized关键字修饰，main主线程获取当前FutureData的对象锁之后，执行了wait()方法，main主线程处于阻塞状态，并释放了FutureData的对象锁。在子线程A中创建RealData对象，执行RealData的构造函数，输出内容并使当前线程休眠5S并继续输出内容。RealData对象创建完毕后，在子线程A中执行futureData.setRealData(realData);，这个方法同样是一个同步方法，使用了synchronized关键字修饰，子线程A获取到FutureData对象的锁，执行notify(),发出通知，此时子线程A结束，阻塞的主线程main被唤醒，继续执行getRequest()中的return this.realData.getRequest();。最后，主线程再次执行输出。  
Eclipse中console输出如下：

JDK中Future模式的封装

其实，在JDK中已经提供了Future模式的封装，使用示例如下：

UseFuture.java

import java.util.concurrent.Callable;  
import java.util.concurrent.ExecutorService;  
import java.util.concurrent.Executors;  
import java.util.concurrent.Future;  
import java.util.concurrent.FutureTask;  
   
public class UseFuture implements Callable<String>\{  
    private String para;  
      
    public UseFuture(String para)\{  
        this.para = para;  
    \}  
      
    /\*\*  
     \* 这里是真实的业务逻辑，其执行可能很慢  
     \*/  
    @Override  
    public String call() throws Exception \{  
        //模拟执行耗时  
        Thread.sleep(5000);  
        String result = this.para + "处理完成";  
        return result;  
    \}  
      
    //主控制函数  
    public static void main(String\[\] args) throws Exception \{  
        String queryStr = "query";  
        //构造FutureTask，并且传入需要真正进行业务逻辑处理的类,该类一定是实现了Callable接口的类  
        FutureTask<String> future = new FutureTask<String>(new UseFuture(queryStr));  
        FutureTask<String> future2 = new FutureTask<String>(new UseFuture(queryStr));  
        //创建一个固定线程的线程池且线程数为2,  
        ExecutorService executor = Executors.newFixedThreadPool(2);  
        //这里提交任务future,则开启线程执行RealData的call()方法执行  
        //submit和execute的区别： 第一点是submit可以传入实现Callable接口的实例对象， 第二点是submit方法有返回值  
        Future f1 = executor.submit(future);//单独启动一个线程A去执行  
        Future f2 = executor.submit(future2);//单独启动一个线程B去执行  
        System.out.println("请求完毕");  
          
        try \{  
            //在线程A、B的执行过程中，主线程main可以做额外的数据操作，也就是主程序执行其他业务逻辑  
            System.out.println("处理实际的业务逻辑...");  
            Thread.sleep(1000);  
        \} catch (Exception e) \{  
            e.printStackTrace();  
        \}  
        //调用获取数据方法,如果call()方法没有执行完成,则依然会进行等待  
        System.out.println("数据：" + future.get());//future.get()获取线程A执行任务的结果  
        System.out.println("数据：" + future2.get());//future2.get()获取线程B执行任务的结果  
          
        executor.shutdown();  
    \}  
   
\}  
创建了2个FutureTask对象，并且传入实现了Callable接口并进行真实业务逻辑处理的类的对象作为参数。创建一个固定数量为2的一个线程池，通过executor.submit(FutureTask对象)来将task任务交给线程池中的线程进行处理。在两个处理task任务的子线程执行过程中，main主线程可以继续执行下面的代码System.out.println("请求完毕");。主线程main执行到future.get()时，若处理该task的子线程已经将该任务处理完毕，则future.get()可以获得子线程A的任务处理结果，同理future2.get()可以获得子线程B的任务处理结果。若future.get()代码执行时，处理future任务的子线程A还没有处理完成，则主线程main需要等待，直到子线程A处理完成，则future.get()获得任务处理结果后，则main主线程才可以继续向下执行代码。最后，将线程池关闭。  
Eclipse的console输出：

Master-Worker模式

Master-Worker模式是常用的并行计算模式，它的核心思想是系统由两类进程协作工作：Master进程和Worker进程。Master负责接收和分配任务，Worker负责处理子任务。当各个Worker子进程处理完成后，会将结果返回给Master，由Master做归纳和总结。其好处是能将一个大任务分解成若干个小任务，并行执行，从而提高系统的吞吐量。

在系统的数据量不是很大的场景，用Hadoop或者Storm有点大材小用，可以考虑Master-Worker。

Main.java

import java.util.Random;  
   
public class Main \{  
   
    public static void main(String\[\] args) \{  
          
        System.out.println("本机器可用processor数量："+Runtime.getRuntime().availableProcessors());  
        Master master = new Master(new Worker(), Runtime.getRuntime().availableProcessors());  
          
        Random r = new Random();  
        for(int i = 1; i <= 100; i++)\{  
            Task t = new Task();  
            t.setId(i);  
            t.setPrice(r.nextInt(1000));  
            master.submit(t);  
        \}  
        master.execute();  
        long start = System.currentTimeMillis();  
          
        while(true)\{  
            if(master.isComplete())\{  
                long end = System.currentTimeMillis() - start;  
                int priceResult = master.getResult();  
                System.out.println("最终结果：" + priceResult + ", 执行时间：" + end);  
                break;  
            \}  
        \}  
          
    \}  
\}  
Master.java  
import java.util.HashMap;  
import java.util.Map;  
import java.util.concurrent.ConcurrentHashMap;  
import java.util.concurrent.ConcurrentLinkedQueue;  
   
public class Master \{  
   
    //1 有一个盛放任务的容器  
    private ConcurrentLinkedQueue<Task> workQueue = new ConcurrentLinkedQueue<Task>();  
      
    //2 需要有一个盛放worker的集合  
    private HashMap<String, Thread> workers = new HashMap<String, Thread>();  
      
    //3 需要有一个盛放每一个worker执行任务的结果集合  
    private ConcurrentHashMap<String, Object> resultMap = new ConcurrentHashMap<String, Object>();  
      
    //4 构造方法  
    public Master(Worker worker , int workerCount)\{  
        worker.setWorkQueue(this.workQueue);  
        worker.setResultMap(this.resultMap);  
          
        for(int i = 0; i < workerCount; i ++)\{  
            this.workers.put(Integer.toString(i), new Thread(worker));  
        \}  
          
    \}  
      
    //5 需要一个提交任务的方法  
    public void submit(Task task)\{  
        this.workQueue.add(task);  
    \}  
      
    //6 需要有一个执行的方法，启动所有的worker方法去执行任务  
    public void execute()\{  
        for(Map.Entry<String, Thread> me : workers.entrySet())\{  
            me.getValue().start();  
        \}  
    \}  
   
    //7 判断是否运行结束的方法  
    public boolean isComplete() \{  
        for(Map.Entry<String, Thread> me : workers.entrySet())\{  
            if(me.getValue().getState() != Thread.State.TERMINATED)\{  
                return false;  
            \}  
        \}          
        return true;  
    \}  
   
    //8 计算结果方法  
    public int getResult() \{  
        int priceResult = 0;  
        for(Map.Entry<String, Object> me : resultMap.entrySet())\{  
            priceResult += (Integer)me.getValue();  
        \}  
        return priceResult;  
    \}  
\}  
Task.java  
public class Task \{  
   
    private int id;  
    private int price ;  
    public int getId() \{  
        return id;  
    \}  
    public void setId(int id) \{  
        this.id = id;  
    \}  
    public int getPrice() \{  
        return price;  
    \}  
    public void setPrice(int price) \{  
        this.price = price;  
    \}   
      
\}  
Worker.java  
import java.util.concurrent.ConcurrentHashMap;  
import java.util.concurrent.ConcurrentLinkedQueue;  
   
public class Worker implements Runnable \{  
   
    private ConcurrentLinkedQueue<Task> workQueue;  
    private ConcurrentHashMap<String, Object> resultMap;  
      
    public void setWorkQueue(ConcurrentLinkedQueue<Task> workQueue) \{  
        this.workQueue = workQueue;  
    \}  
   
    public void setResultMap(ConcurrentHashMap<String, Object> resultMap) \{  
        this.resultMap = resultMap;  
    \}  
      
    @Override  
    public void run() \{  
        while(true)\{  
            Task input = this.workQueue.poll();//获取并移除队列的头元素  
            if(input == null) break;  
            Object output = MyWorker.handle(input);  
            this.resultMap.put(Integer.toString(input.getId()), output);  
        \}  
    \}  
   
    /\*private Object handle(Task input) \{  
        Object output = null;  
        try \{  
            //处理任务的耗时。。 比如说进行操作数据库。。。  
            Thread.sleep(500);  
            output = input.getPrice();  
        \} catch (InterruptedException e) \{  
            e.printStackTrace();  
        \}  
        return output;  
    \}\*/  
      
    private static Object handle(Task input) \{  
          
        return null;  
    \}  
\}  
MyWorker.java  
import test.Worker;  
   
public class MyWorker extends Worker\{  
      
    public static Object handle(Task input)\{  
        Object output = null;  
        try \{  
            //处理任务的耗时。。 比如说进行操作数据库。。。  
            Thread.sleep(500);  
            output = input.getPrice();  
        \} catch (InterruptedException e) \{  
            e.printStackTrace();  
        \}  
        return output;  
    \}  
\}  
Eclipse的console输出：

生产者-消费者

生产者-消费者也是一个非常经典的多线程模式，我们在实际开发中应用非常广泛的的思想理念。在生产者-消费者模式中：通常有两类线程，即若干个生产者的线程和若干个消费者的线程。生产者线程负责提交用户请求，消费者线程负责具体处理生产者提交的任务，在生产者和消费者之间通过共享内存缓存区进行通信。

Main.java

import java.util.concurrent.BlockingQueue;  
import java.util.concurrent.ExecutorService;  
import java.util.concurrent.Executors;  
import java.util.concurrent.LinkedBlockingQueue;  
   
public class Main \{  
   
    public static void main(String\[\] args) throws Exception \{  
        //内存缓冲区，生产者和消费者都需要拥有内存缓冲区的引用  
        BlockingQueue<Data> queue = new LinkedBlockingQueue<Data>(10);  
        //生产者  
        Provider p1 = new Provider(queue);  
        Provider p2 = new Provider(queue);  
        Provider p3 = new Provider(queue);  
        //消费者  
        Consumer c1 = new Consumer(queue);  
        Consumer c2 = new Consumer(queue);  
        Consumer c3 = new Consumer(queue);  
          
        //创建线程池运行,这是一个缓存的线程池，可以创建无穷大的线程，没有任务的时候不创建线程。空闲线程存活时间为60s（默认值）  
        ExecutorService cachePool = Executors.newCachedThreadPool();  
        //将3个生产者、3个消费者交给线程池去执行，线程池会分配线程去执行这些生产者、消费者的任务  
        cachePool.execute(p1);//execute方法的参数为实现了Runnable接口的类的对象  
        cachePool.execute(p2);  
        cachePool.execute(p3);  
        cachePool.execute(c1);  
        cachePool.execute(c2);  
        cachePool.execute(c3);  
   
        try \{  
            Thread.sleep(3000);  
        \} catch (InterruptedException e) \{  
            e.printStackTrace();  
        \}  
        p1.stop();  
        p2.stop();  
        p3.stop();  
        try \{  
            Thread.sleep(2000);  
        \} catch (InterruptedException e) \{  
            e.printStackTrace();  
        \}          
//        cachePool.shutdown();   
//        cachePool.shutdownNow();  
    \}  
      
\}  
Provider.java  
import java.util.Random;  
import java.util.concurrent.BlockingQueue;  
import java.util.concurrent.TimeUnit;  
import java.util.concurrent.atomic.AtomicInteger;  
   
public class Provider implements Runnable\{  
    //共享缓存区  
    private BlockingQueue<Data> queue;  
    //多线程间是否启动变量，有强制从主内存中刷新的功能。即时返回线程的状态  
    private volatile boolean isRunning = true;  
    //id生成器  
    private static AtomicInteger count = new AtomicInteger();  
    //随机对象  
    private static Random r = new Random();   
      
    public Provider(BlockingQueue queue)\{  
        this.queue = queue;  
    \}  
   
    @Override  
    public void run() \{  
        while(isRunning)\{  
            try \{  
                //随机休眠0 - 1000 毫秒 表示获取数据(产生数据的耗时)   
                Thread.sleep(r.nextInt(1000));  
                //获取的数据进行累计...  
                int id = count.incrementAndGet();  
                //比如通过一个getData方法获取了  
                Data data = new Data(Integer.toString(id), "数据" + id);  
                System.out.println("当前线程:" + Thread.currentThread().getName() + ", 获取了数据，id为:" + id + ", 进行装载到公共缓冲区中...");  
                if(!this.queue.offer(data, 2, TimeUnit.SECONDS))\{  
                    System.out.println("提交缓冲区数据失败....");  
                    //do something... 比如重新提交  
                \}  
            \} catch (InterruptedException e) \{  
                e.printStackTrace();  
            \}  
        \}  
    \}  
      
    public void stop()\{  
        this.isRunning = false;  
    \}  
      
\}  
Data.java  
public final class Data \{  
   
    private String id;  
    private String name;  
      
    public Data(String id, String name)\{  
        this.id = id;  
        this.name = name;  
    \}  
      
    public String getId() \{  
        return id;  
    \}  
   
    public void setId(String id) \{  
        this.id = id;  
    \}  
   
    public String getName() \{  
        return name;  
    \}  
   
    public void setName(String name) \{  
        this.name = name;  
    \}  
   
    @Override  
    public String toString()\{  
        return "\{id: " + id + ", name: " + name + "\}";  
    \}  
      
\}  
Consumer.java  
import java.util.Random;  
import java.util.concurrent.BlockingQueue;  
import java.util.concurrent.TimeUnit;  
   
public class Consumer implements Runnable\{  
   
    private BlockingQueue<Data> queue;  
      
    public Consumer(BlockingQueue queue)\{  
        this.queue = queue;  
    \}  
      
    //随机对象  
    private static Random r = new Random();   
   
    @Override  
    public void run() \{  
        while(true)\{  
            try \{  
                //获取数据  
                Data data = this.queue.take();  
                //进行数据处理。休眠0 - 1000毫秒模拟耗时  
                Thread.sleep(r.nextInt(1000));  
                System.out.println("当前消费线程：" + Thread.currentThread().getName() + "， 消费成功，消费数据为id: " + data.getId());  
            \} catch (InterruptedException e) \{  
                e.printStackTrace();  
            \}  
        \}  
    \}  
\}  
Eclipse的console中输出：

原文：https://blog.csdn.net/qiushisoftware/article/details/79139690

[www.itkc8.com]: http://www.itkc8.com