Java NIO的理解

灰太狼 2022-10-16 01:57 110阅读 0赞

# 概述 #

Java的NIO是一种的新的Java io机制。这里的`NIO`就是`New IO`，而不是`Not blocking(非阻塞i)`的IO。与传统的Java IO不一样的是，NIO提供了非阻塞状态的IO操作，但是，并不是所有的NIO都是可以非阻塞的，比如NIO中文件流的相关API就是阻塞状态的。

可以认为JavaNIO的操作，只需一个线程，就可以具备处理多个数据流的能力。这点类似Linux系统上的多路IO复用技术，比如redis的实现就是利用了linux的该技术。

Java NIO 由以下几个核心部分组成：

*  Buffers
 *  Channels
 *  Selectors

这三个组件是Java NIO最核心的组件。虽然Java NIO 中除此之外还有很多类和组件，其它组件，如Pipe和FileLock，只不过是与三个核心组件共同使用的工具类。所以先来好好研究下这三个核心组件。

# Buffer #

Buffer用于和NIO通道进行交互，即Buffer的数据从channel中来，也可以到channel中去。

Buffer其实就可以看作是一块内存，Java NIO其实就是封装了该内存，然后提供了Buffer的各种API操作。

比如：既然是内存，那么肯定就需要指定的大小来分配内存：

//表示分配了一块32字节代下的Buffer
    ByteBuffer byteBuffer = ByteBuffer.allocate(32);

`ByteBuffer`只是Java NIO中`Buffer`的一种类型，可以认为这块内存用来放字节的类型。其他的Buffer类型还有: （根据类名，顾名思义，就能知道其作用）

*  ByteBuffer
 *  MappedByteBuffer
 *  CharBuffer
 *  DoubleBuffer
 *  FloatBuffer
 *  IntBuffer
 *  LongBuffer
 *  ShortBuffer

## buffer的读写 ##

Buffer的独写一般遵循如下四个步骤：

1.  写入数据到Buffer
2.  调用flip()方法
3.  从Buffer中读取数据
4.  调用clear()方法或者compact()方法

当向buffer写入数据时，buffer会记录下写了多少数据。一旦要读取数据，需要通过flip()方法将Buffer从写模式切换到读模式。在读模式下，可以读取之前写入到buffer的所有数据。

比如：

ByteBuffer byteBuffer = ByteBuffer.allocate(32);//指定内存大小
    byteBuffer.put("abc".getBytes()); //使用put方法往Buffer里放数据
    byteBuffer.flip(); //filp切换读模式
    //读取buffer的数据，
    System.out.println(new String(byteBuffer.array()));
    //把这块内存清空
    byteBuffer.clear();

如上，最简单的写入读取操作，当然实际的buffer都是跟channel进行交互。

## capacity,position和limit ##

在上面的方法中，可以看到，在进行读之前，调用了`flip()`方法。flip方法将Buffer从写模式切换到读模式。调用flip()方法会将position设回0，并将limit设置成之前position的值。

换句话说，position现在用于标记读的位置，limit表示之前写进了多少个byte、char等 —— 现在能读取多少个byte、char等。

buffer三个属性主要属性：

*  position ： 表示数据写、读到哪个位置了
 *  limit ：表示已经能写、能读了多少数据
 *  capacity ：表示最多能写多少数据。也就是Buffer的容量大小

读写模式的说明可见下图：  
![c9f8828dbfd5c2f3f248eb8a9e693ec2.png][]

capacity是对于buffer来说是一个固定值，你只能往里写capacity个byte、long，char等类型。一旦Buffer满了，需要将其清空（通过读数据或者清除数据）才能继续写数据往里写数据。

*  写模式下：  
    limit和capacity的值是一样的，每当数据写入时，position就移动到下一个可插入数据的单元中。
 *  读模式下：  
    写模式需要手动调用flip方法后才可以进行读。此时limit就是读模式下position的大小，position就重置为0，当从Buffer的position处读取数据时，position向前移动到下一个可读的位置。

# Channel #

Channel（通道）类似流，但又有些不同：

*  既可以从通道中读取数据，又可以写数据到通道。但流的读写通常是单向的。
 *  通道可以异步地读写。
 *  通道中的数据总是要先读到一个Buffer，或者总是要从一个Buffer中写入。

## Channel的实现 ##

这些是Java NIO中最重要的通道的实现：

*  FileChannel 从文件中读写数据
 *  DatagramChannel 能通过UDP读写网络中的数据。
 *  SocketChannel 能通过TCP读写网络中的数据。
 *  ServerSocketChannel可以监听新进来的TCP连接，像Web服务器那样。对每一个新进来的连接都会创建一个SocketChannel。

比如使用FileChannel将Buffer里的数据写入到文件中去:

@Test
    public void testFileChannel() throws IOException { 
        String str2Write = "hello world"; //要将这个字符串
        String targetFilePath = "D:\\my-target.log"; //要写入到这个文件
        FileOutputStream fileOutputStream = new FileOutputStream(targetFilePath);
        //通过文件流打开channel
        FileChannel fileChannel = fileOutputStream.getChannel();
        
        //字节Buffer，缓存要写入的字符串
        ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
        byteBuffer.put(str2Write.getBytes());
        
        byteBuffer.flip(); //开启读模式
        int write = fileChannel.write(byteBuffer); //将buffer的数据写入channel中，也就是写入到文件里
        System.out.println(write);
        fileChannel.close();
        fileOutputStream.close();
    
    }

上述是Channel与Buffer的交互，也可以直接Channel跟Channel交互，直接将一个Channel的数据全部写到另一个Channel中去，通过`transferFrom`或`transferTo`方法，比如：

@Test
    public void testtransfer() throws IOException { 
        RandomAccessFile from = new RandomAccessFile("D:\\mbb-target.log", "rw");
        RandomAccessFile to = new RandomAccessFile("D:\\mbb-target-new.log", "rw");
        FileChannel fromChannel = from.getChannel();
        FileChannel toChannel = to.getChannel();
        fromChannel.transferTo(0,fromChannel.size(),toChannel);
    }

# Selector #

Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为诸如读写事件做好准备的组件。这样，一个单独的线程通过Selector可以管理多个channel，从而管理多个网络连接。

![ed280b6c611f75b3c470c998ac897f32.png][]

## 基本使用 ##

直接使用Selector.open()方法即可创建一个Selector：

Selector selector = Selector.open();

Selector创建后会一直保持打开的状态，除非调用其close方法。

为了将Channel和Selector配合使用，必须将channel注册到selector上。通过SelectableChannel.register()方法来实现，如下：

channel.configureBlocking(false);
    SelectionKey key = channel.register(selector,Selectionkey.OP_READ);

与Selector一起使用时，Channel必须处于非阻塞模式下。这意味着不能将FileChannel与Selector一起使用，因为FileChannel不能切换到非阻塞模式。而套接字通道都可以。

注意register()方法的第二个参数。这是一个“interest集合”，意思是在通过Selector监听Channel时对什么事件感兴趣。可以监听四种不同类型的事件：

*  Connect
 *  Accept
 *  Read
 *  Write  
    通道触发了一个事件意思是该事件已经就绪。所以，某个channel成功连接到另一个服务器称为“连接就绪”。一个server socket channel准备好接收新进入的连接称为“接收就绪”。一个有数据可读的通道可以说是“读就绪”。等待写数据的通道可以说是“写就绪”。

这四种事件用SelectionKey的四个常量来表示：

SelectionKey.OP\_CONNECT  
SelectionKey.OP\_ACCEPT  
SelectionKey.OP\_READ  
SelectionKey.OP\_WRITE  
如果对不止一种事件感兴趣，那么可以用“位或”操作符将常量连接起来，如下：

int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE;

## SelectionKey ##

在上面，当向Selector注册Channel时，register()方法会返回一个SelectionKey对象。这个对象包含了一些你感兴趣的属性：

*  interest集合: 是你所选择的感兴趣的事件集合
 *  ready集合 ： 是通道已经准备就绪的操作的集合
 *  Channel
 *  Selector
 *  attachment 附加的对象（可选）:可以将一个对象或者更多信息附着到SelectionKey上，这样就能方便的识别某个给定的通道  
    下面我会描述这些属性。

## 通过Selector选择通道 ##

一旦向Selector注册了一或多个通道，就可以调用几个重载的select()方法。这些方法返回你所感兴趣的事件（如连接、接受、读或写）已经准备就绪的那些通道。换句话说，如果你对“读就绪”的通道感兴趣，select()方法会返回读事件已经就绪的那些通道。

下面是select()方法：

int select()  
int select(long timeout)  
int selectNow()  
select()阻塞到至少有一个通道在你注册的事件上就绪了。

select(long timeout)和select()一样，除了最长会阻塞timeout毫秒(参数)。

selectNow()不会阻塞，不管什么通道就绪都立刻返回（译者注：此方法执行非阻塞的选择操作。如果自从前一次选择操作后，没有通道变成可选择的，则此方法直接返回零。）。

select()方法返回的int值表示有多少通道已经就绪。亦即，自上次调用select()方法后有多少通道变成就绪状态。如果调用select()方法，因为有一个通道变成就绪状态，返回了1，若再次调用select()方法，如果另一个通道就绪了，它会再次返回1。如果对第一个就绪的channel没有做任何操作，现在就有两个就绪的通道，但在每次select()方法调用之间，只有一个通道就绪了。

**selectedKeys()**

一旦调用了select()方法，并且返回值表明有一个或更多个通道就绪了，然后可以通过调用selector的selectedKeys()方法，访问“已选择键集（selected key set）”中的就绪通道。如下所示：

Set selectedKeys = selector.selectedKeys();  
当像Selector注册Channel时，Channel.register()方法会返回一个SelectionKey 对象。这个对象代表了注册到该Selector的通道。可以通过SelectionKey的selectedKeySet()方法访问这些对象。

可以遍历这个已选择的键集合来访问就绪的通道。如下：

Set selectedKeys = selector.selectedKeys();
        Iterator keyIterator = selectedKeys.iterator();
        while(keyIterator.hasNext()) { 
            SelectionKey key = keyIterator.next();
            if(key.isAcceptable()) { 
                // a connection was accepted by a ServerSocketChannel.
            } else if (key.isConnectable()) { 
                // a connection was established with a remote server.
            } else if (key.isReadable()) { 
                // a channel is ready for reading
            } else if (key.isWritable()) { 
                // a channel is ready for writing
            }
            keyIterator.remove();
        }

这个循环遍历已选择键集中的每个键，并检测各个键所对应的通道的就绪事件。

注意每次迭代末尾的keyIterator.remove()调用。Selector不会自己从已选择键集中移除SelectionKey实例。必须在处理完通道时自己移除。下次该通道变成就绪时，Selector会再次将其放入已选择键集中。

SelectionKey.channel()方法返回的通道需要转型成你要处理的类型，如ServerSocketChannel或SocketChannel等。

**wakeUp()**  
某个线程调用select()方法后阻塞了，即使没有通道已经就绪，也有办法让其从select()方法返回。只要让其它线程在第一个线程调用select()方法的那个对象上调用Selector.wakeup()方法即可。阻塞在select()方法上的线程会立马返回。

如果有其它线程调用了wakeup()方法，但当前没有线程阻塞在select()方法上，下个调用select()方法的线程会立即“醒来（wake up）”。

# 一个简单的cs实现 #

首先，搭建一个服务器，负责向接收客户端请求，返回数据。

@Test
    public void test_server() throws IOException, InterruptedException { 
        Selector selector = Selector.open();
    
        ServerSocketChannel channel = ServerSocketChannel.open();
        //指定服务端启动的端口
        channel.socket().bind(new InetSocketAddress(9999));
        channel.configureBlocking(false);//非阻塞i
        channel.register(selector,SelectionKey.OP_ACCEPT);
    
        while (true){ 
            int select = selector.select();
            if (select==0) continue;
    
            Set<SelectionKey> set = selector.selectedKeys();
            Iterator<SelectionKey> iterator = set.iterator();
            while (iterator.hasNext()){ 
                SelectionKey key = iterator.next();
                if (key.isAcceptable()){ 
                    //此时是ServerSocketChannel，直接获取客户端channel
                    SocketChannel socketChannel = channel.accept();
                    socketChannel.configureBlocking(false);
                    //设置客户端的channel 为write
                    socketChannel.register(selector,SelectionKey.OP_WRITE);
                } else if (key.isReadable()){ 
    
                }else  if (key.isWritable()){ 
                //接收SocketChannel的write请求，开始给客户端写数据
                    SocketChannel selectableChannel = (SocketChannel) key.channel();
                    ByteBuffer byteBuffer = ByteBuffer.allocate(32);
                    byteBuffer.put("hello world!!!".getBytes());
                    byteBuffer.flip();
                    selectableChannel.write(byteBuffer);
                    selectableChannel.close();
                }else if (key.isConnectable()){ 
    
                }
                iterator.remove();
            }
            Thread.sleep(1000);
        }
    
    }

启动服务端。

然后再来搭建一个客户端，读取从服务器传来的数据。

@Test
    public void test_client() throws IOException { 
        SocketChannel socketChannel = SocketChannel.open();
        socketChannel.connect(new InetSocketAddress(9999));
        ByteBuffer byteBuffer = ByteBuffer.allocate(32);
        socketChannel.read(byteBuffer);
        byteBuffer.flip();
        System.out.println("from server data is :"+new String(byteBuffer.array()));
    }

最后运行客户端，就可以看到

from server data is :hello world!!!

# 参考 #

[《Java 与 NIO》http://topjava.cn/article/1389525243600703488][Java _ NIO_http_topjava.cn_article_1389525243600703488]

[jenkov.《Java NIO》:(http://tutorials.jenkov.com/java-nio/index.html][jenkov._Java NIO_http_tutorials.jenkov.com_java-nio_index.html]

[极客时间.《 高性能IO模型：为什么单线程Redis能那么快？》:https://time.geekbang.org/column/article/270474][._ _IO_Redis_https_time.geekbang.org_column_article_270474]

[c9f8828dbfd5c2f3f248eb8a9e693ec2.png]: /images/20221014/aa375e90020948b5a370cf148dd3e72e.png
[ed280b6c611f75b3c470c998ac897f32.png]: /images/20221014/ab6de0580373457cb0fa022a2ad33c57.png
[Java _ NIO_http_topjava.cn_article_1389525243600703488]: http://topjava.cn/article/1389525243600703488
[jenkov._Java NIO_http_tutorials.jenkov.com_java-nio_index.html]: http://tutorials.jenkov.com/java-nio/index.html
[._ _IO_Redis_https_time.geekbang.org_column_article_270474]: https://time.geekbang.org/column/article/270474