自学Python 61 使用select模块实现多路I/O复用

Python 使用select模块实现多路I/O复用

---

---

  I/O多路复用,是指通过一种机制可以监视多个描述符(socket)，一旦某个描述符就绪(一般是读就绪或者写就绪）,能够通知程序进行相应的读/写操作。在本节的内容中,将详细讲解使用 select模块实现多路I/O复用的知识。

---

一、select模块介绍

  在Python语言中，select模块专注于实现I/O多路复用功能,提供了 select()、poll()和epoll()三个功能方法。其中后两个方法在Linux 系统中可用，Windows仅支持sellect()方法,另外也提供了kqueue()方法供freeBSD系统使用。
  模块select在 Socket 编程中占据比较重要的地位。对于大多数初学Socket的人来说,不太喜欢用select模块写程序,只是习惯地编写诸如 connect、accept、recv或recvfrom之类的阻塞程序(所谓阻塞方式block，顾名思义,就是进程或是线程执行到这些函数时必须等待某个事件的发生,如果事件没有发生,进程或线程就被阻塞,函数不能立即返回)。
  在Python程序中，完全可以使用select实现非阻塞方式工作的程序,它能够监视我们需要监视的文件描述符的变化情况——读/写或是异常。所谓非阻塞方式non-block，就是进程或线程执行此函数时不必非要等待事件的发生,一旦执行肯定返回，以返回值的不同来反映函数的执行情况,如果事件发生则与阻塞方式相同，若事件没有发生，则返回一个代码来告知事件未发生,而进程或线程继续执行,所以效率较高。
  在select 模块中，核心功能方法是select()，其语法格式如下所示。

select.select(rlist, wlist, xlist[, timeout])
1

  其中前三个参数是“等待对象”的序列,使用名为 fileno()的无参数方法表示文件描述器或对象的整数返回这样一个整数:
 ● rlist: 等待准备读取。
 ● wlist: 等待准备写入。
 ●xlist: 等待“异常条件”。
 ● timeout: 将超时指定为浮点数，以秒为单位。当省略timeout参数时,该功能阻塞,直到至少一个文件描述器准备就绪。超时值零指定轮询并从不阻止。

  select方法用来监视文件描述符（当文件描述符条件不满足时, select 会阻塞),当某个文件描述符状态改变后，会返回返回值:三个列表，这是前三个参数的子集，具体说明如下所示:
  (1)当参数 rlist 序列中的 fd 满足“可读”条件时，则获取发生变化的 fd 并添加到 fd_r_list 中。
  (2)当参数 wlist 序列中含有 fd 时,则将该序列中所有的 fd 添加到 fd_w_list 中。
  (3)当参数 xlist 序列中的 fd 发生错误时,则将该发生错误的 fd 添加到 fd_e_list 中。
  (4)当超时时间 timeout 为空,则 select 会一直阻塞,直到监听的句柄发生变化。

  在下面的实例代码中,演示了使用select同时监听多个端口的过程。
  (1)首先看文件 duoser.py,实现了服务器端的功能,具体实现代码如下所示。

import socket
import select
sk1 = socket.socket()
sk1.bind(("127.0.0.1",8000))
sk1.listen()
sk2 = socket.socket()
sk2.bind(("127.0.0.1",8002))
sk2.listen()
sk3 = socket.socket()
sk3.bind(("127.0.0.1",8003))
sk3.listen()
li = [sk1,sk2,sk3]

while True:
    r_list,w_list,e_list = select.select(li,[],[],1)#list可变化的
    for line in r_list:
        conn,address = line.accept()
        conn.sendall(bytes("Hello World !",encoding="utf-8"))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

 ● select内部会自动监听 sk1、sk2和sk3三个对象，监听三个句柄是否发生变化,把发生变化的元素放入r_list中。
 ● 如果有人连接sk1,则r_list = [sk1];如果有人连接sk1和sk2,则r_list = [sk1,sk2]。
 ● select中第1个参数表示inputs中发生变化的句柄放入r_list。
 ● select中第2个参数表示[ ]中的值原封不动的传递给w_list。
 ● select中第3个参数表示inputs中发生错误的句柄放入e_list。
 ● 参数1表示1秒监听一次。
 ● 当有用户连接时，r_list里面的内容[]。
  (2)再看文件duocli.py和c2.py,实现了客户端的功能，实现代码非常简单，例如通过如下两段相似的代码建立两个端口的通信。

import socket
obj = socket.socket()
obj.connect(("127.0.0.1",8001))
content =str(obj.recv(1024),encoding='ut-8')
print(content)
obj.close()
1
2
3
4
5
6

#客户端c2.py
import socket
obj = socket.socket()
obj.connect(('127.0.0.1',8002))
content = str(obj.recv(1024),encoding='utf-8')
print(content)
obj.close()
1
2
3
4
5
6
7

  运行文件duocli.py，因为端口号8001和文件 duoser.py中的端口号没有匹配的，所以被拒绝，不能实现通信，结果如下。

  运行文件c2.py，因为端口号8002和文件 duoser.py中的sk2匹配，所以可以实现通信，结果如下。

二、 I/O 多路复用并实现读写分离

  在下面的实例代码中，演示了使用select模拟多线程并实现读写分离的过程。

  (1)首先看文件fenliser.py,实现了服务器端的功能，具体实现代码如下所示。

#使用socket模拟多线程，使多用户可以同时连接
import socket
import select
sk1 = socket.socket()
sk1.bind(('0.0.0.0', 8000))
sk1.listen()
inputs = [sk1,]
outputs = []
message_dict = {}
while True:
    r_list,w_list,e_list = select.select(inputs, outputs, inputs,1)
    print('正在监听的socket对象%d' %len(inputs))
    print(r_list)
    for sk1_or_conn in r_list:
        #每一个连接对象
        if sk1_or_conn == sk1:
            # 表示有新用户来连接
            conn,address = sk1_or_conn.accept()
            inputs.append(conn)
            message_dict[conn] = []
        else:
            #有老用户发消息了
            try:
                data_bytes = sk1_or_conn.recv(1024)
            except Exception as ex:
                #如果用户终止连接
                inputs.remove(sk1_or_conn)
            else:
                data_str = str(data_bytes,encoding='utf-8')
                message_dict[sk1_or_conn].append(data_str)
                outputs.append(sk1_or_conn)
    #w_list中仅仅保存了谁给我发过消息
    for conn in w_list:
        recv_str = message_dict[conn][0]
        del message_dict[conn][0]
        conn.sendall(bytes(recv_str+'好',encoding='utf-8'))
        outputs.remove(conn)
    for sk in e_list:
        inputs.remove(sk)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

(2）再看文件 fenlicli.py，实现了客户端的功能，具体实现代码如下所示。

import socket
obj = socket.socket()
obj.connect(('127.0.0.1',8000))
while True:
    inp = input('>>>')
    obj.sendall(bytes(inp,encoding='utf-8'))
    ret = str(obj.recv(1024),encoding='utf-8')
    print(ret)
obj.close()
1
2
3
4
5
6
7
8
9