12. 测试搭建百万并发项目

本文利用四台虚拟机，实现了百万并发的项目，并解决其中遇到的一些问题

一、百万并发项目

准备4个虚拟机，其中一个4G内存，2核CPU；另外三个2G内存，1核CPU。

在服务器中运行11节的代码，客户端中运行mul_port_client_epoll.c代码。

二、问题与解决

1、Connection refused ——出现服务器不允许链接的错误

这是因为在Linux系统中，每个进程都有一些打开的文件（open files），而文件系统默认每个进程默认最多可以打开fd（File Descriptor）=1024个文件描述符。可以通过命令ulimit -a进程查看

通过命令sudo vim /etc/security/limits.conf，可修改open files最大个数。在limits.conf文件末尾添加如下命令，指定了所有用户在系统中可以同时打开的最大文件数量为 1048576。

*       hard    nofile  1048576
*       soft    nofile  1048576
1
2

修改后输入命令sudo reboot，进行重启。

2、connect: Cannot assign requested address ；error: Cannot assign requested address

在计算机网络中，Socket（套接字）是应用程序与网络之间的接口。它提供了一种通信机制，使得运行在不同主机上的应用程序可以互相发送和接收数据。
一个 Socket 由 IP 地址、协议类型和端口号三部分组成。其中，IP 地址指定了目标主机的地址；协议类型指定了要使用的传输层协议，如 TCP 或 UDP；而端口号则表示应用程序所使用的特定服务或进程。
当一个 Socket 发送数据时，它将数据包添加到网络层协议中，并通过 IP 地址找到目标主机。一旦到达目标主机后，在传输层上根据端口号找到对应的应用程序，并将数据包交给该程序处理。类似地，在接收数据时，Socket 需要指定本地 IP 和端口号以便正确地处理来自其他主机发来的数据。
出现“无法分配请求的地址”的错误，是因为在目标主机IP、远程端口号、本机IP以及协议确定时，出现本机端口号被耗尽的情况。这种情况通常会发生在客户端同时请求大量数据或者建立大量连接时，但服务器没有足够的资源来处理这些请求。
解决办法是：一个服务器监听多个端口，修改代码放在后面，监听100个端口（原来是一个）。

3、connect: Connection timed out error ；error: Connection timed out error

fd的个数与fd的最大值有以下区别：

• fd的个数指当前进程已经打开并正在使用的文件描述符数量。
• fd的最大值指当前进程可以同时打开并使用的最大文件描述符数量。

可以通过命令cat \proc\sys\fs\file-max查看fd的个数（本例结果为1048576）
通过命令cat /proc/sys/net/netfilter/nf_conntrack_max查看fd的最大数（本例结果为65536）
因此需要修改客户端fd的最大数，通过命令sudo vim /etc/sysctl.conf，添加以下命令

fs.file-max=1048576
net.nf_conntrack_max=1048576
1
2

输入命令sudo sysctl -p应用新的配置

4、Cannot open /proc/meminfo: Too many open files in system

与问题3一样，修改服务器的file-max

5、sysctl: cannot stat /proc/sys/net/nf_conntrack_max: No such file or directory

输入命令sudo modprobe ip_conntrack

6、内存回收

复制会话，输入命令htop

业务中CPU和内存消耗最好不要超过80%。因此需要优化TCP协议栈，通过命令sudo vim /etc/sysctl.conf，添加以下命令

net.ipv4.tcp_mem = 252144 524288 786432
net.ipv4.tcp_wmem = 1024 1024 2048
net.ipv4.tcp_rmem = 1024 1024 2048
1
2
3

输入命令sudo sysctl -p应用新的配置。

这是Linux系统中的TCP参数设置，具体含义如下：

• net.ipv4.tcp_mem: 这个参数定义了 TCP 协议栈所使用的内存总量。它由三个数字组成，分别表示：最小值、默认值和最大值（单位为页面大小）。在这个例子中，其值为 252144 524288 786432。
• net.ipv4.tcp_wmem: 这个参数定义了发送缓冲区的大小。它由三个数字组成，分别表示：最小值、默认值和最大值（单位为字节）。在这个例子中，其值为 1024 1024 2048。
• net.ipv4.tcp_rmem: 这个参数定义了接收缓冲区的大小。它由三个数字组成，分别表示：最小值、默认值和最大值（单位为字节）。在这个例子中，其值为 1024 1024 2048。
  说明：

以上这些参数都是 TCP/IP 协议栈所使用的参数。其中 tcp_mem 参数控制着协议栈所使用的内存总量；tcp_wmem 和 tcp_rmem 参数则控制着发送缓冲区和接收缓冲区的大小。

三、代码

#include 
#include 
#include 
#include 


#include 
#include 
#include 
#include 
#include  
#include  
#include 


#define BUFFER_LENGTH       1024
#define EPOLL_SIZE          1024

#define MAX_PORT            100


int islistenfd(int fd,int *fds){
    int i=0;
    for (i=0;i<MAX_PORT;i++){
        if(fd==*(fds+i)) return fd;
    }
    return 0;
}



int main(int argc,char *argv[]){
    if (argc < 2) {
        printf("Param Error \n");
        return -1;
    }

    int port=atoi(argv[1]);//开始的端口
    int sockfds[MAX_PORT]={0};  //lisiten fd
     int epfd=epoll_create(1); 

    int i=0;
    for(i=0;i<MAX_PORT;i++){

        int sockfd=socket(AF_INET,SOCK_STREAM,0);

        struct sockaddr_in addr;
        memset(&addr,0,sizeof(struct sockaddr_in));
        addr.sin_family=AF_INET;
        addr.sin_port=htons(port+i); //8888 --->  8889  ---->  8890 ----> ....
        addr.sin_addr.s_addr=INADDR_ANY;

        if (bind(sockfd,(struct sockaddr*)&addr,sizeof(struct sockaddr_in))<0){
            perror("bind");
            return -2;
        }

        if(listen(sockfd,5)<0){
            perror("listen");
            return -3;
        }
        printf("tcp server listen on port : %d\n", port + i);

        struct epoll_event ev;  
        ev.events=EPOLLIN;  
        ev.data.fd = sockfd;
        epoll_ctl(epfd,EPOLL_CTL_ADD,sockfd,&ev);  

        sockfds[i]=sockfd;
    }
     
    struct epoll_event events[EPOLL_SIZE] = {0};    //创建一个结构体数组 events 用于存储 epoll_wait() 返回的事件列表。
    
    
    while (1){
        int nready=epoll_wait(epfd,events,EPOLL_SIZE,5); //
        if (nready == -1) continue; //表示5秒内，没有事件，继续监听

        int i=0;
        for (i=0;i<nready;i++){
            int sockfd=islistenfd(events[i].data.fd ,sockfds);
            if(sockfd){
                struct sockaddr_in client_addr;
                memset(&client_addr,0,sizeof(struct sockaddr_in));
                socklen_t client_len =sizeof(client_addr);

                int clientfd=accept(sockfd,(struct sockaddr *)&client_addr,&client_len);

                fcntl(clientfd,F_SETFL,O_NONBLOCK);

                int reuse=1;
                setsockopt(clientfd, SOL_SOCKET, SO_REUSEADDR, (char *)&reuse, sizeof(reuse));

                struct epoll_event ev;
                ev.events=EPOLLIN | EPOLLET;  //EPOLLET 则表示将 I/O 事件设置为边缘触发模式。
                ev.data.fd=clientfd;
                epoll_ctl(epfd,EPOLL_CTL_ADD,clientfd,&ev);
            }
            else{
                //当某个客户端套接字上出现可读事件时（即该文件描述符在 events 中对应的元素有 EPOLLIN 标志），则调用 recv() 函数从该套接字中读取数据
                int clientfd=events[i].data.fd;
                
                char buffer[BUFFER_LENGTH]={0};
                int len=recv(clientfd,buffer,BUFFER_LENGTH,0);

                if (len < 0){//出现了异常情况或者非阻塞状态下没有更多数据可读
                    //关闭该套接字并将其从 epoll 实例中删除
                    close(clientfd);

                    struct epoll_event ev;
                    ev.events=EPOLLIN;  
                    ev.data.fd=clientfd;
                    epoll_ctl(epfd,EPOLL_CTL_DEL,clientfd,&ev); //从 epoll 实例中删除 clientfd 对应的文件描述符，并且停止监听该套接字上的事件。
                }
                else if(len == 0) {//对方已经断开连接
                    //关闭该套接字并将其从 epoll 实例中删除
                    close(clientfd);

                    struct epoll_event ev;
                    ev.events=EPOLLIN;  
                    ev.data.fd=clientfd;
                    epoll_ctl(epfd,EPOLL_CTL_DEL,clientfd,&ev);
                }
                else{
                    printf("Recv: %s, %d byte(s), clientfd: %d\n", buffer, len, clientfd);
                }

            }
        }
    }



    return 0;
}



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139