使用containerd搭建MinIO集群服务

概述

因为在云服务器上默认只有一块磁盘，如果直接在系统盘上安装MinIO，会被拒绝，所以这里采用containerd的方式绕过这一限制

操作环境

操作系统

CentOS 7.9

MinIO版本

RELEASE.2023-03-13T19-46-17Z

服务器host信息

192.168.10.1 minio1
192.168.10.2 minio2
192.168.10.3 minio3
192.168.10.4 minio4
192.168.10.5 nginxserver

部署说明

在RELEASE.2022-06-30T20-58-09Z版本之前，MinIO集群最少需要四个独立的驱动器，否则启动时会直接报错，提示以下信息Please provide an even number of endpoints greater or equal to 4

从RELEASE.2022-06-30T20-58-09Z版本开始支持在只有2个或者3个驱动器情况下启动MinIO服务，详情参见版本发布信息或者#15171

在MinIO集群中奇偶校验块的数量不能大于数据块的数量，也就是说MinIO集群的磁盘利用率最小为50%，即如果集群总的驱动器容量为2T，则至少可以存储1T的用户数据。

MinIO服务器在不超过一半的驱动器停止工作时仍能够正常提供服务，保证数据不丢失，并在故障节点再次上线时自动同步数据。

注意：当奇偶校验块的数量N等于数据块的数量时，如果有一半的驱动器停止工作，则只能读不能写，只有当有N+1个驱动器正常工作时才能进行写入操作。

更多纠删码的信息参见Erasure Coding

域名信息

注意：以下为假定的域名配置，实际部署时替换为自己的真实域名，并提供有效的证书信息

MinIO后台域名：console.minio.com

MinIO接口服务域名：api.minio.com

前提条件

首先要确保每台minio服务器上已经安装好了containerd组件，参见在Linux中安装containerd作为kubernetes的容器运行时

并且确保在nginxserver主机上安装了nginx，参见在CentOS中安装和使用nginx

安装

在每台机器上执行以下命令

注意：确保各个minio服务器之间的防火墙上已经开放了9000与9001的内网访问权限

其中MINIO_ROOT_USER与MINIO_ROOT_PASSWORD分别时MinIO后台访问的账号密码，请自行替换并妥善保管

环境变量MINIO_SERVER_URL的值会影响共享文件的链接地址，并且会参与签名计算

mkdir /miniodisk

MINIO_ROOT_USER=minio_admin
MINIO_ROOT_PASSWORD=minio_admin_password
MINIO_VERSION=RELEASE.2023-03-13T19-46-17Z
MINIO_CONTAINER=minio-server

ctr run --net-host -d \
  --env=MINIO_ROOT_USER=$MINIO_ROOT_USER \
  --env=MINIO_ROOT_PASSWORD=$MINIO_ROOT_PASSWORD \
  --env=MINIO_SERVER_URL=https://api.minio.com \
  --mount=type=bind,src=/miniodisk,dst=/data,options=rbind:rw docker.io/minio/minio:$MINIO_VERSION \
  $MINIO_CONTAINER minio server \
  http://minio1:9000/data \
  http://minio2:9000/data \
  http://minio3:9000/data \
  http://minio4:9000/data \
  --console-address ":9001"

此时，我们的MinIO集群已经搭建成功了

配置nginx

1、因为MinIO后台使用了WebSocket技术，需要在nginx上配置Upgrade、Connection等请求头来支持WebSocket的转发，参见MinIO官方nginx示例与WebSocket proxying

2、在nginx上使用301强制将http请求重定向到https地址，保证访问的数据安全

3、修改client_max_body_size默认允许上传的文件大小限制，默认值是1M，如果上传大文件时会被阻止

4、将ssl_certificate和ssl_certificate_key指定为你自己的证书文件路径

以上操作需要修改/etc/nginx/nginx.conf文件，新增以下配置信息

http {
    # 调大客户端请求体的大小限制，便于MinIO上传大文件
    client_max_body_size 10M;

    # websocket
    map $http_upgrade $connection_upgrade {
        default upgrade;
        ''      close;
    }

     upstream minioapi {
      server minio1:9000;
      server minio2:9000;
      server minio3:9000;
      server minio4:9000;
     }

     upstream minioconsole {
      server minio1:9001;
      server minio2:9001;
      server minio3:9001;
      server minio4:9001;
     }
     
    server {
       listen     80;
       server_name  console.minio.com api.minio.com;
       access_log  /var/log/nginx/http_access.log  main;
       return 301 https://$host$request_uri;
    }

    server {
       listen       443 ssl http2;
       listen       [::]:443 ssl http2;
       server_name  api.minio.com;

       ssl_certificate "/etc/nginx/ssl_cert/api.minio.com.pem";
       ssl_certificate_key "/etc/nginx/ssl_cert/api.minio.com.key";
       ssl_session_cache shared:SSL:1m;
       ssl_session_timeout  10m;
       ssl_ciphers HIGH:!aNULL:!MD5;
       ssl_prefer_server_ciphers on;

       access_log  /var/log/nginx/api_minio_com_access.log  main;
       location / {
           proxy_pass http://minioapi/;
           proxy_set_header Host $http_host;
           proxy_set_header X-Real-IP $remote_addr;
           proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
           proxy_set_header X-Forwarded-Proto $scheme;
           proxy_http_version 1.1;
        }
    }

    server {
       listen       443 ssl http2;
       listen       [::]:443 ssl http2;
       server_name  console.minio.com;

       ssl_certificate "/etc/nginx/ssl_cert/console.minio.com.pem";
       ssl_certificate_key "/etc/nginx/ssl_cert/console.minio.com.key";
       ssl_session_cache shared:SSL:1m;
       ssl_session_timeout  10m;
       ssl_ciphers HIGH:!aNULL:!MD5;
       ssl_prefer_server_ciphers on;

       access_log  /var/log/nginx/console_minio_com_access.log  main;
       location / {
           proxy_pass http://minioconsole/;
           proxy_set_header Host $http_host;
           proxy_set_header X-Real-IP $remote_addr;
           proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
           proxy_set_header X-Forwarded-Proto $scheme;
           proxy_http_version 1.1;
           proxy_set_header Upgrade $http_upgrade;
           proxy_set_header Connection $connection_upgrade;
        }
    }
}

配置文件修改完毕之后，重启nginx，使配置生效

systemctl restart nginx

配置完成，确保nginxserver服务器开放了80与443端口外网访问权限，并且设置好了域名解析后，我们就可以通过https://console.minio.com访问MinIO后台了