• 高性能分布式对象存储——MinIO（环境部署）

    文章目录

    一、概述

    MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。

    官方文档：https://docs.min.io/
    中文文档：http://docs.minio.org.cn/docs/
    GitHub地址：https://github.com/minio/minio

    特点：

    • 数据保护——分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit rot。分布式Minio至少需要4个硬盘，使用分布式Minio自动引入了纠删码功能。

    • 高可用——单机Minio服务存在单点故障，相反，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。

    例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。

    【温馨提示】只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘，也可以使用4个节点，每个节点两块硬盘，诸如此类。

    • 一致性——Minio在分布式和单机模式下，所有读写操作都严格遵守read-after-write一致性模型。

    MinIO的优点如下：

    • 部署简单，一个二进制文件（minio）即是一切，还可以支持各种平台

    • 支持海量存储，可以按zone扩展，支持单个对象最大5TB

    • 低冗余且磁盘损坏高容忍，标准且最高的数据冗余系数为2(即存储一个1M的数据对象，实际占用磁盘空间为2M)。但在任意n/2块disk损坏的情况下依然可以读出数据(n为一个纠删码集合中的disk数量)。并且这种损坏恢复是基于单个对象的，而不是基于整个存储卷的

    • 读写性能优异

    二、MinIO 基础概念

    • S3——Simple Storage Service，简单存储服务，这个概念是Amazon在2006年推出的，对象存储就是从那个时候诞生的。S3提供了一个简单Web服务接口，可用于随时在Web上的任何位置存储和检索任何数量的数据。

    • Object——存储到 Minio 的基本对象，如文件、字节流，Anything…

    • Bucket——用来存储 Object 的逻辑空间。每个 Bucket 之间的数据是相互隔离的。

    • Drive——部署 Minio 时设置的磁盘，Minio 中所有的对象数据都会存储在 Drive 里。

    • Set——一组 Drive 的集合，分布式部署根据集群规模自动划分一个或多个 Set ，每个 Set 中的 Drive 分布在不同位置。

      • 一个对象存储在一个Set上
      • 一个集群划分为多个Set
      • 一个Set包含的Drive数量是固定的，默认由系统根据集群规模自动计算得出
      • 一个SET中的Drive尽可能分布在不同的节点上

    Set /Drive 的关系

    • Set /Drive 这两个概念是 MINIO 里面最重要的两个概念，一个对象最终是存储在 Set 上面的。

    • Set 是另外一个概念，Set 是一组 Drive 的集合，图中，所有蓝色、橙色背景的Drive（硬盘）的就组成了一个 Set。

    在这里插入图片描述

    三、纠删码（Erasure Code）

    纠删码（Erasure Code）简称EC，是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。

    • 纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的应用主要有三类，阵列纠删码（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。
    • Erasure Code是一种编码技术，它可以将n份原始数据，增加m份校验数据，并能通过n+m份中的任意n份原始数据，还原为原始数据。
    • 即如果有任意小于等于m份的校验数据失效，仍然能通过剩下的数据还原出来。
    • Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。
    • 在同一集群内，MinIO 自己会自动生成若干纠删组（Set），用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），通过纠删码校验算法可以恢复出正确的数据。

    四、MinIO 架构

    1）单主机，单硬盘模式

    在这里插入图片描述

    该模式下，Minio只在一台服务器上搭建服务，且数据都存在单块磁盘上，该模式存在单点风险，主要用作开发、测试等使用

    2）单主机，多硬盘模式

    在这里插入图片描述

    该模式下，Minio在一台服务器上搭建服务，但数据分散在多块（大于4块）磁盘上，提供了数据上的安全保障。

    3）多主机、多硬盘模式（分布式）

    在这里插入图片描述

    该模式是Minio服务最常用的架构，通过共享一个access_key和secret_key,在多台服务器上搭建服务，且数据分散在多块（大于4块，无上限）磁盘上，提供了较为强大的数据冗余机制（Reed-Solomon纠删码）。

    五、MinIO 环境部署（分布式）

    在这里插入图片描述

    1）环境准备

    主机名IPdata
    local-168-182-110192.168.182.110/opt/bigdata/minio/data/export{1,2,3,4}
    local-168-182-111192.168.182.111/opt/bigdata/minio/data/export{1,2,3,4}
    local-168-182-112192.168.182.112/opt/bigdata/minio/data/export{1,2,3,4}

    2）下载

    mkdir -p /opt/bigdata/minio ; cd /opt/bigdata/minio
# 下载rpm包进行部署
#wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20220802235916.0.0.x86_64.rpm -O minio.rpm
# yum -y install minio.rpm

# 下载二进制包部署
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x /opt/bigdata/minio
# 加在/etc/profile
export PATH=$PATH:/opt/bigdata/minio

minio --help

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12

    在这里插入图片描述

    3）每台新加四块磁盘

    # 不重启，直接刷新磁盘数据总线，获取新加的磁盘
for host in $(ls /sys/class/scsi_host) ; do echo "- - -" > /sys/class/scsi_host/$host/scan; done

lsblk

# 格式化
mkfs.ext4 /dev/sdb
mkfs.ext4 /dev/sdc
mkfs.ext4 /dev/sdd
mkfs.ext4 /dev/sde

# 挂载
mount /dev/sdb /opt/bigdata/minio/data/export1
mount /dev/sdc /opt/bigdata/minio/data/export2
mount /dev/sdd /opt/bigdata/minio/data/export3
mount /dev/sde /opt/bigdata/minio/data/export4

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16

    【温馨提示】磁盘大小必须>1G，这里我添加的是4*2G的盘

    4）配置

    Minio默认9000端口，在配置文件中加入–address “127.0.0.1:9029” 可更改端口

    • MINIO_ACCESS_KEY：用户名，长度最小是5个字符
    • MINIO_SECRET_KEY：密码，密码不能设置过于简单，不然minio会启动失败，长度最小是8个字符
    • –config-dir：指定集群配置文件目录
    • –address： api的端口，默认是9000
    • --console-address ：web端口，默认随机

    编写启动脚本（/opt/bigdata/minio/run.sh）

    #!/bin/bash
# 创建日志存储目录
mkdir -p /opt/bigdata/minio/logs
# 分别在三个节点上创建存储目录
mkdir -p /opt/bigdata/minio/data/export{1,2,3,4}
# 创建配置目录
mkdir -p /etc/minio
export MINIO_ROOT_USER=admin
export MINIO_ROOT_PASSWORD=admin123456

# 在三台机器上都执行该文件，即以分布式的方式启动了MINIO
# --address "0.0.0.0:9000" 挂载9001端口为api端口（如Java客户端）访问的端口
# --console-address ":9000" 挂载9000端口为web端口； 
/opt/bigdata/minio/minio server --address 0.0.0.0:9000 --console-address 0.0.0.0:9001 --config-dir /etc/minio \
http://local-168-182-110/opt/bigdata/minio/data/export1 \
http://local-168-182-110/opt/bigdata/minio/data/export2 \
http://local-168-182-110/opt/bigdata/minio/data/export3 \
http://local-168-182-110/opt/bigdata/minio/data/export4 \
http://local-168-182-111/opt/bigdata/minio/data/export1 \
http://local-168-182-111/opt/bigdata/minio/data/export2 \
http://local-168-182-111/opt/bigdata/minio/data/export3 \
http://local-168-182-111/opt/bigdata/minio/data/export4 \
http://local-168-182-112/opt/bigdata/minio/data/export1 \
http://local-168-182-112/opt/bigdata/minio/data/export2 \
http://local-168-182-112/opt/bigdata/minio/data/export3 \
http://local-168-182-112/opt/bigdata/minio/data/export4 > /opt/bigdata/minio/logs/minio_server.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26

    【温馨提示】下面脚本复制时 \ 后不要有空格，还有就是上面的目录是对应的一块磁盘，而非简单的在/opt/bigdata/minio/data目录下创建四个目录，要不然会报如下错误，看提示以为是root权限问题。part of root disk, will not be used (*errors.errorString)

    在这里插入图片描述

    5）启动服务

    # 在三台机器上都执行该文件，即以分布式的方式启动了MINIO
sh /opt/bigdata/minio/run.sh

    • 1
    • 2

    添加或修改minio.service，通过systemctl启停服务（推荐）

    • WorkingDirectory：二进制文件目录
    • ExecStart：指定集群启动脚本
    # 如果使用rpm安装，minio.service就会自动生成，只要修改就行
cat > /usr/lib/systemd/system/minio.service <<EOF
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/

[Service]
WorkingDirectory=/opt/bigdata/minio
ExecStart=/opt/bigdata/minio/run.sh

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target
EOF

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16

    修改文件权限

    chmod +x /usr/lib/systemd/system/minio.service && chmod +x /opt/bigdata/minio/minio && chmod +x /opt/bigdata/minio/run.sh

# 将文件copy其它节点local-168-182-111，local-168-182-112
scp -r /usr/lib/systemd/system/minio.servicee local-168-182-111:/usr/lib/systemd/system/minio.service
scp -r /opt/bigdata/minio local-168-182-111:/opt/bigdata/

scp -r /usr/lib/systemd/system/minio.service local-168-182-112:/usr/lib/systemd/system/minio.service
scp -r /opt/bigdata/minio local-168-182-112:/opt/bigdata/

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    启动集群

     #重新加载服务
systemctl daemon-reload
#启动服务
systemctl start minio
#加入自启动
systemctl enable minio

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    在这里插入图片描述
    访问MinIO，三个节点都可以访问
    http://local-168-182-110:9001
    http://local-168-182-111:9001
    http://local-168-182-112:9001

    账号密码：admin/admin123456

    在这里插入图片描述

    6）使用 nginx 负载均衡

    单独对每个节点进行访问显然不合理，通过使用 nginx 代理，进行负载均衡则很有必要。简单的配置如下：

    # 安装nginx
yum install epel-release -y
yum install nginx -y
systemctl start nginx
systemctl status nginx
systemctl enable nginx

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    添加配置文件，配置内容如下：

    vi  /etc/nginx/conf.d/minio.conf

upstream minio_api {
    server 192.168.182.110:9000;
    server 192.168.182.111:9000;
    server 192.168.182.112:9000;
}

upstream minio_console {
    server 192.168.182.110:9001;
    server 192.168.182.111:9001;
    server 192.168.182.112:9001;
}

server{
    listen       19000;
    server_name  192.168.182.110;

    ignore_invalid_headers off;
    client_max_body_size 0;
    proxy_buffering off;

    location / {
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   Host              $http_host;
        proxy_set_header   X-Real-IP         $remote_addr;

        proxy_connect_timeout 300;
        proxy_http_version 1.1;
        chunked_transfer_encoding off;
        proxy_ignore_client_abort on;

        proxy_pass http://minio_api;
    }
}

server{
    listen       19001;
    server_name  192.168.182.110;

    ignore_invalid_headers off;
    client_max_body_size 0;
    proxy_buffering off;

    location / {
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   Host              $http_host;
        proxy_set_header   X-Real-IP         $remote_addr;

        proxy_connect_timeout 300;
        proxy_http_version 1.1;
        chunked_transfer_encoding off;
        proxy_ignore_client_abort on;

        proxy_pass http://minio_console;
    }
}


    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58

    重启加载配置

    nginx -t
nginx -s reload
#或者 
systemctl reload nginx

    • 1
    • 2
    • 3
    • 4

    访问：http://local-168-182-110:19001
    在这里插入图片描述

    六、MinIO 客户端 ( mc)

    • MinIO Client mc命令行工具为 UNIX 命令（如ls、cat、cp、mirror和）提供了一种现代替代方案，并diff支持文件系统和兼容 Amazon S3 的云存储服务。
    • mc命令行工具是为与 AWS S3 API 兼容而构建的，并针对预期的功能和行为测试了 MinIO 和 AWS S3。
    • MinIO 不为其他与 S3 兼容的服务提供任何保证，因为它们的 S3 API 实现是未知的，因此不受支持。虽然mc 命令可以按文档说明工作，但任何此类使用都需要您自担风险。

    1）下载

    cd /opt/bigdata/minio/
wget https://dl.min.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help

    • 1
    • 2
    • 3
    • 4

    2）添加MinIO存储服务

    MinIO服务器显示URL，访问权和秘密密钥。
    【用法】

    mc config host add <ALIAS> <YOUR-MINIO-ENDPOINT> [YOUR-ACCESS-KEY] [YOUR-SECRET-KEY]

    • 1

    【示例】

    cd /opt/bigdata/minio/
# 明文输入
./mc config host add minio http://local-168-182-110:19000 admin admin123456

# 密文输入（推荐）
./mc config host add minio http://local-168-182-110:19000
Enter Access Key: admin
Enter Secret Key: admin123456

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    3）测试

    cd /opt/bigdata/minio/
# 获取已配置别名“ minio”的MinIO服务器信息
./mc admin info minio

# 添加外壳别名以获取信息，以便恢复。
alias minfo='/opt/bigdata/minio/mc admin info'
alias mheal='/opt/bigdata/minio/mc admin heal'

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    在这里插入图片描述

    更多示例操作，可以参考官方文档：http://docs.minio.org.cn/docs/master/minio-admin-complete-guide

    【温馨提示】如果有条件，也可以使用腾讯云的cos（Cloud Object Storage：云对象存储）和阿里云的oss（Object Storage Service：对象存储服务）等公有云产品。

    到这里MinIO的基本概念和环境部署就到这结束了，后续会更新MinIO的实战操作，请小伙伴耐心等待，有疑问的小伙伴欢迎给我留言哦~

  • 相关阅读:
    服装展示服务预约小程序的内容如何
    SpringSecurity系列 - 10 传统Web项目表单认证： UsernamePasswordAuthenticationFilter 过滤器
    Python搭建QQ聊天机器人极简教程
    [0xGame 2023 公开赛道] week3
    MySQL调优
    map的一道题目＜单词识别＞
    set常用命令与其底层数据结构
    monaco-editor 简单使用
    公司股东退出机制法律分析
    SpringBoot——SpringBoot访问外部接口
  • 原文地址：https://blog.csdn.net/qq_35745940/article/details/125966548