• minio分布式文件存储

    基本介绍

    什么是 MinIO
            MinIO 是一款基于 Go 语言的高性能、可扩展、云原生支持、操作简单、开源的分布式对象存储产品。基于 Apache License v2.0 开源协议，虽然轻量，却拥有着不错的性能。它兼容亚马逊S3云存储服务接口。可以很简单的和其他应用结合使用，例如 NodeJS、Redis、MySQL 等。

    官网：www.minio.org.cn/

    MinIO 特点

    • 高性能：作为高性能对象存储，在标准硬件条件下它能达到55GB/s的读、35GG/s的写速率
    • 可扩容：不同MinIO集群可以组成联邦，并形成一个全局的命名空间，并跨越多个数据中心
    • 云原生：容器化、基于K8S的编排、多租户支持
    • Amazon S3兼容：Minio使用Amazon S3 v2 / v4 API。可以使用Minio SDK，Minio Client，AWS SDK和AWS CLI访问Minio服务器。
    • 可对接后端存储: 除了Minio自己的文件系统，还支持DAS、 JBODs、NAS、Google云存储和Azure Blob存储。
    • SDK支持: 基于Minio轻量的特点，它得到类似Java、Python或Go等语言的sdk支持
    • Lambda计算: Minio服务器通过其兼容AWS SNS / SQS的事件通知服务触发Lambda功能。支持的目标是消息队列，如Kafka，NATS，AMQP，MQTT，Webhooks以及Elasticsearch，Redis，Postgres和MySQL等数据库。
    • 有操作页面
    • 功能简单: 这一设计原则让MinIO不容易出错、更快启动
    • 支持纠删码：MinIO使用纠删码、Checksum来防止硬件错误和静默数据污染。在最高冗余度配置下，即使丢失1/2的磁盘也能恢复数据

    docker 安装 minio

    下载镜像(最新版本)
    docker pull minio/minio
    查看已经下载的镜像
    docker images

    创建并启动minIO容器：
    这里的9090端口指的是minio的客户端端口。虽然设置9090，但是我们在访问9000的时候，他也会自动跳到9090。
    9000端口是minio的服务端端口，我们程序在连接minio的时候，就是通过这个端口来连接的。
    -v就是docker run当中的挂载，这里的/usr/local/mydata/minio/data:/data意思就是将容器的/data目录和宿主机的/mydata/minio/data目录做映射，这样我们想要查看容器的文件的时候，就不需要看容器当中的文件了。
    注意在执行命令的时候，他是会自动在宿主机当中创建目录的。我们不需要手动创建。
    minio所上传的文件默认都是存储在容器的data目录下的！
    假如删除容器了宿主机当中挂载的目录是不会删除的。假如没有使用-v挂载目录，那他在宿主机的存储位置的文件会直接删除的。
    宿主机的挂载目录一定是根目录，如果是相对路径会有问题。还有容器当中的目录也是必须是绝对路径（根路径就是带/的）。
    所谓的挂载其实就是将容器目录和宿主机目录进行绑定了，操作宿主机目录，容器目录也会变化，操作容器目录，宿主机目录也会变化。这样做的目的 可以间接理解为就是数据持久化，防止容器误删，导致数据丢失的情况。
    MINIO_ACCESS_KEY:账号 MINIO_SECRET_KEY:密码 (正常账号应该不低于3位，密码不低于8位，不然容器会启动不成功)
    –console-address 指定客户端端口
    -d --restart=always 代表重启linux的时候容器自动启动
    –name minio 容器名称

     docker run -p 9000:9000 -p 9090:9090  --name minio  -d --restart=always  

    -e "MINIO_ACCESS_KEY=minioadmin"  
    -e "MINIO_SECRET_KEY=minioadmin"  

    -v /usr/local/mydata/minio/data:/data  

    minio/minio server  /data --console-address ":9090" -address ":9000"

    springboot集成minio

    一、配置yml文件

    1. #yml配置文件增加如下配置
    2.  
    3. minio:
    4.   endpoint: http://ip:9000
    5.   fileUploadUrl: http://ip:9000
    6.   accessKey: minioadmin (用户名)
    7.   secretKey: minioadmin (密码)
    8.   bucketName: file (文件组：桶名)

    二、引入pom（8与7的方法不适用，以下使用8.0.3）

    1.         
    2.             <groupId>io.miniogroupId>
    3.             <artifactId>minioartifactId>
    4.             <version>8.0.3version>
    5.         

    三、系统加载minio配置

    1. @Data
    2. @Configuration
    3. @ConfigurationProperties(prefix = "minio")
    4. public class MinioConfig {
    5.  
    6.     private String endpoint;
    7.     private String accessKey;
    8.     private String secretKey;
    9.     private String bucketName;
    10.  
    11.     @Bean
    12.     public MinioClient minioClient()  {
    13.         MinioClient minioClient = MinioClient.builder()
    14.                 .endpoint(endpoint)
    15.                 .credentials(accessKey, secretKey)
    16.                 .build();
    17.         return minioClient;
    18.     }
    19.  
    20. }

    四、minio工具类（上传文件，返回访问链接）

    1. package org;
    2.  
    3. import cn.hutool.core.io.FastByteArrayOutputStream;
    4. import com.alibaba.fastjson.JSONObject;
    5. import io.minio.*;
    6. import io.minio.http.Method;
    7. import io.minio.messages.Bucket;
    8. import io.minio.messages.DeleteError;
    9. import io.minio.messages.DeleteObject;
    10. import io.minio.messages.Item;
    11. import org.springframework.stereotype.Component;
    12. import org.springframework.web.multipart.MultipartFile;
    13.  
    14. import javax.annotation.Resource;
    15. import javax.servlet.ServletOutputStream;
    16. import javax.servlet.http.HttpServletResponse;
    17. import java.io.InputStream;
    18. import java.util.ArrayList;
    19. import java.util.HashMap;
    20. import java.util.List;
    21. import java.util.UUID;
    22. import java.util.stream.Collectors;
    23.  
    24. /**
    25.  * 功能描述 文件服务器工具类
    26.  *
    27.  * @author: 
    28.  * @date: 
    29.  */
    30. @Component
    31. public class MinioUtil {
    32.  
    33.     @Resource
    34.     private MinioClient minioClient;
    35.  
    36.     /**
    37.      * 查看存储bucket是否存在
    38.      * @return boolean
    39.      */
    40.     public Boolean bucketExists(String bucketName) {
    41.         Boolean found;
    42.         try {
    43.             found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());
    44.         } catch (Exception e) {
    45.             //e.printStackTrace();
    46.             return false;
    47.         }
    48.         return found;
    49.     }
    50.  
    51.     /**
    52.      * 创建存储bucket
    53.      * @return Boolean
    54.      */
    55.     public Boolean makeBucket(String bucketName) {
    56.         try {
    57.             minioClient.makeBucket(MakeBucketArgs.builder()
    58.                     .bucket(bucketName)
    59.                     .build());
    60.         } catch (Exception e) {
    61.             e.printStackTrace();
    62.             return false;
    63.         }
    64.         return true;
    65.     }
    66.     /**
    67.      * 删除存储bucket
    68.      * @return Boolean
    69.      */
    70.     public Boolean removeBucket(String bucketName) {
    71.         try {
    72.             minioClient.removeBucket(RemoveBucketArgs.builder()
    73.                     .bucket(bucketName)
    74.                     .build());
    75.         } catch (Exception e) {
    76.             e.printStackTrace();
    77.             return false;
    78.         }
    79.         return true;
    80.     }
    81.     /**
    82.      * 获取全部bucket
    83.      */
    84.     public List getAllBuckets() {
    85.         try {
    86.             return minioClient.listBuckets();
    87.         } catch (Exception e) {
    88.             e.printStackTrace();
    89.         }
    90.         return null;
    91.     }
    92.  
    93.     /**
    94.      * 文件上传
    95.      * @param file 文件
    96.      * @return Boolean
    97.      */
    98.     public Boolean upload(String bucketName, String fileName, MultipartFile file, InputStream inputStream) {
    99.         try {
    100.             PutObjectArgs objectArgs = PutObjectArgs.builder().bucket(bucketName).object(fileName)
    101.                     .stream(inputStream,file.getSize(),-1).contentType(file.getContentType()).build();
    102.             //文件名称相同会覆盖
    103.             minioClient.putObject(objectArgs);
    104.         } catch (Exception e) {
    105.             e.printStackTrace();
    106.             return false;
    107.         }
    108.         return true;
    109.     }
    110.  
    111.     /**
    112.      * 预览图片
    113.      * @param fileName
    114.      * @return
    115.      */
    116.     public String preview(String fileName,String bucketName){
    117.         // 查看文件地址
    118.         GetPresignedObjectUrlArgs build = new GetPresignedObjectUrlArgs().builder().bucket(bucketName).object(fileName).method(Method.GET).build();
    119.         try {
    120.             String url = minioClient.getPresignedObjectUrl(build);
    121.             return url;
    122.         } catch (Exception e) {
    123.             e.printStackTrace();
    124.         }
    125.         return null;
    126.     }
    127.  
    128.     /**
    129.      * 文件下载
    130.      * @param fileName 文件名称
    131.      * @param res response
    132.      * @return Boolean
    133.      */
    134.     public void download(String fileName,String bucketName, HttpServletResponse res) {
    135.         GetObjectArgs objectArgs = GetObjectArgs.builder().bucket(bucketName)
    136.                 .object(fileName).build();
    137.         try (GetObjectResponse response = minioClient.getObject(objectArgs)){
    138.             byte[] buf = new byte[1024];
    139.             int len;
    140.             try (FastByteArrayOutputStream os = new FastByteArrayOutputStream()){
    141.                 while ((len=response.read(buf))!=-1){
    142.                     os.write(buf,0,len);
    143.                 }
    144.                 os.flush();
    145.                 byte[] bytes = os.toByteArray();
    146.                 res.setCharacterEncoding("utf-8");
    147.                 //设置强制下载不打开
    148.                 //res.setContentType("application/force-download");
    149.                 res.addHeader("Content-Disposition", "attachment;fileName=" + fileName);
    150.                 try (ServletOutputStream stream = res.getOutputStream()){
    151.                     stream.write(bytes);
    152.                     stream.flush();
    153.                 }
    154.             }
    155.         } catch (Exception e) {
    156.             e.printStackTrace();
    157.         }
    158.     }
    159.  
    160.     /**
    161.      * 查看文件对象
    162.      * @return 存储bucket内文件对象信息
    163.      */
    164.     public List listObjects(String bucketName) {
    165.         Iterable> results = minioClient.listObjects(
    166.                 ListObjectsArgs.builder().bucket(bucketName).build());
    167.         List items = new ArrayList<>();
    168.         try {
    169.             for (Result result : results) {
    170.                 items.add(result.get());
    171.             }
    172.         } catch (Exception e) {
    173.             e.printStackTrace();
    174.             return null;
    175.         }
    176.         return items;
    177.     }
    178.  
    179.     /**
    180.      * 删除
    181.      * @param fileName
    182.      * @return
    183.      * @throws Exception
    184.      */
    185.     public boolean remove(String fileName,String bucketName){
    186.         try {
    187.             minioClient.removeObject( RemoveObjectArgs.builder().bucket(bucketName).object(fileName).build());
    188.         }catch (Exception e){
    189.             return false;
    190.         }
    191.         return true;
    192.     }
    193.  
    194.     /**
    195.      * 批量删除文件对象（没测试）
    196.      * @param objects 对象名称集合
    197.      */
    198.     public Iterable> removeObjects(List objects, String bucketName) {
    199.         List dos = objects.stream().map(e -> new DeleteObject(e)).collect(Collectors.toList());
    200.         Iterable> results = minioClient.removeObjects(RemoveObjectsArgs.builder().bucket(bucketName).objects(dos).build());
    201.         return results;
    202.     }
    203.  
    204.     //上传文件，返回路径
    205.     public Object upload(HashMap paramMap) {
    206.         MultipartFile file=(MultipartFile)paramMap.get("file");
    207.         if (file.isEmpty() || file.getSize() == 0) {
    208.             return "文件为空";
    209.         }
    210.         try {
    211.             if (!this.bucketExists("file")) {
    212.                 this.makeBucket("file");
    213.             }
    214.             InputStream inputStream = file.getInputStream();
    215.             String fileName = file.getOriginalFilename();
    216.  
    217.             String newName = UUID.randomUUID().toString().replaceAll("-", "")
    218.                     + fileName.substring(fileName.lastIndexOf("."));
    219.  
    220.             this.upload("file", newName,file, inputStream);
    221.             inputStream.close();
    222.             String fileUrl = this.preview(newName,"file");
    223.             String fileUrlNew=fileUrl.substring(0, fileUrl.indexOf("?"));
    224.             JSONObject jsonObject=new JSONObject();
    225.             jsonObject.put("url",fileUrlNew);
    226.             return jsonObject.toJSONString();
    227.         } catch (Exception e) {
    228.             e.printStackTrace();
    229.             return "上传失败";
    230.         }
    231.     }
    232. }

    项目中实践

    永久存储方式：把bucket的权限设置为public，返回路径到文件名称

  • 相关阅读:
    PAT 1021 Deepest Root（图的遍历，考察了连通块的数量，树的深度）
    vue3发送验证码倒计时 （防止连点、封装复用）
    【QT】使用toBase64方法将.txt文件的明文变为非明文（类似加密）
    SSM - Springboot - MyBatis-Plus 全栈体系（六）
    【Java中23种面试常考的设计模式之桥接模式(Bridge)---结构型模式】
    使用jconsole监控SpringbootJVM（JDK11）
    PR BeatEdit 节奏卡点神器 的报错 beat detection error: IBT failed 和解决路径
    非最小相位系统；频率特性的对称性
    【AI可视化---04】点亮数据之旅：发现Matplotlib的奇幻绘图世界！用Python挥洒数据音符的创意乐章——这四篇就够了！
    web前端-html自定义列表
  • 原文地址：https://blog.csdn.net/weixin_42383680/article/details/133552480