OSS大文件分片上传

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

最近做到项目中一个上传视频的功能，需要使用大文件分片上传，在网上找了一些资源借鉴，算是整出来一套可以用的，但是无奈，公司使用的是OSS，之前的东西只能推翻，使用阿里的OSS大文件分片上传SDK，此处记录一下。

---

一、原理

上边是官方给的图解

大文件分片上传的原理还是十分易懂的，主要是将一个文件切割成若干个固定的数据块（最后一块除外），然后将每个块分别上传，最后在云端存储的bucket中进行文件合并，并删除所有的文件块，其主要作用是为了去加快上传效率。

二、工具类

直接上代码。我将OSS的sdk封了一个工具类出来

import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.common.auth.CredentialsProvider;
import com.aliyun.oss.common.auth.DefaultCredentialProvider;
import com.aliyun.oss.internal.Mimetypes;
import com.aliyun.oss.model.*;
import com.vibang.tyrl.admin.api.enums.OssFileOriginEnum;
import com.vibang.tyrl.common.core.util.R;
import org.springframework.web.multipart.MultipartFile;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.nio.charset.StandardCharsets;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class OSSUtil {
    // Endpoint以华东1（杭州）为例，其它Region请按实际情况填写。
    private final static String endpoint = "https://oss-cn-beijing.aliyuncs.com";
    // RAM用户的访问密钥（AccessKey ID和AccessKey Secret）。
    private final static String accessKeyId = "";
    private final static String accessKeySecret = "";
    // 使用代码嵌入的RAM用户的访问密钥配置访问凭证。
    private final static CredentialsProvider credentialsProvider = new DefaultCredentialProvider(accessKeyId, accessKeySecret);
    // 填写Bucket名称，例如examplebucket。
    private final static String bucketName = "";
    public static R upload(MultipartFile file,Integer key) throws Exception {
        // 填写Object完整路径，例如exampledir/exampleobject.txt。Object完整路径中不能包含Bucket名称。
        String originalFilename = file.getOriginalFilename();
        String suffix = originalFilename.substring(originalFilename.lastIndexOf("."));
        String fileName = System.currentTimeMillis()+suffix;
        //根据枚举类进行文件分包上传
        String objectName = OssFileOriginEnum.getEumByCode(key).getPacketName() + "/" + fileName;
        // 获取字节数组
        byte[] bytes = file.getBytes();
        // 创建临时文件
        File tempFile = File.createTempFile("temp", suffix);
        // 将字节数组写入临时文件
        try (FileOutputStream fos = new FileOutputStream(tempFile)) {
            fos.write(bytes);
        }
        // 创建OSSClient实例。
        OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);
        try {
            // 创建InitiateMultipartUploadRequest对象。
            InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName);
            // 如果需要在初始化分片时设置请求头，请参考以下示例代码。
            ObjectMetadata metadata = new ObjectMetadata();
            // 指定初始化分片上传时是否覆盖同名Object。此处设置为true，表示禁止覆盖同名Object。
//             metadata.setHeader("x-oss-forbid-overwrite", "true");
//            // 根据文件自动设置ContentType。如果不设置，ContentType默认值为application/oct-srream。
             request.setObjectMetadata(metadata);

            if (metadata.getContentType() == null) {
                metadata.setContentType(Mimetypes.getInstance().getMimetype(tempFile, objectName));
            }

            // 初始化分片。
            InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);


            // 返回uploadId。
            String uploadId = upresult.getUploadId();
            // 根据uploadId执行取消分片上传事件或者列举已上传分片的操作。
            // 如果您需要根据您需要uploadId执行取消分片上传事件的操作，您需要在调用InitiateMultipartUpload完成初始化分片之后获取uploadId。
            // 如果您需要根据您需要uploadId执行列举已上传分片的操作，您需要在调用InitiateMultipartUpload完成初始化分片之后，且在调用CompleteMultipartUpload完成分片上传之前获取uploadId。
            // System.out.println(uploadId);

            // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成。
            List<PartETag> partETags = new ArrayList<PartETag>();
            // 每个分片的大小，用于计算文件有多少个分片。单位为字节。
            final long partSize = 10 * 1024 * 1024L;   //10 MB。

            // 根据上传的数据大小计算分片数。以本地文件为例，说明如何通过File.length()获取上传数据的大小。
            final File sampleFile = tempFile;
            long fileLength = sampleFile.length();
            int partCount = (int) (fileLength / partSize);
            if (fileLength % partSize != 0) {
                partCount++;
            }
            // 遍历分片上传。
            for (int i = 0; i < partCount; i++) {
                long startPos = i * partSize;
                long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
                UploadPartRequest uploadPartRequest = new UploadPartRequest();
                uploadPartRequest.setBucketName(bucketName);
                uploadPartRequest.setKey(objectName);
                uploadPartRequest.setUploadId(uploadId);
                // 设置上传的分片流。
                // 以本地文件为例说明如何创建FIleInputstream，并通过InputStream.skip()方法跳过指定数据。
                InputStream instream = new FileInputStream(sampleFile);
                instream.skip(startPos);
                uploadPartRequest.setInputStream(instream);
                // 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。
                uploadPartRequest.setPartSize(curPartSize);
                // 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出此范围，OSS将返回InvalidArgument错误码。
                uploadPartRequest.setPartNumber(i + 1);
                // 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。
                // 上传文件的同时指定进度条参数。此处PutObjectProgressListenerDemo为调用类的类名，请在实际使用时替换为相应的类名。
                UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest.withProgressListener(new ProgressOSSUtil()));
                // 每次上传分片之后，OSS的返回结果包含PartETag。PartETag将被保存在partETags中。
                partETags.add(uploadPartResult.getPartETag());
            }
            // 创建CompleteMultipartUploadRequest对象。
            // 在执行完成分片上传操作时，需要提供所有有效的partETags。OSS收到提交的partETags后，会逐一验证每个分片的有效性。当所有的数据分片验证通过后，OSS将把这些分片组合成一个完整的文件。
            CompleteMultipartUploadRequest completeMultipartUploadRequest =
                    new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
            // 完成分片上传。
            CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
            System.out.println(completeMultipartUploadResult.getETag());
            System.out.println("uploadId:"+uploadId);
            Map<String, Object> map = new HashMap<>();
            map.put("path","https://vibang.oss-cn-beijing.aliyuncs.com/" + objectName);
            map.put("uploadId",uploadId);
            map.put("totalPart",partCount);
            return R.ok(map);
        } catch (OSSException oe) {
            Map<String, Object> map = new HashMap<>();
            map.put("ErrorMessage",oe.getErrorMessage());
            map.put("ErrorCode",oe.getErrorCode());
            map.put("RequestID",oe.getRequestId());
            map.put("HostID",oe.getHostId());
            return R.ok(map);
        } catch (ClientException ce) {
            Map<String, Object> map = new HashMap<>();
            map.put("ErrorMessage", ce.getMessage());
            return R.ok(map);
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }


    public static R deleteFile(String path){
        // 填写文件完整路径。文件完整路径中不能包含Bucket名称。
        int lastIndex = path.lastIndexOf("aliyuncs.com/");
        String objectName = path.substring(lastIndex + 13);
        // 创建OSSClient实例。
        OSS ossClient = new OSSClientBuilder().build(endpoint, credentialsProvider);
        try {
            // 删除文件或目录。如果要删除目录，目录必须为空。
            ossClient.deleteObject(bucketName, objectName);
            return R.ok("成功");
        } catch (OSSException oe) {
            Map<String, Object> map = new HashMap<>();
            map.put("ErrorMessage",oe.getErrorMessage());
            map.put("ErrorCode",oe.getErrorCode());
            map.put("RequestID",oe.getRequestId());
            map.put("HostID",oe.getHostId());
            return R.ok(map);
        } catch (ClientException ce) {
            Map<String, Object> map = new HashMap<>();
            map.put("ErrorMessage", ce.getMessage());
            return R.ok(map);
        } finally {
            if (ossClient != null) {
                ossClient.shutdown();
            }
        }
    }
}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171

二、注意事项

官方不推荐将accessKeyId 和 accessKeySecret 直接配置在代码当中，建议的是直接配置在环境变量中，由于前期的开发测试是在本地进行的，所以就使用了，如果需要配置环境变量，还是需要去官方给的手册上，按步骤进行操作即可：传送门放这里
OSS文件存储JavaSDK配置访问凭证

也可以在yml文件中配置固定值，比我写的这种方式要安全一点，在类中再使用@Value取值，需要注意的是，当使用@Value取值时，该类需要使用@Component注解标注为组件，并且，这些属性不能使用static和final修饰，否则会报null异常。

可以对该工具类进行扩展，只要没有执行最后的合并，这些数据块永远也不会删除，结合数据库，可以对上传的文件块做一个记录，因为每一个文件块都有固定的md5值，并且上传完以后，sdk会返回这个文件块的md5值，所以利用这点可以做一个断点续传和秒传，断点续传即：在库中查找文件上次上传的文件块，跳过已完成上传的文件块，秒传：根据文件的MD5唯一值去判定，是否存在这个文件，进行秒传。不过公司并不需要这个功能，就没做。

---

总结

主要记录一下OSS大文件分片上传的SDK使用