• 前言
• 詳細教程
  • 秒傳
  • 分片上傳
  • 斷點續傳
  • 后端進行寫入操作的核心代碼
• 總結

前言

文件上傳是一個老生常談的話題了，在文件相對比較小的情況下，可以直接把文件轉化為字節流上傳到服務器，但在文件比較大的情況下，用普通的方式進行上傳，這可不是一個好的辦法，畢竟很少有人會忍受，當文件上傳到一半中斷后，繼續上傳卻只能重頭開始上傳，這種讓人不爽的體驗。那有沒有比較好的上傳體驗呢，答案有的，就是下邊要介紹的幾種上傳方式

基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序，支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

• 項目地址：https://gitee.com/zhijiantianya/ruoyi-vue-pro
• 視頻教程：https://doc.iocoder.cn/video/

詳細教程

秒傳

1、什么是秒傳

通俗的說，你把要上傳的東西上傳，服務器會先做MD5校驗，如果服務器上有一樣的東西，它就直接給你個新地址，其實你下載的都是服務器上的同一個文件，想要不秒傳，其實只要讓MD5改變，就是對文件本身做一下修改（改名字不行），例如一個文本文件，你多加幾個字，MD5就變了，就不會秒傳了.

2、本文實現的秒傳核心邏輯

a、利用redis的set方法存放文件上傳狀態，其中key為文件上傳的md5，value為是否上傳完成的標志位，

b、當標志位true為上傳已經完成，此時如果有相同文件上傳，則進入秒傳邏輯。如果標志位為false，則說明還沒上傳完成，此時需要在調用set的方法，保存塊號文件記錄的路徑，其中key為上傳文件md5加一個固定前綴，value為塊號文件記錄路徑

分片上傳

1.什么是分片上傳

分片上傳，就是將所要上傳的文件，按照一定的大小，將整個文件分隔成多個數據塊（我們稱之為Part）來進行分別上傳，上傳完之后再由服務端對所有上傳的文件進行匯總整合成原始的文件。

2.分片上傳的場景

1.大文件上傳

2.網絡環境環境不好，存在需要重傳風險的場景

斷點續傳

1、什么是斷點續傳

斷點續傳是在下載或上傳時，將下載或上傳任務（一個文件或一個壓縮包）人為的劃分為幾個部分，每一個部分采用一個線程進行上傳或下載，如果碰到網絡故障，可以從已經上傳或下載的部分開始繼續上傳或者下載未完成的部分，而沒有必要從頭開始上傳或者下載。本文的斷點續傳主要是針對斷點上傳場景。

2、應用場景

斷點續傳可以看成是分片上傳的一個衍生，因此可以使用分片上傳的場景，都可以使用斷點續傳。

3、實現斷點續傳的核心邏輯

在分片上傳的過程中，如果因為系統崩潰或者網絡中斷等異常因素導致上傳中斷，這時候客戶端需要記錄上傳的進度。在之后支持再次上傳時，可以繼續從上次上傳中斷的地方進行繼續上傳。

為了避免客戶端在上傳之后的進度數據被刪除而導致重新開始從頭上傳的問題，服務端也可以提供相應的接口便于客戶端對已經上傳的分片數據進行查詢，從而使客戶端知道已經上傳的分片數據，從而從下一個分片數據開始繼續上傳。

4、實現流程步驟

a、方案一，常規步驟

• 將需要上傳的文件按照一定的分割規則，分割成相同大小的數據塊；
• 初始化一個分片上傳任務，返回本次分片上傳唯一標識；
• 按照一定的策略（串行或并行）發送各個分片數據塊；
• 發送完成后，服務端根據判斷數據上傳是否完整，如果完整，則進行數據塊合成得到原始文件。

b、方案二、本文實現的步驟

• 前端（客戶端）需要根據固定大小對文件進行分片，請求后端（服務端）時要帶上分片序號和大小
• 服務端創建conf文件用來記錄分塊位置，conf文件長度為總分片數，每上傳一個分塊即向conf文件中寫入一個127，那么沒上傳的位置就是默認的0,已上傳的就是Byte.MAX_VALUE 127（這步是實現斷點續傳和秒傳的核心步驟）
• 服務器按照請求數據中給的分片序號和每片分塊大小（分片大小是固定且一樣的）算出開始位置，與讀取到的文件片段數據，寫入文件。

5、分片上傳/斷點上傳代碼實現

a、前端采用百度提供的webuploader的插件，進行分片。因本文主要介紹服務端代碼實現，webuploader如何進行分片，具體實現可以查看如下鏈接:

http://fex.baidu.com/webuploader/getting-started.html

b、后端用兩種方式實現文件寫入，一種是用RandomAccessFile，如果對RandomAccessFile不熟悉的朋友，可以查看如下鏈接:

https://blog.csdn.net/dimudan2015/article/details/81910690

另一種是使用MappedByteBuffer，對MappedByteBuffer不熟悉的朋友，可以查看如下鏈接進行了解:

https://www.jianshu.com/p/f90866dcbffc

后端進行寫入操作的核心代碼

a、RandomAccessFile實現方式

@UploadMode(mode=UploadModeEnum.RANDOM_ACCESS)
@Slf4j
publicclassRandomAccessUploadStrategyextendsSliceUploadTemplate{

@Autowired
privateFilePathUtilfilePathUtil;

@Value("${upload.chunkSize}")
privatelongdefaultChunkSize;

@Override
publicbooleanupload(FileUploadRequestDTOparam){
RandomAccessFileaccessTmpFile=null;
try{
StringuploadDirPath=filePathUtil.getPath(param);
FiletmpFile=super.createTmpFile(param);
accessTmpFile=newRandomAccessFile(tmpFile,"rw");
//這個必須與前端設定的值一致
longchunkSize=Objects.isNull(param.getChunkSize())?defaultChunkSize*1024*1024
:param.getChunkSize();
longoffset=chunkSize*param.getChunk();
//定位到該分片的偏移量
accessTmpFile.seek(offset);
//寫入該分片數據
accessTmpFile.write(param.getFile().getBytes());
booleanisOk=super.checkAndSetUploadProgress(param,uploadDirPath);
returnisOk;
}catch(IOExceptione){
log.error(e.getMessage(),e);
}finally{
FileUtil.close(accessTmpFile);
}
returnfalse;
}

}

b、MappedByteBuffer實現方式

@UploadMode(mode=UploadModeEnum.MAPPED_BYTEBUFFER)
@Slf4j
publicclassMappedByteBufferUploadStrategyextendsSliceUploadTemplate{

@Autowired
privateFilePathUtilfilePathUtil;

@Value("${upload.chunkSize}")
privatelongdefaultChunkSize;

@Override
publicbooleanupload(FileUploadRequestDTOparam){

RandomAccessFiletempRaf=null;
FileChannelfileChannel=null;
MappedByteBuffermappedByteBuffer=null;
try{
StringuploadDirPath=filePathUtil.getPath(param);
FiletmpFile=super.createTmpFile(param);
tempRaf=newRandomAccessFile(tmpFile,"rw");
fileChannel=tempRaf.getChannel();

longchunkSize=Objects.isNull(param.getChunkSize())?defaultChunkSize*1024*1024
:param.getChunkSize();
//寫入該分片數據
longoffset=chunkSize*param.getChunk();
byte[]fileData=param.getFile().getBytes();
mappedByteBuffer=fileChannel
.map(FileChannel.MapMode.READ_WRITE,offset,fileData.length);
mappedByteBuffer.put(fileData);
booleanisOk=super.checkAndSetUploadProgress(param,uploadDirPath);
returnisOk;

}catch(IOExceptione){
log.error(e.getMessage(),e);
}finally{

FileUtil.freedMappedByteBuffer(mappedByteBuffer);
FileUtil.close(fileChannel);
FileUtil.close(tempRaf);

}

returnfalse;
}

}

c、文件操作核心模板類代碼

@Slf4j
publicabstractclassSliceUploadTemplateimplementsSliceUploadStrategy{

publicabstractbooleanupload(FileUploadRequestDTOparam);

protectedFilecreateTmpFile(FileUploadRequestDTOparam){

FilePathUtilfilePathUtil=SpringContextHolder.getBean(FilePathUtil.class);
param.setPath(FileUtil.withoutHeadAndTailDiagonal(param.getPath()));
StringfileName=param.getFile().getOriginalFilename();
StringuploadDirPath=filePathUtil.getPath(param);
StringtempFileName=fileName+"_tmp";
FiletmpDir=newFile(uploadDirPath);
FiletmpFile=newFile(uploadDirPath,tempFileName);
if(!tmpDir.exists()){
tmpDir.mkdirs();
}
returntmpFile;
}

@Override
publicFileUploadDTOsliceUpload(FileUploadRequestDTOparam){

booleanisOk=this.upload(param);
if(isOk){
FiletmpFile=this.createTmpFile(param);
FileUploadDTOfileUploadDTO=this.saveAndFileUploadDTO(param.getFile().getOriginalFilename(),tmpFile);
returnfileUploadDTO;
}
Stringmd5=FileMD5Util.getFileMD5(param.getFile());

Mapmap=newHashMap<>();
map.put(param.getChunk(),md5);
returnFileUploadDTO.builder().chunkMd5Info(map).build();
}

/**
*檢查并修改文件上傳進度
*/
publicbooleancheckAndSetUploadProgress(FileUploadRequestDTOparam,StringuploadDirPath){

StringfileName=param.getFile().getOriginalFilename();
FileconfFile=newFile(uploadDirPath,fileName+".conf");
byteisComplete=0;
RandomAccessFileaccessConfFile=null;
try{
accessConfFile=newRandomAccessFile(confFile,"rw");
//把該分段標記為true表示完成
System.out.println("setpart"+param.getChunk()+"complete");
//創建conf文件文件長度為總分片數，每上傳一個分塊即向conf文件中寫入一個127，那么沒上傳的位置就是默認0,已上傳的就是Byte.MAX_VALUE127
accessConfFile.setLength(param.getChunks());
accessConfFile.seek(param.getChunk());
accessConfFile.write(Byte.MAX_VALUE);

//completeList檢查是否全部完成,如果數組里是否全部都是127(全部分片都成功上傳)
byte[]completeList=FileUtils.readFileToByteArray(confFile);
isComplete=Byte.MAX_VALUE;
for(inti=0;i//與運算,如果有部分沒有完成則isComplete不是Byte.MAX_VALUE
isComplete=(byte)(isComplete&completeList[i]);
System.out.println("checkpart"+i+"complete?:"+completeList[i]);
}

}catch(IOExceptione){
log.error(e.getMessage(),e);
}finally{
FileUtil.close(accessConfFile);
}
booleanisOk=setUploadProgress2Redis(param,uploadDirPath,fileName,confFile,isComplete);
returnisOk;
}

/**
*把上傳進度信息存進redis
*/
privatebooleansetUploadProgress2Redis(FileUploadRequestDTOparam,StringuploadDirPath,
StringfileName,FileconfFile,byteisComplete){

RedisUtilredisUtil=SpringContextHolder.getBean(RedisUtil.class);
if(isComplete==Byte.MAX_VALUE){
redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS,param.getMd5(),"true");
redisUtil.del(FileConstant.FILE_MD5_KEY+param.getMd5());
confFile.delete();
returntrue;
}else{
if(!redisUtil.hHasKey(FileConstant.FILE_UPLOAD_STATUS,param.getMd5())){
redisUtil.hset(FileConstant.FILE_UPLOAD_STATUS,param.getMd5(),"false");
redisUtil.set(FileConstant.FILE_MD5_KEY+param.getMd5(),
uploadDirPath+FileConstant.FILE_SEPARATORCHAR+fileName+".conf");
}

returnfalse;
}
}
/**
*保存文件操作
*/
publicFileUploadDTOsaveAndFileUploadDTO(StringfileName,FiletmpFile){

FileUploadDTOfileUploadDTO=null;

try{

fileUploadDTO=renameFile(tmpFile,fileName);
if(fileUploadDTO.isUploadComplete()){
System.out
.println("uploadcomplete!!"+fileUploadDTO.isUploadComplete()+"name="+fileName);
//TODO保存文件信息到數據庫

}

}catch(Exceptione){
log.error(e.getMessage(),e);
}finally{

}
returnfileUploadDTO;
}
/**
*文件重命名
*
*@paramtoBeRenamed將要修改名字的文件
*@paramtoFileNewName新的名字
*/
privateFileUploadDTOrenameFile(FiletoBeRenamed,StringtoFileNewName){
//檢查要重命名的文件是否存在，是否是文件
FileUploadDTOfileUploadDTO=newFileUploadDTO();
if(!toBeRenamed.exists()||toBeRenamed.isDirectory()){
log.info("Filedoesnotexist:{}",toBeRenamed.getName());
fileUploadDTO.setUploadComplete(false);
returnfileUploadDTO;
}
Stringext=FileUtil.getExtension(toFileNewName);
Stringp=toBeRenamed.getParent();
StringfilePath=p+FileConstant.FILE_SEPARATORCHAR+toFileNewName;
FilenewFile=newFile(filePath);
//修改文件名
booleanuploadFlag=toBeRenamed.renameTo(newFile);

fileUploadDTO.setMtime(DateUtil.getCurrentTimeStamp());
fileUploadDTO.setUploadComplete(uploadFlag);
fileUploadDTO.setPath(filePath);
fileUploadDTO.setSize(newFile.length());
fileUploadDTO.setFileExt(ext);
fileUploadDTO.setFileId(toFileNewName);

returnfileUploadDTO;
}
}

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序，支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

• 項目地址：https://gitee.com/zhijiantianya/yudao-cloud
• 視頻教程：https://doc.iocoder.cn/video/

總結

在實現分片上傳的過程，需要前端和后端配合，比如前后端的上傳塊號的文件大小，前后端必須得要一致，否則上傳就會有問題。其次文件相關操作正常都是要搭建一個文件服務器的，比如使用fastdfs、hdfs等。

本示例代碼在電腦配置為4核內存8G情況下，上傳24G大小的文件，上傳時間需要30多分鐘，主要時間耗費在前端的md5值計算，后端寫入的速度還是比較快。如果項目組覺得自建文件服務器太花費時間，且項目的需求僅僅只是上傳下載，那么推薦使用阿里的oss服務器，其介紹可以查看官網:

https://help.aliyun.com/product/31815.html

阿里的oss它本質是一個對象存儲服務器，而非文件服務器，因此如果有涉及到大量刪除或者修改文件的需求，oss可能就不是一個好的選擇。

文末提供一個oss表單上傳的鏈接demo，通過oss表單上傳，可以直接從前端把文件上傳到oss服務器，把上傳的壓力都推給oss服務器:

https://www.cnblogs.com/ossteam/p/4942227.html

審核編輯 ：李倩