当前位置：首页 > news >正文

SpringBoot大附件上传的加密存储原理与思路分享

news 2026/8/27 5:52:54

大文件传输系统技术调研与解决方案设计

一、项目背景与需求分析

作为江苏某软件公司的前端工程师，我目前负责一个需要支持20GB级大文件传输的项目。该项目需要实现以下核心功能：

支持单文件和文件夹的上传下载（文件夹需保留完整层级结构）
兼容主流浏览器及信创国产浏览器（龙芯、红莲花、奇安信等）
支持信创国产化环境（统信UOS、中标麒麟、银河麒麟）
数据库兼容主流及国产化产品（SQL Server/MySQL/Oracle/达梦/人大金仓）
后端基于SpringBoot，前端基于Vue2-cli框架

二、现有方案评估

2.1 WebUploader问题分析

之前使用的百度WebUploader组件存在以下问题：

已停止维护，无技术支持
在大文件传输时经常出现数据错误
对国产浏览器兼容性不足
分片上传机制在极端网络条件下不稳定

2.2 其他开源方案调研

调研了市面上主流开源组件（如Uppy、Plupload、Resumable.js等），发现普遍存在：

缺乏对国产软硬件环境的全面支持
文档不完善，二次开发成本高
无商业技术支持，问题响应慢

三、技术方案设计

3.1 整体架构设计

前端(Vue2) ↔ 网关层 ↔ 后端(SpringBoot) ↔ 存储层 ↑ ↑ 浏览器适配 数据库适配

3.2 前端实现方案

3.2.1 文件选择与预处理

// file-selector.vue 组件核心代码methods:{asynchandleFolderSelect(){try{// 使用webkitdirectory属性实现文件夹选择（兼容性处理）constinput=document.createElement('input');input.type='file';input.webkitDirectory=true;// Chrome/Edge等input.directory=true;// Firefox备用input.onchange=async(e)=>{constfiles=Array.from(e.target.files);if(files.length===0)return;// 构建文件树结构constfileTree=this.buildFileTree(files);this.$emit('file-tree-ready',fileTree);};// 国产浏览器兼容处理if(this.isXinChuangBrowser()){// 调用浏览器扩展API或使用ActiveX（根据具体浏览器）this.selectFilesInXinChuangBrowser();}else{input.click();}}catch(error){console.error('文件夹选择失败:',error);this.$message.error('文件夹选择失败，请尝试使用普通文件上传');}},buildFileTree(files){consttree={};files.forEach(file=>{constpathParts=file.webkitRelativePath.split('/');letcurrentLevel=tree;pathParts.forEach((part,index)=>{if(!currentLevel[part]){currentLevel[part]=index===pathParts.length-1?file:{};}currentLevel=currentLevel[part];});});returntree;}}

3.2.2 分片上传实现

// chunk-uploader.js 核心逻辑classChunkUploader{constructor(file,options){this.file=file;this.chunkSize=options.chunkSize||5*1024*1024;// 默认5MBthis.concurrent=options.concurrent||3;this.fileId=this.generateFileId();this.uploadedChunks=newSet();}asyncstartUpload(url){consttotalChunks=Math.ceil(this.file.size/this.chunkSize);constpromises=[];// 使用Promise.all实现并发控制for(leti=0;i<this.concurrent;i++){constworker=async()=>{for(letchunkIndex=i;chunkIndex<totalChunks;chunkIndex+=this.concurrent){if(this.uploadedChunks.has(chunkIndex))continue;try{awaitthis.uploadChunk(url,chunkIndex,totalChunks);this.uploadedChunks.add(chunkIndex);}catch(error){console.error(`分片${chunkIndex}上传失败`,error);// 实现失败重试机制chunkIndex--;}}};promises.push(worker());}awaitPromise.all(promises);awaitthis.mergeChunks(url,totalChunks);}asyncuploadChunk(url,chunkIndex,totalChunks){conststart=chunkIndex*this.chunkSize;constend=Math.min(start+this.chunkSize,this.file.size);constchunk=this.file.slice(start,end);constformData=newFormData();formData.append('file',chunk);formData.append('fileId',this.fileId);formData.append('chunkIndex',chunkIndex);formData.append('totalChunks',totalChunks);formData.append('fileName',this.file.name);formData.append('relativePath',this.relativePath||'');returnfetch(url,{method:'POST',body:formData,headers:{// 国产浏览器可能需要特殊header'X-Requested-With':'XMLHttpRequest'}});}}

3.3 后端实现方案

3.3.1 SpringBoot控制器

@RestController@RequestMapping("/api/file")publicclassFileTransferController{@AutowiredprivateFileChunkServicechunkService;@AutowiredprivateFileMergeServicemergeService;@PostMapping("/upload")publicResponseEntityuploadChunk(@RequestParam("file")MultipartFilefile,@RequestParam("fileId")StringfileId,@RequestParam("chunkIndex")intchunkIndex,@RequestParam("totalChunks")inttotalChunks,@RequestParam(value="relativePath",required=false)StringrelativePath){try{chunkService.saveChunk(fileId,chunkIndex,file.getBytes());// 检查是否所有分片都已上传if(chunkService.isAllChunksUploaded(fileId,totalChunks)){StringfilePath=mergeService.mergeFile(fileId,totalChunks,relativePath);returnResponseEntity.ok(newUploadResponse(true,filePath));}returnResponseEntity.ok(newUploadResponse(false,null));}catch(IOExceptione){returnResponseEntity.internalServerError().build();}}@GetMapping("/download")publicResponseEntitydownloadFile(@RequestParamStringfilePath,HttpServletRequestrequest){try{Resourceresource=fileStorageService.loadFileAsResource(filePath);// 处理国产浏览器下载问题StringuserAgent=request.getHeader("User-Agent");if(isXinChuangBrowser(userAgent)){returnResponseEntity.ok().header(HttpHeaders.CONTENT_DISPOSITION,"attachment; filename=\""+resource.getFilename()+"\"").body(resource);}returnResponseEntity.ok().header(HttpHeaders.CONTENT_DISPOSITION,"attachment; filename=\""+URLEncoder.encode(resource.getFilename(),"UTF-8")+"\"").body(resource);}catch(Exceptione){returnResponseEntity.notFound().build();}}}

3.3.2 分片存储服务

@ServicepublicclassFileChunkServiceImplimplementsFileChunkService{@Value("${file.upload-dir}")privateStringuploadDir;@OverridepublicvoidsaveChunk(StringfileId,intchunkIndex,byte[]chunkData)throwsIOException{PathchunkPath=Paths.get(uploadDir,fileId,String.valueOf(chunkIndex));Files.createDirectories(chunkPath.getParent());Files.write(chunkPath,chunkData);}@OverridepublicbooleanisAllChunksUploaded(StringfileId,inttotalChunks){PathchunkDir=Paths.get(uploadDir,fileId);if(!Files.exists(chunkDir)){returnfalse;}try(DirectoryStreamstream=Files.newDirectoryStream(chunkDir)){returnstream.spliterator().getExactSizeIfKnown()==totalChunks;}catch(IOExceptione){returnfalse;}}}

3.4 数据库适配方案

3.4.1 抽象数据访问层

publicinterfaceFileMetadataRepository{voidsave(FileMetadatametadata);FileMetadatafindByFileId(StringfileId);// 其他CRUD方法...}@Repository@ConditionalOnProperty(name="db.type",havingValue="mysql")publicclassMySQLFileMetadataRepositoryimplementsFileMetadataRepository{@AutowiredprivateJdbcTemplatejdbcTemplate;@Overridepublicvoidsave(FileMetadatametadata){Stringsql="INSERT INTO file_metadata (file_id, file_name, relative_path, total_size, ...) "+"VALUES (?, ?, ?, ?, ...)";jdbcTemplate.update(sql,metadata.getFileId(),metadata.getFileName(),...);}}@Repository@ConditionalOnProperty(name="db.type",havingValue="dameng")publicclassDamengFileMetadataRepositoryimplementsFileMetadataRepository{// 达梦数据库特定实现}