当前位置：首页 > news >正文

JAVA信创环境大文件分块上传适配与优化

news 2026/8/21 12:41:56

大文件传输系统建设方案

一、需求分析与技术选型

作为项目负责人，针对公司核心需求，需解决以下关键技术挑战：

跨平台兼容性：需兼容IE8等老旧浏览器及Windows 7环境
高并发稳定性：避免传统打包下载导致的内存溢出问题
信创合规性：支持SM4国密算法及信创环境认证
商业授权模式：98万买断授权，需验证供应商资质

经技术委员会评估，决定采用自研核心模块+成熟商业组件的混合架构：

前端：基于Vue2/3+React的适配层抽象
传输层：集成WebSocket+分片传输协议
加密层：SM4/AES双算法动态切换引擎
存储层：阿里云OSS直传+本地缓存双通道

二、核心代码实现（关键模块）

1. 前端分片上传组件（Vue2示例）

// FileUploader.vueexportdefault{data(){return{chunkSize:5*1024*1024,// 5MB分片fileMd5:'',uploadTaskId:''}},methods:{asynccalculateMd5(file){returnnewPromise((resolve)=>{constreader=newFileReader()reader.onload=(e)=>{constspark=newSparkMD5.ArrayBuffer()spark.append(e.target.result)resolve(spark.end())}reader.readAsArrayBuffer(file.slice(0,10*1024*1024))// 取前10MB计算})},asyncuploadFile(file){this.fileMd5=awaitthis.calculateMd5(file)consttotalChunks=Math.ceil(file.size/this.chunkSize)// 检查断点constresumeData=awaitthis.checkResumePoint(this.fileMd5)letstartChunk=resumeData?resumeData.lastChunk+1:0for(leti=startChunk;i<totalChunks;i++){constchunk=file.slice(i*this.chunkSize,(i+1)*this.chunkSize)constformData=newFormData()formData.append('file',chunk)formData.append('chunkIndex',i)formData.append('totalChunks',totalChunks)formData.append('fileMd5',this.fileMd5)formData.append('taskId',this.uploadTaskId)try{awaitaxios.post('/api/upload/chunk',formData,{onUploadProgress:(e)=>{this.updateProgress(i,totalChunks,e.loaded)}})}catch(error){console.error('Chunk upload failed:',error)throwerror}}awaitthis.mergeChunks(this.fileMd5,totalChunks)},// 兼容IE8的XMLHttpRequest实现ie8Upload(file){// 实现略...（使用FileReader API分片读取）}}}

2. 后端分片处理（Spring Boot示例）

@RestController@RequestMapping("/api/upload")publicclassUploadController{@AutowiredprivateChunkServicechunkService;@PostMapping("/chunk")publicResponseEntityuploadChunk(@RequestParam("file")MultipartFilefile,@RequestParam("chunkIndex")intchunkIndex,@RequestParam("totalChunks")inttotalChunks,@RequestParam("fileMd5")StringfileMd5,@RequestParam("taskId")StringtaskId){try{// 存储分片到临时目录StringtempPath="/tmp/uploads/"+taskId+"/"+chunkIndex;Files.write(Paths.get(tempPath),file.getBytes());// 更新进度到RedisredisTemplate.opsForValue().set("upload:progress:"+taskId,String.format("%d/%d",chunkIndex+1,totalChunks));returnResponseEntity.ok().build();}catch(IOExceptione){returnResponseEntity.status(500).build();}}@PostMapping("/merge")publicResponseEntitymergeChunks(@RequestBodyMergeRequestrequest){// SM4加密合并后的文件byte[]encryptedData=SM4Util.encrypt(request.getFileData(),getEncryptionKey(request.getUserId()));// 存储到OSSossClient.putObject("your-bucket",request.getFilePath(),newByteArrayInputStream(encryptedData));returnResponseEntity.ok().build();}}

3. 断点续传持久化（MySQL示例）

CREATETABLEupload_task(task_idVARCHAR(64)PRIMARYKEY,file_md5VARCHAR(64)NOTNULL,user_idVARCHAR(32)NOTNULL,total_chunksINTNOTNULL,completed_chunksINTDEFAULT0,statusTINYINTDEFAULT0COMMENT'0:进行中 1:完成 2:失败',create_timeDATETIMEDEFAULTCURRENT_TIMESTAMP,update_timeDATETIMEDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMP,INDEXidx_user_file(user_id,file_md5));CREATETABLEupload_chunk(idBIGINTAUTO_INCREMENTPRIMARYKEY,task_idVARCHAR(64)NOTNULL,chunk_indexINTNOTNULL,storage_pathVARCHAR(255)NOTNULL,UNIQUEKEYuk_task_chunk(task_id,chunk_index),FOREIGNKEY(task_id)REFERENCESupload_task(task_id));