java 大檔案分片上傳處理
我們平時經常做的是上傳檔案，上傳資料夾與上傳檔案類似，但也有一些不同之處，這次做了上傳資料夾就記錄下以備後用。
這次專案的需求：
支援大檔案的上傳和續傳，要求續傳支援所有瀏覽器，包括ie6,ie7,ie8,ie9,Chrome,Firefox,360安全瀏覽器，並且重新整理瀏覽器後仍然能夠續傳，重啟瀏覽器（關閉瀏覽器後再開啟）仍然能夠繼續上傳，重啟電腦後仍然能夠上傳
支援資料夾的上傳，要求服務端能夠保留層級結構，並且能夠續傳。需要支援10萬個以上的資料夾上傳。
支援低版本的系統和瀏覽器，因為這個專案的最終執行環境在政府，政府的配置都一般，職員都是辦公用，記憶體都不大，基本上以Windows XP的系統為主。
1、介紹enctype
enctype 屬性規定傳送到伺服器之前應該如何對錶單資料進行編碼。
enctype作用是告知伺服器請求正文的MIME型別（請求訊息頭content-type的作用一樣）
1、1 enctype的取值有三種
|
值 |
描述 |
|
application/x-www-form-urlencoded |
在傳送前編碼所有字元（預設） |
|
multipart/form-data |
不對字元編碼。每一個表單項分割為一個部件 |
|
text/plain |
空格轉換為 “+” 加號，但不對特殊字元編碼。 |
1. 當enctype=’application/x-www-form-urlencoded’
2.當enctype=’multipart/form-data’
通過觀察發現這個的請求體就發生了變化。這種請求體被稱之為多部件請求體。
什麼是多部件請求體：就是把每一個表單項分割為一個部件。
以請求頭的content-type的boundary後面的一串隨機字串作為分割標識
普通表單項：
//name的意思是文字框裡面name的屬性值，而admin是我們輸入的文字值
Content-Disposition: form-data; name="username"
admin
檔案表單項
//filename的意思是：我們上傳的檔名稱，content-Type的意思是：MIME型別，asdasdas的意思是：檔案裡面的內容
Content-Disposition: form-data; name="upload"; filename="a.txt"
Content-Type: text/plain
asdasdas
3. 當enctype=’text/plain’
w3c稱：空格會變成”+”加號，但是我這裡沒有發現，只有當get請求的時候，空格會變成”+”號
進入正題
完成上傳需要滿足3個必要的條件
提供form表單，method必須是post，因為get請求的傳輸資料一般為2kb，不同瀏覽器不一樣。
form表單屬性enctype的必須是multipart/form-data
提供input type=”file”類的上傳輸入域
大致實現原理：當enctype的值是multipart/form-data時，瀏覽器會把每個表單項進行分割，分割成不同的部件，以boundary的值為分割標識，這個標識的字串是隨機生成的，最後一個表單項的分割標識字串末尾會多兩個”- -“，代表結束。服務端用request.getHeader(“content-type”)獲取分割字串，然後進行解析。
程式碼實現
一、開發環境搭建
準備兩個第三方jar包
所有依賴包
程式碼實現
<%@ page language="java" import="up6.DBFile" pageEncoding="UTF-8"%>
<%@ page contentType="text/html;charset=UTF-8"%>
<%@ page import="up6.FileBlockWriter" %>
<%@ page import="up6.XDebug" %>
<%@ page import="up6.*" %>
<%@ page import="up6.biz.*" %>
<%@ page import="org.apache.commons.fileupload.FileItem" %>
<%@ page import="org.apache.commons.fileupload.FileItemFactory" %>
<%@ page import="org.apache.commons.fileupload.FileUploadException" %>
<%@ page import="org.apache.commons.fileupload.disk.DiskFileItemFactory" %>
<%@ page import="org.apache.commons.fileupload.servlet.ServletFileUpload" %>
<%@ page import="org.apache.commons.lang.*" %>
<%@ page import="java.net.URLDecoder"%>
<%@ page import="java.util.Iterator"%>
<%@ page import="net.sf.json.JSONObject"%>
<%@ page import="java.util.List"%>
<%
out.clear();
String uid = request.getHeader("uid");//
String id = request.getHeader("id");
String lenSvr = request.getHeader("lenSvr");
String lenLoc = request.getHeader("lenLoc");
String blockOffset = request.getHeader("blockOffset");
String blockSize = request.getHeader("blockSize");
String blockIndex = request.getHeader("blockIndex");
String blockMd5 = request.getHeader("blockMd5");
String complete = request.getHeader("complete");
String pathSvr = "";
//引數為空
if( StringUtils.isBlank( uid )
|| StringUtils.isBlank( id )
|| StringUtils.isBlank( blockOffset ))
{
XDebug.Output("param is null");return;
}
boolean isMultipart = ServletFileUpload.isMultipartContent(request);
FileItemFactory factory = new DiskFileItemFactory();
ServletFileUpload upload = new ServletFileUpload(factory);
List files = null;
try {files = upload.parseRequest(request);}
catch (FileUploadException e)
{out.println("read file data error:" + e.toString());return;}
FileItem rangeFile = null;
Iterator fileItr = files.iterator();
while (fileItr.hasNext())
{
rangeFile = (FileItem) fileItr.next();
if(StringUtils.equals( rangeFile.getFieldName(),"pathSvr"))
{
pathSvr = rangeFile.getString();
pathSvr = PathTool.url_decode(pathSvr);
}
}
boolean verify = false;
String msg = "";
String md5Svr = "";
long blockSizeSvr = rangeFile.getSize();
if(!StringUtils.isBlank(blockMd5)){md5Svr = Md5Tool.fileToMD5(rangeFile.getInputStream());}
verify = Integer.parseInt(blockSize) == blockSizeSvr;
if(!verify){ msg = "block size error sizeSvr:" + blockSizeSvr + "sizeLoc:" + blockSize;}
if(verify && !StringUtils.isBlank(blockMd5))
{
verify = md5Svr.equals(blockMd5); if(!verify) msg = "block md5 error";
}
if(verify)
{
FileBlockWriter res = new FileBlockWriter();
if( Integer.parseInt(blockIndex)==1) res.CreateFile(pathSvr,Long.parseLong(lenLoc));
res.write( Long.parseLong(blockOffset),pathSvr,rangeFile);
up6_biz_event.file_post_block(id,Integer.parseInt(blockIndex));
JSONObject o = new JSONObject();
o.put("msg", "ok");
o.put("md5", md5Svr);
o.put("offset", blockOffset);
msg = o.toString();
}
rangeFile.delete();
out.write(msg);
%>
下載的必須條件
兩個頭一個流
content-type
Content-Type是返回訊息中非常重要的內容，表示文件內容屬於什麼MIME型別。
瀏覽器會根據Content-Type來決定如何顯示返回的訊息體內容。
預設值是text/html
可以使用request.getServletContext().getMimeType(“檔名”)獲取MIME型別。
Content-Disposition
Content-disposition 是 MIME 協議的擴充套件，MIME 協議指示 MIME 使用者代理如何顯示附加的檔案。
預設值是inline，表示在瀏覽器視窗中開啟。
服務端向客戶端遊覽器傳送檔案時，如果是瀏覽器支援的檔案型別，一般會預設使用瀏覽器開啟，比如txt、jpg等，會直接在瀏覽器 中顯示。
如果需要提示使用者儲存，利用Content-Disposition進行一下處理，關鍵在於一定要加上attachment。
例如：Content-Disposition:attachment;filename=xxx，瀏覽器就會啟用下載框對話方塊， attachment 表示附件, filname 後面跟隨的是顯示在下載框中的檔名稱。
流
下載就是向客戶端響應位元組資料! 將一個檔案變成位元組陣列, 使用 response.getOutputStream()
來響應給瀏覽器。
程式碼如下，此程式碼已經實現了斷點續傳功能，使用者在下載過程可以暫停，和繼續下載，對伺服器造成的壓力也比較小。
String fid = request.getHeader("id");
String blockIndex = request.getHeader("blockIndex");//基於1
String blockOffset = request.getHeader("blockOffset");//塊偏移，相對於整個檔案
String blockSize = request.getHeader("blockSize");//塊大小（當前需要下載的大小）
String pathSvr = request.getHeader("pathSvr");//檔案在伺服器的位置
pathSvr = PathTool.url_decode(pathSvr);
if ( StringUtils.isBlank(fid)
||StringUtils.isBlank(blockIndex)
||StringUtils.isEmpty(blockOffset)
||StringUtils.isBlank(blockSize)
||StringUtils.isBlank(pathSvr))
{
response.setStatus(500);
response.setHeader("err","引數為空");
return;
}
File f = new File(pathSvr);
//檔案不存在
if(!f.exists())
{
response.setStatus(500);
OutputStream os = response.getOutputStream();
System.out.println(String.format("%s 檔案不存在",pathSvr));
os.close();
return;
}
long fileLen = f.length();
response.setContentType("application/x-download");
response.setHeader("Pragma","No-cache");
response.setHeader("Cache-Control","no-cache");
response.addHeader("Content-Length",blockSize);
response.setDateHeader("Expires", 0);
OutputStream os = response.getOutputStream();
try
{
RandomAccessFile raf = new RandomAccessFile(pathSvr,"r");
int readToLen = Integer.parseInt(blockSize);
int readLen = 0;
raf.seek( Long.parseLong(blockOffset) );//定位索引
byte[] data = new byte[1048576];
while( readToLen > 0 )
{
readLen = raf.read(data,0,Math.min(1048576,readToLen) );
readToLen -= readLen;
os.write(data, 0, readLen);
}
os.flush();
os.close();
raf.close();
os = null;
response.flushBuffer();
out.clear();
out = pageContext.pushBody();
}
catch(Exception e)
{
response.setStatus(500);
os.close();
out.close();
e.printStackTrace();
}
finally
{
if(os != null)
{
os.close();
os = null;
}
out.clear();
out = pageContext.pushBody();
}%>
載入檔案列表，在下載列表中顯示出來
後端程式碼邏輯大部分是相同的，目前能夠支援MySQL,Oracle,SQL。在使用前需要配置一下資料庫，
控制元件原始碼下載：