1. 為什么“數(shù)據(jù)庫到Excel”這個需求值得認真對待但凡做過企業(yè)級應用的人幾乎都繞不開一個場景業(yè)務方跑過來說“能不能把系統(tǒng)里的數(shù)據(jù)導出來給我我要在Excel里做分析”?；蛘叻催^來“我這邊整理了一份Excel能不能批量導入到系統(tǒng)里”。這個需求聽起來簡單得不像個技術問題但真正動過手的人都知道從MySQL到Excel的導出與導入坑遠比想象中多。我做過不少類似的項目從最早用JDBC拼字符串生成CSV到后來用POI直接寫xlsx再到用EasyExcel處理百萬行級別的數(shù)據(jù)每一次都在踩坑中積累經(jīng)驗。這篇文章就把我這些年在這個場景下積累的東西完整梳理一遍從方案選型、核心實現(xiàn)、性能優(yōu)化到常見問題排查盡量做到你拿著就能用。先說清楚這個內(nèi)容適合誰看如果你是一個Java后端開發(fā)者手頭有MySQL數(shù)據(jù)庫需要實現(xiàn)數(shù)據(jù)的Excel導出和導入功能不管你是剛入行的新手還是有一定經(jīng)驗的工程師這篇文章都能給你提供可直接參考的方案。我會從最基礎的實現(xiàn)講起逐步深入到性能優(yōu)化和異常處理中間會穿插大量實際項目中總結的經(jīng)驗和注意事項。核心關鍵詞就幾個Java、MySQL、Excel、導出、導入、Apache POI、EasyExcel。這些詞會貫穿全文但我不會為了堆砌而堆砌每個技術點的出現(xiàn)都是因為實際需要。2. 方案選型用什么庫、走什么路線2.1 主流Excel處理庫對比Java生態(tài)里處理Excel的庫不算多主流的就是那么幾個。我整理了一個對比表格方便你根據(jù)自己項目的實際情況做選擇庫名稱優(yōu)勢劣勢適用場景Apache POI功能最全支持xls和xlsx社區(qū)成熟API偏底層代碼量大內(nèi)存占用高復雜格式、圖表、公式等高級需求EasyExcelAPI簡潔內(nèi)存占用低適合大數(shù)據(jù)量功能相對POI少一些復雜格式支持有限大數(shù)據(jù)量導入導出格式要求不極端JXL輕量API簡單只支持xls已停止維護老項目維護新項目不推薦CSV方案極簡無依賴性能最好不支持格式、多sheet編碼問題多純數(shù)據(jù)交換無格式要求我個人的選擇邏輯是這樣的如果數(shù)據(jù)量在10萬行以內(nèi)格式要求不高直接用EasyExcel如果數(shù)據(jù)量超過50萬行優(yōu)先考慮EasyExcel的流式處理或者CSV方案如果業(yè)務方要求復雜的表頭合并、單元格樣式、公式計算那就老老實實用Apache POI。這里要特別說一個誤區(qū)很多人覺得POI性能差就完全不用其實POI的SXSSF模式流式寫入在處理大數(shù)據(jù)量時表現(xiàn)也不差只是API用起來確實比EasyExcel啰嗦不少。2.2 導出方案的核心考量導出這個方向核心要解決的問題就三個數(shù)據(jù)量、格式要求、響應方式。數(shù)據(jù)量決定了你用哪種寫入模式。POI的XSSF模式是把整個工作簿放在內(nèi)存里10萬行以上就可能OOMSXSSF模式是流式寫入只在內(nèi)存里保留一定行數(shù)默認100行適合百萬級數(shù)據(jù)。EasyExcel底層也是基于流式寫入的思路但封裝得更好用。格式要求決定了你選哪個庫。如果只是簡單的表頭加數(shù)據(jù)行EasyExcel足夠如果需要合并單元格、設置條件格式、插入圖片那POI是唯一選擇。響應方式?jīng)Q定了你的接口設計。如果是同步導出用戶點擊按鈕后等待文件生成然后下載那要注意HTTP超時和內(nèi)存控制如果是異步導出生成文件后存到文件服務器再通知用戶下載那要考慮文件清理和并發(fā)控制。2.3 導入方案的核心考量導入比導出更復雜因為你要處理用戶輸入的不確定性。用戶可能傳一個空文件、可能傳一個格式不對的文件、可能傳一個列順序亂掉的文件、可能傳一個包含非法字符的文件。導入功能的核心不是“讀Excel”而是“校驗和容錯”。我的經(jīng)驗是導入功能至少要考慮以下幾層校驗文件格式校驗是不是xlsx/xls、文件大小校驗防止惡意大文件、表頭校驗列名和順序是否匹配、數(shù)據(jù)類型校驗數(shù)字列是不是數(shù)字、業(yè)務規(guī)則校驗必填項、唯一性、關聯(lián)關系。每一層校驗都要給用戶明確的錯誤提示最好能定位到具體是哪一行哪一列出了問題。3. 從MySQL導出到Excel的完整實現(xiàn)3.1 環(huán)境準備與依賴引入先假設你用的是Maven項目需要引入的依賴如下。這里我同時給出POI和EasyExcel的依賴你可以根據(jù)實際選型決定用哪個!-- Apache POI 核心依賴 -- dependency groupIdorg.apache.poi/groupId artifactIdpoi/artifactId version5.2.3/version /dependency dependency groupIdorg.apache.poi/groupId artifactIdpoi-ooxml/artifactId version5.2.3/version /dependency !-- EasyExcel 依賴 -- dependency groupIdcom.alibaba/groupId artifactIdeasyexcel/artifactId version3.3.2/version /dependency !-- MySQL 驅(qū)動 -- dependency groupIdmysql/groupId artifactIdmysql-connector-java/artifactId version8.0.33/version /dependency注意POI 5.x版本和4.x版本在API上有一些差異網(wǎng)上很多老教程用的是4.x的寫法直接復制可能會編譯報錯。建議統(tǒng)一用5.x版本API更穩(wěn)定。數(shù)據(jù)庫連接池我推薦用HikariCPSpring Boot項目默認就是它這里不展開。關鍵是要確保你的數(shù)據(jù)源配置里fetchSize設置合理導出大數(shù)據(jù)量時這個參數(shù)直接影響內(nèi)存占用。3.2 基于POI的導出實現(xiàn)先看一個最基礎的POI導出實現(xiàn)把MySQL中的一張表導出為xlsx文件。假設我們有一張用戶表字段包括id、name、email、create_timepublic void exportWithPoi(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { // 關鍵設置流式讀取結果集避免一次性加載所有數(shù)據(jù)到內(nèi)存 ps.setFetchSize(Integer.MIN_VALUE); // MySQL驅(qū)動需要設置為流式模式 ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery(); SXSSFWorkbook workbook new SXSSFWorkbook(100)) { // 內(nèi)存中保留100行 Sheet sheet workbook.createSheet(用戶數(shù)據(jù)); // 創(chuàng)建表頭 Row headerRow sheet.createRow(0); String[] headers {ID, 姓名, 郵箱, 創(chuàng)建時間}; for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); } // 填充數(shù)據(jù) int rowIndex 1; while (rs.next()) { Row row sheet.createRow(rowIndex); row.createCell(0).setCellValue(rs.getLong(id)); row.createCell(1).setCellValue(rs.getString(name)); row.createCell(2).setCellValue(rs.getString(email)); Timestamp ts rs.getTimestamp(create_time); if (ts ! null) { row.createCell(3).setCellValue( new SimpleDateFormat(yyyy-MM-dd HH:mm:ss).format(ts)); } } // 寫入文件 try (FileOutputStream fos new FileOutputStream(outputPath)) { workbook.write(fos); } // 清理臨時文件 workbook.dispose(); } } }這段代碼有幾個關鍵點需要解釋。第一SXSSFWorkbook的構造參數(shù)100表示內(nèi)存中只保留100行數(shù)據(jù)超出的部分會寫入臨時文件這樣即使導出100萬行也不會OOM。第二ps.setFetchSize(Integer.MIN_VALUE)是MySQL驅(qū)動特有的流式讀取設置不加這個的話驅(qū)動會一次性把所有結果集加載到內(nèi)存數(shù)據(jù)量大時同樣會OOM。第三workbook.dispose()一定要調(diào)用否則臨時文件不會被清理磁盤空間會被慢慢吃掉。3.3 基于EasyExcel的導出實現(xiàn)同樣的需求用EasyExcel來實現(xiàn)會簡潔很多。先定義一個數(shù)據(jù)對象Data public class UserExcelDTO { ExcelProperty(ID) private Long id; ExcelProperty(姓名) private String name; ExcelProperty(郵箱) private String email; ExcelProperty(創(chuàng)建時間) DateTimeFormat(yyyy-MM-dd HH:mm:ss) private Date createTime; }然后導出邏輯public void exportWithEasyExcel(Connection conn, String outputPath) throws Exception { String sql SELECT id, name, email, create_time FROM user; try (PreparedStatement ps conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY)) { ps.setFetchSize(Integer.MIN_VALUE); try (ResultSet rs ps.executeQuery()) { // 構建數(shù)據(jù)列表實際項目中建議分批查詢避免一次性加載 ListUserExcelDTO dataList new ArrayList(); while (rs.next()) { UserExcelDTO dto new UserExcelDTO(); dto.setId(rs.getLong(id)); dto.setName(rs.getString(name)); dto.setEmail(rs.getString(email)); dto.setCreateTime(rs.getTimestamp(create_time)); dataList.add(dto); } EasyExcel.write(outputPath, UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(dataList); } } }EasyExcel的代碼量明顯少很多而且ExcelProperty注解直接定義了表頭DateTimeFormat處理了日期格式化非常直觀。但要注意上面這種寫法是把所有數(shù)據(jù)先加載到List里再寫入數(shù)據(jù)量特別大時內(nèi)存會有壓力。EasyExcel也支持分批寫入后面性能優(yōu)化部分會講。3.4 導出功能的接口設計實際項目中導出通常是一個HTTP接口。這里給出一個Spring Boot的Controller示例GetMapping(/export/users) public void exportUsers(HttpServletResponse response) throws IOException { response.setContentType(application/vnd.openxmlformats-officedocument.spreadsheetml.sheet); response.setCharacterEncoding(utf-8); String fileName URLEncoder.encode(用戶數(shù)據(jù), UTF-8).replaceAll(\\, %20); response.setHeader(Content-Disposition, attachment;filename*utf-8 fileName .xlsx); // 使用EasyExcel直接寫入response的輸出流 EasyExcel.write(response.getOutputStream(), UserExcelDTO.class) .sheet(用戶數(shù)據(jù)) .doWrite(queryUserList()); }提示文件名一定要做URL編碼否則中文文件名在部分瀏覽器上會亂碼。filename*utf-8這種寫法是RFC 5987規(guī)定的兼容性最好。4. 從Excel導入到MySQL的完整實現(xiàn)4.1 導入功能的設計思路導入功能我一般會拆成三個階段解析階段、校驗階段、入庫階段。解析階段負責把Excel文件讀成Java對象列表校驗階段負責檢查數(shù)據(jù)的合法性入庫階段負責批量寫入數(shù)據(jù)庫。這三個階段分開的好處是每個階段都可以獨立處理異常給用戶精確的錯誤反饋。解析階段用EasyExcel的監(jiān)聽器模式是最合適的因為它支持逐行讀取不需要一次性加載整個文件。校驗階段可以定義一個校驗器接口針對不同的業(yè)務規(guī)則實現(xiàn)不同的校驗邏輯。入庫階段用JDBC的批量插入配合事務控制。4.2 基于EasyExcel的導入實現(xiàn)先定義一個導入用的監(jiān)聽器public class UserImportListener extends AnalysisEventListenerUserExcelDTO { private static final int BATCH_SIZE 500; private ListUserExcelDTO batchList new ArrayList(BATCH_SIZE); private ListString errorMessages new ArrayList(); private int rowIndex 1; // 從第2行開始是數(shù)據(jù)第1行是表頭 private UserService userService; public UserImportListener(UserService userService) { this.userService userService; } Override public void invoke(UserExcelDTO data, AnalysisContext context) { rowIndex; // 單行校驗 String error validateRow(data); if (error ! null) { errorMessages.add(第 rowIndex 行 error); return; } batchList.add(data); // 達到批次大小就入庫 if (batchList.size() BATCH_SIZE) { saveBatch(); } } Override public void doAfterAllAnalysed(AnalysisContext context) { // 處理最后一批 if (!batchList.isEmpty()) { saveBatch(); } } private void saveBatch() { try { userService.batchInsert(batchList); } catch (Exception e) { errorMessages.add(批次入庫失敗 e.getMessage()); } batchList.clear(); } private String validateRow(UserExcelDTO data) { if (data.getName() null || data.getName().trim().isEmpty()) { return 姓名不能為空; } if (data.getEmail() null || !data.getEmail().matches(^[\\w.-][\\w.-]\\.[a-zA-Z]{2,}$)) { return 郵箱格式不正確; } return null; } public ListString getErrorMessages() { return errorMessages; } }調(diào)用方式public ImportResult importUsers(MultipartFile file) throws IOException { UserImportListener listener new UserImportListener(userService); EasyExcel.read(file.getInputStream(), UserExcelDTO.class, listener) .sheet() .doRead(); ImportResult result new ImportResult(); result.setSuccessCount(/* 成功條數(shù) */); result.setErrorMessages(listener.getErrorMessages()); return result; }這個實現(xiàn)有幾個值得注意的地方。第一BATCH_SIZE設為500是一個經(jīng)驗值太小會導致頻繁的數(shù)據(jù)庫交互太大會占用過多內(nèi)存500到1000之間比較合適。第二錯誤信息記錄了具體的行號用戶拿到反饋后可以直接定位到Excel中的問題行。第三doAfterAllAnalysed方法里處理最后一批數(shù)據(jù)這個容易被遺漏。4.3 批量入庫的SQL優(yōu)化批量插入的性能差異非常大我做過測試逐條插入和批量插入在1萬條數(shù)據(jù)上的耗時差距可以達到幾十倍。下面是批量插入的示例public void batchInsert(ListUserExcelDTO list) { String sql INSERT INTO user (name, email, create_time) VALUES (?, ?, ?); try (Connection conn dataSource.getConnection(); PreparedStatement ps conn.prepareStatement(sql)) { conn.setAutoCommit(false); for (UserExcelDTO dto : list) { ps.setString(1, dto.getName()); ps.setString(2, dto.getEmail()); ps.setTimestamp(3, new Timestamp(dto.getCreateTime().getTime())); ps.addBatch(); } ps.executeBatch(); conn.commit(); } catch (SQLException e) { // 異常處理 } }注意MySQL的JDBC連接URL上要加上rewriteBatchedStatementstrue參數(shù)否則addBatch()和executeBatch()不會真正合并成一條SQL性能提升非常有限。這個參數(shù)是MySQL驅(qū)動特有的優(yōu)化開關很多人不知道。4.4 導入功能的容錯設計導入功能最怕的就是用戶傳了一個亂七八糟的文件然后系統(tǒng)拋出一堆看不懂的異常。我的做法是在解析之前先做一輪文件級別的校驗public void validateFile(MultipartFile file) { if (file.isEmpty()) { throw new BusinessException(文件不能為空); } String fileName file.getOriginalFilename(); if (fileName null || (!fileName.endsWith(.xlsx) !fileName.endsWith(.xls))) { throw new BusinessException(只支持xlsx和xls格式的文件); } if (file.getSize() 10 * 1024 * 1024) { throw new BusinessException(文件大小不能超過10MB); } }然后在解析過程中對于格式錯誤、類型轉換失敗等異常EasyExcel會拋出ExcelAnalysisException需要捕獲并轉換成用戶能理解的提示。我一般會自定義一個異常處理器EasyExcel.read(inputStream, UserExcelDTO.class, listener) .registerConverter(new CustomStringConverter()) .sheet() .doRead();自定義Converter可以處理一些特殊的數(shù)據(jù)轉換場景比如把Excel中的“是/否”轉換成Java的Boolean或者把“2024/1/1”這種非標準日期格式解析成Date對象。5. 性能優(yōu)化與大數(shù)據(jù)量處理5.1 導出性能優(yōu)化的幾個關鍵點大數(shù)據(jù)量導出核心就一個字流。從數(shù)據(jù)庫查詢到Excel寫入整條鏈路都要做到流式處理不能在任何環(huán)節(jié)把全量數(shù)據(jù)加載到內(nèi)存。數(shù)據(jù)庫層面前面提到的setFetchSize(Integer.MIN_VALUE)是必須的。但這里有個坑MySQL驅(qū)動在流式讀取模式下同一個連接不能同時執(zhí)行其他查詢否則會報“Streaming result set is still active”的錯誤。所以導出操作最好使用獨立的數(shù)據(jù)庫連接不要和業(yè)務查詢共用。Excel寫入層面POI的SXSSF模式已經(jīng)做了流式處理但要注意SXSSFWorkbook的構造參數(shù)不要設得太大100到1000之間比較合適。設得太大內(nèi)存占用高設得太小臨時文件IO頻繁。還有一個容易被忽略的點是單元格樣式的創(chuàng)建。POI中每創(chuàng)建一個CellStyle都會占用內(nèi)存如果每行都創(chuàng)建新樣式數(shù)據(jù)量大時內(nèi)存會暴漲。正確的做法是把樣式創(chuàng)建在循環(huán)外面所有行復用同一個樣式對象CellStyle style workbook.createCellStyle(); Font font workbook.createFont(); font.setBold(true); style.setFont(font); // 在循環(huán)外面創(chuàng)建循環(huán)里面復用 for (int i 0; i headers.length; i) { Cell cell headerRow.createCell(i); cell.setCellValue(headers[i]); cell.setCellStyle(style); // 復用樣式 }5.2 導入性能優(yōu)化的幾個關鍵點導入的性能瓶頸通常在數(shù)據(jù)庫寫入上。除了前面說的批量插入和rewriteBatchedStatementstrue還有幾個優(yōu)化點第一關閉自動提交。每次executeBatch()之前手動setAutoCommit(false)批量執(zhí)行完再commit()可以減少事務開銷。第二合理設置批次大小。我實測下來500到1000條一批比較均衡。批次太小數(shù)據(jù)庫交互頻繁批次太大內(nèi)存占用高且單次事務時間長。第三使用多線程解析。EasyExcel支持多線程讀取但要注意線程安全問題。如果業(yè)務允許可以把Excel按行拆分成多個片段用線程池并行解析和入庫。不過這個方案實現(xiàn)復雜度較高數(shù)據(jù)量不是特別大的話沒必要。第四數(shù)據(jù)庫連接池配置。導入操作會占用數(shù)據(jù)庫連接較長時間連接池的maxPoolSize要設置合理避免導入操作把連接池占滿導致其他業(yè)務請求無法處理。5.3 內(nèi)存監(jiān)控與OOM預防大數(shù)據(jù)量導出最容易出的問題就是OOM。除了用流式處理還建議在代碼里加一些內(nèi)存監(jiān)控的邏輯Runtime runtime Runtime.getRuntime(); long usedMemory runtime.totalMemory() - runtime.freeMemory(); if (usedMemory runtime.maxMemory() * 0.8) { // 內(nèi)存使用超過80%觸發(fā)GC或者暫停處理 System.gc(); // 如果還是高考慮分批處理或者拋出提示 }當然System.gc()只是建議JVM執(zhí)行GC不保證立即執(zhí)行。更可靠的做法是在JVM啟動參數(shù)里設置合理的堆大小和GC策略比如-Xmx2g -Xms2g -XX:UseG1GC。6. 常見問題與排查技巧實錄6.1 導出常見問題速查表問題現(xiàn)象可能原因解決方案導出文件打不開提示損壞輸出流未正確關閉或?qū)懭氩煌暾_保workbook.write()后正確關閉流使用try-with-resources中文文件名亂碼未做URL編碼使用URLEncoder.encode()并設置正確的Content-Disposition導出數(shù)據(jù)量大了就OOM使用了XSSFWorkbook或未設置fetchSize改用SXSSFWorkbook設置setFetchSize(Integer.MIN_VALUE)日期格式不對未設置日期格式或時區(qū)問題使用DateTimeFormat注解或手動SimpleDateFormat導出速度特別慢逐條查詢數(shù)據(jù)庫或頻繁創(chuàng)建樣式批量查詢樣式復用使用流式寫入數(shù)字變成了科學計數(shù)法Excel自動格式化設置單元格格式為文本或使用BigDecimal并設置DataFormat6.2 導入常見問題速查表問題現(xiàn)象可能原因解決方案讀取不到數(shù)據(jù)表頭行號設置錯誤檢查headRowNumber參數(shù)默認是1日期解析失敗Excel中的日期格式不標準自定義Converter處理多種日期格式數(shù)字精度丟失Excel中數(shù)字被存為double使用String接收再轉換或使用BigDecimal批量插入慢未開啟rewriteBatchedStatementsJDBC URL添加該參數(shù)部分數(shù)據(jù)入庫失敗未做事務控制使用事務失敗時回滾或記錄錯誤行內(nèi)存溢出一次性讀取所有數(shù)據(jù)使用監(jiān)聽器模式逐行讀取分批入庫6.3 幾個我踩過的坑第一個坑MySQL流式讀取的副作用。前面提到setFetchSize(Integer.MIN_VALUE)可以實現(xiàn)流式讀取但很多人不知道的是在流式讀取模式下如果結果集沒有讀完就關閉了StatementMySQL驅(qū)動會拋出異常。所以一定要確保ResultSet被完整遍歷或者正確關閉。第二個坑EasyExcel的并發(fā)寫入問題。EasyExcel的doWrite()方法不是線程安全的如果多個線程同時往同一個文件寫入會出現(xiàn)數(shù)據(jù)錯亂。如果確實需要并發(fā)導出每個線程應該寫入不同的文件最后再合并。第三個坑Excel的單元格類型判斷。用POI讀取Excel時cell.getCellType()返回的類型可能和預期不一致。比如用戶輸入的數(shù)字“123”Excel可能存為NUMERIC類型也可能存為STRING類型。穩(wěn)妥的做法是用DataFormatter來統(tǒng)一處理DataFormatter formatter new DataFormatter(); String value formatter.formatCellValue(cell);第四個坑大文件導入時的超時問題。如果導入的文件很大HTTP請求可能會超時。解決方案是把導入操作改成異步的用戶上傳文件后立即返回一個任務ID后臺異步處理用戶通過任務ID查詢進度和結果。第五個坑Excel中的空行處理。用戶可能在數(shù)據(jù)末尾留了很多空行EasyExcel默認會跳過完全空白的行但如果空行中有格式比如邊框就可能被當成有效數(shù)據(jù)。建議在監(jiān)聽器的invoke()方法里加一個判斷如果所有字段都為空就跳過。7. 一些進階思路與擴展方向7.1 動態(tài)表頭與多Sheet導出實際項目中經(jīng)常遇到需要動態(tài)生成表頭的場景比如用戶可以選擇導出哪些字段。EasyExcel支持動態(tài)表頭ListListString head new ArrayList(); head.add(Collections.singletonList(ID)); head.add(Collections.singletonList(姓名)); // 根據(jù)用戶選擇動態(tài)添加 EasyExcel.write(outputPath) .head(head) .sheet(數(shù)據(jù)) .doWrite(dataList);多Sheet導出也很簡單多次調(diào)用sheet()方法即可ExcelWriter writer EasyExcel.write(outputPath).build(); WriteSheet sheet1 EasyExcel.writerSheet(0, 用戶數(shù)據(jù)).head(UserExcelDTO.class).build(); WriteSheet sheet2 EasyExcel.writerSheet(1, 訂單數(shù)據(jù)).head(OrderExcelDTO.class).build(); writer.write(userList, sheet1); writer.write(orderList, sheet2); writer.finish();7.2 導入時的數(shù)據(jù)去重與更新策略導入數(shù)據(jù)時經(jīng)常需要處理“已存在的數(shù)據(jù)是更新還是跳過”的問題。我的做法是在校驗階段查詢數(shù)據(jù)庫根據(jù)業(yè)務主鍵判斷數(shù)據(jù)是否已存在然后分別走插入或更新邏輯。批量場景下可以先把所有主鍵查出來放到一個Set里避免逐條查詢數(shù)據(jù)庫。7.3 導出文件的存儲與清理如果是異步導出生成的文件需要臨時存儲。我一般會在服務器上建一個臨時目錄文件名用UUID避免沖突然后設置一個定時任務定期清理超過24小時的文件。如果文件比較大還可以考慮壓縮后再提供下載。8. 個人經(jīng)驗總結做了這么多導出導入的功能我最大的體會是這個看似簡單的需求實際上考驗的是你對整個數(shù)據(jù)鏈路的掌控能力。從數(shù)據(jù)庫查詢、內(nèi)存管理、Excel寫入、HTTP響應到異常處理每一個環(huán)節(jié)都可能出問題。如果讓我給新手一個建議那就是先用最簡單的方案把功能跑通然后再根據(jù)實際的數(shù)據(jù)量和性能要求逐步優(yōu)化。不要一上來就追求完美方案很多時候業(yè)務方的數(shù)據(jù)量根本沒那么大過度設計反而增加了維護成本。另外導入功能的錯誤提示一定要做得足夠友好。用戶傳了一個有問題的文件你要告訴他具體是哪一行哪一列出了什么問題而不是拋一個“系統(tǒng)異?！本屯晔铝恕＿@一點在實際項目中得到的正面反饋最多也是最容易被開發(fā)者忽略的地方。最后分享一個小技巧在導出功能的測試階段可以用LIMIT子句限制查詢條數(shù)先驗證格式和邏輯是否正確確認無誤后再去掉限制做全量導出。這樣可以避免每次測試都等待大量數(shù)據(jù)查詢和寫入的時間。