MybatisPlus批量插入避坑指南：从10万到百万条数据的性能飞跃
MybatisPlus百万级数据批量插入实战：从性能瓶颈到极致优化
当数据量从十万级跃升至百万级时，批量插入操作的性能差异会变得极其明显。我曾在一个电商促销系统里，亲眼目睹了由于批量插入策略不当导致的数据库连接池耗尽——仅仅因为选择了错误的批处理方式，整个系统在高并发下单时几乎瘫痪。这让我深刻认识到，批量插入不是简单的API调用问题，而是一个需要综合考虑框架特性、数据库参数和JVM优化的系统工程。
1. 为什么MybatisPlus的saveBatch并不总是高效
很多开发者第一次接触MybatisPlus批量插入时，都会欣喜地发现saveBatch方法。但当你真正处理十万级以上数据时，可能会发现性能提升并不如预期。这背后有几个关键原因：
- 默认批处理大小不合适：MybatisPlus默认的batchSize是1000，对于某些场景可能过大或过小
- 事务边界不明确：自动提交模式下每条语句都触发事务提交，产生额外开销
- JDBC驱动未优化：没有启用MySQL的批量语句重写功能
// 典型但可能低效的批量插入用法 List<User> userList = generateUsers(100000); userService.saveBatch(userList); // 潜在性能陷阱！实际测试发现，在未优化环境下插入10万条数据：
- 逐条插入：约120秒
- 默认saveBatch：约18秒
- 优化后saveBatch：可达8秒
2. 深度优化MySQL批处理性能
要让批量插入真正发挥威力，必须打通从应用到数据库的整个链路。以下是经过实战验证的优化组合拳：
2.1 关键MySQL参数配置
在JDBC连接字符串中加入以下参数：
jdbc:mysql://localhost:3306/db? rewriteBatchedStatements=true& useServerPrepStmts=true& cachePrepStmts=true& prepStmtCacheSize=250& prepStmtCacheSqlLimit=2048| 参数 | 作用 | 推荐值 |
|---|---|---|
| rewriteBatchedStatements | 将多个INSERT合并为多值语法 | true |
| useServerPrepStmts | 启用服务端预处理 | true |
| cachePrepStmts | 缓存预处理语句 | true |
| prepStmtCacheSize | 预处理缓存数量 | 250-500 |
| prepStmtCacheSqlLimit | 缓存语句长度限制 | 2048 |
2.2 动态调整批处理大小
批处理大小(batchSize)需要根据数据行大小动态调整：
// 根据数据行大小计算最佳batchSize int avgRowSize = 500; // 估算单行字节数 int maxPacketSize = 16 * 1024 * 1024; // MySQL默认最大包16MB int optimalBatchSize = (int)(maxPacketSize * 0.8 / avgRowSize); userService.saveBatch(userList, optimalBatchSize);3. 突破框架限制的自定义批量方案
当数据量达到百万级时，可能需要突破框架默认实现。这里分享两种进阶方案：
3.1 基于ExecutorType.BATCH的会话模式
@Transactional public void batchInsert(List<User> users) { SqlSession sqlSession = sqlSessionTemplate.getSqlSessionFactory() .openSession(ExecutorType.BATCH); try { UserMapper mapper = sqlSession.getMapper(UserMapper.class); for (int i = 0; i < users.size(); i++) { mapper.insert(users.get(i)); if (i % 1000 == 0 || i == users.size() - 1) { sqlSession.flushStatements(); } } sqlSession.commit(); } finally { sqlSession.close(); } }3.2 使用LOAD DATA INFILE超高速导入
对于千万级数据，可以考虑生成CSV文件后使用MySQL原生加载命令：
LOAD DATA LOCAL INFILE '/path/to/users.csv' INTO TABLE user FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n';对应的Java实现：
public void bulkLoad(File csvFile) throws SQLException { try (Connection conn = dataSource.getConnection()) { Statement stmt = conn.createStatement(); stmt.execute("SET foreign_key_checks = 0"); stmt.execute("SET unique_checks = 0"); stmt.execute("SET autocommit = 0"); String sql = String.format( "LOAD DATA LOCAL INFILE '%s' INTO TABLE user " + "FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\n'", csvFile.getAbsolutePath()); stmt.execute(sql); conn.commit(); } }4. 生产环境中的实战经验
在金融级系统中处理每日千万级交易数据时，我们总结出以下黄金法则：
- 预热连接池：应用启动时先建立若干数据库连接
- 分批提交：每5万条左右显式提交一次事务
- 索引管理：批量插入前禁用非关键索引，完成后重建
- 监控调整：实时监控以下指标：
- 数据库CPU负载
- 网络吞吐量
- 锁等待时间
# 监控MySQL批量插入性能的关键命令 mysql> SHOW GLOBAL STATUS LIKE 'Innodb_rows_inserted'; mysql> SHOW PROCESSLIST;在一次系统迁移项目中，通过综合应用这些技术，我们将1亿条数据的导入时间从原来的12小时缩短到47分钟。最关键的突破点是发现并调整了net_buffer_length参数，将其从默认的16KB提升到1MB，使网络往返次数减少了98%。