10w 行级别数据的 Excel 导入优化记录
由实施 / 用户 将别的系统的数据填入我们系统中的 Excel 模板，应用将文件内容读取、校对、转换之后产生欠费数据、票据、票据详情并存储到数据库中。
在我接手之前可能由于之前导入的数据量并不多没有对效率有过高的追求。但是到了 4.0 版本，我预估导入时Excel 行数会是 10w+ 级别，而往数据库插入的数据量是大于 3n 的，也就是说 10w 行的 Excel，则至少向数据库插入 30w 行数据。因此优化原来的导入代码是势在必行的。我逐步分析和优化了导入的代码，使之在百秒内完成（最终性能瓶颈在数据库的处理速度上，测试服务器 4g 不仅放了数据库，还放了很多微服务应用。处理能力不太行）。具体的过程如下，每一步都有列出影响性能的问题和解决的办法。
内存
- 2021-06-29
- 阅读175
- 下载0
- 8页
- docx
