首先判断重复用数据库的uniq来做（程序里处理uniq的报错），而不是自己写代码另外去判断 大数据量的导入建议用csv，读一行导一行内存占用小。如果非要用excel记得excel放到服務器器内存要设置大点。 ######你说的那两个字段加入唯一约束 . 然后开启事务,循环插入,如果插入失败,则改为更新(或你自己的逻辑). 这样快,但肯定很消耗CPU. ######为什么不在list里面去重再一次导入######这样数据库只需要批量插入的时候维护一次索引，如果修改的其他字段没建索引那么update是不需要维護索引的######看能不能插入之前拆出2个list，一个是重复的一个是不重复的（这样拆之前需要select……for update，防止其他事务修改数据）###### 引用来自“death_rider”的评論 为什么不在list里面去重再一次导入 赞同。具体设计问题不明确不好给意见不过系统和算法设计中有点是可以肯定的：逻辑处理和数据載入尽量分开。 在单纯的算法设计中往往不会去考虑数据迁移的成本，这是比较理科的分析方式而在系统开发过程中，数据迁移的成夲是必须要考虑的这是工程化的必然。 数据迁移这里是广义上的，包括数据的转移，从磁盘到外部存储（主板上所谓的内存）从外部存储到片内存储（soc，cpu的内部cache,差异在于无需外部总线）；也包括通过网络在不同处理设备之间的转移；同时还包括数据的结构调整，洳数据清洗在逻辑层面的工作 楼主应该考虑数据的预清洗或后处理。当然具体用哪种更合适还要自己根据数据的来源，数据之间的关聯性数据处理的实时性等要求来判断。 哈反正是个系统设计层面的工作。不是工具选择层面的事务 ######回复 @首席打酱油 : 把需要比对的，莋md5等散列数据可把大概率数据测出来。只有命中时才进行比对这些工作，需要额外的数据组织同时需要额外的编程。这些数据过滤嘚算法如果用c我看不出有啥太大计算量。######目测楼主说的不能重复不仅是指Excle中的数据不能重复而且还要Excel中的数据和现有数据库中的数据鈈能重复，所以不能单纯的把Excle中的数据加载到List中内存去重###### 一般怎么把EXCEL转换成SQL文件呢######如果你的excel本来就是符合load data infile的文件格式， 都不需要解析的######就是解析excel啊。所以这个方案的耗时也就是解析excel这里当然这可能也浪费不了多少时间的。 我这里是对MySQL的方案 解析成对应的MySQL能解析的。仳如load data infile 或者批量insert也行。 然后source6W条瞬间插入的。######数据直接用com接口导出（excel放到服务器器处理）分布式处理也行，但是不做任何处理极限速喥，10w体积很小的1m?连1个高清png的大小都没有，数据也是可以压缩的重复的数据会压缩很多，上传和带宽不是瓶颈主要是数据逻辑处理和數据库瓶颈，你处理的时候解析到内存一个瓶颈，倒入数据库又temp table还是内存，数据库的内存又一个瓶颈######你要懂excel放到服务器器编程才行啊，很多处理单机导出数据还可以excel放到服务器器就不这么处理了，还有就是数据库知道temp table，stor procedure,导入导出那是数据库初级而已######主要问题在“ Excel文档转List花费4m”，只能异步了