67781人阅读
数据库（9）
参考资料：http://blog.csdn.net/guocuifang655/article/details/3993612
方法一： & &&
在使用mysql时，有时需要查询出某个字段不重复的记录，虽然mysql提供 有distinct这个关键字来过滤掉多余的重复记录只保留一条，但往往只用它来返回不重复记录的条数，而不是用它来返回不重记录的所有值。其原因是 distinct只能返回它的目标字段，而无法返回其它字段
下面先来看看例子：
&&&& table
&& id name
库结构大概这样，这只是一个简单的例子，实际情况会复杂得多。
比如我想用一条语句查询得到name不重复的所有数据，那就必须使用distinct去掉多余的重复记录。
select distinct name from table
得到的结果是:
好像达到效果了，可是，我想要得到的是id值呢？改一下查询语句吧:
select distinct name, id from table
&& id name
distinct怎么没起作用？作用是起了的，不过他同时作用了两个字段，也就是必须得id与name都相同的才会被排除。。。。。。。
我们再改改查询语句:
select id, distinct name from table
很遗憾，除了错误信息你什么也得不到，distinct必须放在开头。难到不能把distinct放到where条件里？能，照样报错。。。。。。。
最终好用的语句如下：
select *, count(distinct name) from table group by name
&& id name count(distinct name)
最后一项是多余的，不用管就行了，目的达到。。。。。
哦，对，再顺便说一句，group by 必须放在 order by 和 limit之前，不然会报错。。。。。。。。！OK了
总结语句：select *, count(distinct name) from (select * from table……等嵌套语句) group by name
利用group by
SELECT * FROM(
select * from customer where user=(
SELECT source_user from customer WHERE user='admin') UNION ALL select * from customer where user=(
select source_user from customer where user=(
SELECT source_user from customer WHERE user='admin')) union ALL select * from customer where user=(
select source_user from customer where user=(
select source_user from customer where user=(
SELECT source_user from customer WHERE user='admin'))) UNION ALL select * from customer where source_user=(/*我的上线的上线的user*/
select user from customer where user=(
select source_user from customer where user=(
SELECT source_user from customer WHERE user='admin'))) union all select * from customer where source_user=(/*我的上线的上线的上线user*/
select user from customer where user=(
select source_user from customer where user=(
select source_user from customer where user=(
SELECT source_user from customer WHERE user='admin'))))) as注意加别名，不然报错，注意在where语句外面包装一下，再用group by去重才会生效。
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：1254902次
积分：10867
积分：10867
排名：第1280名
原创：113篇
转载：238篇
评论：149条
(2)(1)(7)(24)(9)(8)(20)(6)(17)(59)(52)(51)(58)(4)(1)(1)(2)(9)(1)(3)(2)(4)(8)(2)INSERT&INTO&hk_test(username,&passwd)&VALUES
('qmf1',&'qmf1'),('qmf2',&'qmf11')
delete&from&hk_test&where&username='qmf1'&and&passwd='qmf1'
MySQL里查询表里的重复数据记录：
先查看重复的原始数据：
场景一：列出username字段有重读的数据
select&username,count(*)&as&count&from&hk_test&group&by&username&having&count&1;
SELECT&username,count(username)&as&count&FROM&hk_test&GROUP&BY&username&HAVING&count(username)&&1&ORDER&BY&count&DESC;
这种方法只是统计了该字段重复对应的具体的个数
场景二：列出username字段重复记录的具体指：
select&*&from&hk_test&where&username&in&(select&username&from&hk_test&group&by&username&having&count(username)&&&1)
SELECT&username,passwd&FROM&hk_test&WHERE&username&in&(&SELECT&username&FROM&hk_test&GROUP&BY&username&HAVING&count(username)&1)
但是这条语句在mysql中效率太差，感觉mysql并没有为子查询生成临时表。在数据量大的时候，耗时很长时间
解决方法：
于是使用先建立临时表&
复制代码&代码如下:
create&table&`tmptable`&as&(&
SELECT&`name`&
FROM&`table`&
GROUP&BY&`name`&HAVING&count(`name`)&&1&
然后使用多表连接查询
复制代码&代码如下:
SELECT&a.`id`,&a.`name`&
FROM&`table`&a,&`tmptable`&t&
WHERE&a.`name`&=&t.`name`;&
结果这次结果很快就出来了。
用&distinct去重复
复制代码&代码如下:
SELECT&distinct&a.`id`,&a.`name`&
FROM&`table`&a,&`tmptable`&t&
WHERE&a.`name`&=&t.`name`;
场景三：查看两个字段都重复的记录：比如username和passwd两个字段都有重复的记录：
select&*&from&hk_test&a
where&(a.username,a.passwd)&in&(select&username,passwd&from&hk_test&group&by&username,passwd&having&count(*)&&&1)
场景四：查询表中多个字段同时重复的记录：
select&username,passwd,count(*)&from&hk_test&group&by&username,passwd&having&count(*)&&&1
MySQL查询表内重复记录
查询及删除重复记录的方法
1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断
from&people
where&peopleId&in&(select&peopleId&from&people&group&by&peopleId&having&count(peopleId)&1)
2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有一个记录
delete&from&people
where&peopleId&in&(select&peopleId&
from&people&group&by&peopleId&having&count(peopleId)&1)
and&min(id)&not&
in&(select&id&from&people&group&by&peopleId&having&count(peopleId)&1)
3、查找表中多余的重复记录（多个字段）
select&*&from&vitae&a
where&(a.peopleId,a.seq)&in&
(select&peopleId,seq&from&vitae&group&by&peopleId,seq&having&count(*)&1)
4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录
delete&from&vitae&a
(a.peopleId,a.seq)&in&(select&peopleId,seq&from&vitae&group&by&peopleId,seq&
having&count(*)&&&1)
and&rowid&not&in&(select&min(rowid)&from&vitae&group&
by&peopleId,seq&having&count(*)&1)
5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录
select&*&from&vitae&a
(a.peopleId,a.seq)&in&(select&peopleId,seq&from&vitae&group&by&peopleId,seq&
having&count(*)&&&1)
and&rowid&not&in&(select&min(rowid)&from&vitae&group&
by&peopleId,seq&having&count(*)&1)
在A表中存在一个字段&name&，而且不同记录之间的&name&值有可能会相同，现在就是需要查询出在该表中的各记录之间，&name&值存在重复的项；
Select&Name,Count(*)&From&A&Group&By&Name&Having&Count(*)&&&1
如果还查性别也相同大则如下:
Select&Name,sex,Count(*)&From&A&Group&By&Name,sex&Having&Count(*)&&&1
declare&@max&integer,@id&integer
declare&cur_rows&cursor&local&for&select&主字段,count(*)&from&表名&group&by&主字段&
having&count(*)&&；&1
open&cur_rows
fetch&cur_rows&into&@id,@max
while&@@fetch_status=0
select&@max&=&@max&-1
set&rowcount&@max
delete&from&表名&where&主字段&=&@id
fetch&cur_rows&into&@id,@max
close&cur_rows
set&rowcount&0
SELECT&*&from&tab1&where&CompanyName&in(&SELECT&companyname&from&tab1&GROUP&BY&CompanyName&HAVING&COUNT(*)&1);
--&129.433ms&
SELECT&*&from&tab1&INNER&join&(&SELECT&companyname&from&tab1&GROUP&BY&CompanyName&HAVING&COUNT(*)&1)&as&tab2&USING(CompanyName);
--&0.482ms
　　有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。
　　1、对于第一种重复，比较容易解决，使用
select&distinct&*&from&tableName
　　就可以得到无重复记录的结果集。
　　如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除
select&distinct&*&into&#Tmp&from&tableName
drop&table&tableName
select&*&into&tableName&from&#Tmp
drop&table&#Tmp
　　发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下
　　假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集
select&identity(int,1,1)&as&autoID,&*&into&#Tmp&from&tableName
select&min(autoID)&as&autoID&into&#Tmp2&from&#Tmp&group&by&Name,autoID
select&*&from&#Tmp&where&autoID&in(select&autoID&from&#tmp2)
最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）
(四)查询重复
select&*&from&tablename&where&id&in&(
select&id&from&tablename&group&by&id&having&count(id)&&&1)
常用的语句
1、查找表中多余的重复记录，重复记录是根据单个字段（mail_id）来判断
&代码如下&复制代码&
&SELECT&*&FROM&table&WHERE&mail_id&IN&(SELECT&mail_id&FROM&table&GROUP&BY&mail_id&HAVING&COUNT(mail_id)&&&1);
2、删除表中多余的重复记录，重复记录是根据单个字段（mail_id）来判断，只留有rowid最小的记录
&代码如下&复制代码&
DELETE&FROM&table&WHERE&mail_id&IN&(SELECT&mail_id&FROM&table&GROUP&BY&mail_id&HAVING&COUNT(mail_id)&&&1)&AND&rowid&NOT&IN&(SELECT&MIN(rowid)&FROM&table&GROUP&BY&mail_id&HAVING&COUNT(mail_id&)&1);
3、查找表中多余的重复记录（多个字段）
&代码如下&复制代码&
SELECT&*&FROM&table&WHERE&(mail_id,phone)&IN&(SELECT&mail_id,phone&FROM&table&GROUP&BY&mail_id,phone&HAVING&COUNT(*)&&&1);
4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录
&代码如下&复制代码&
&DELETE&FROM&table&WHERE&(mail_id,phone)&IN&(SELECT&mail_id,phone&FROM&table&GROUP&BY&mail_id,phone&HAVING&COU(www.111cn.net)NT(*)&&&1)&AND&rowid&NOT&IN&(SELECT&MIN(rowid)&FROM&table&GROUP&BY&mail_id,phone&HAVING&COUNT(*)&1);
5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录
&代码如下&复制代码&
SELECT&*&FROM&table&WHERE&(a.mail_id,a.phone)&IN&(SELECT&mail_id,phone&FROM&table&GROUP&BY&mail_id,phone&HAVING&COUNT(*)&&&1)&AND&rowid&NOT&IN&(SELECT&MIN(rowid)&FROM&table&GROUP&BY&mail_id,phone&HAVING&COUNT(*)&1);
&代码如下&复制代码&
declare&@max&integer,@id&integer
declare&cur_rows&cursor&local&for&select&主字段,count(*)&from&表名&group&by&主字段&having&count(*)&&；&1
open&cur_rows
fetch&cur_rows&into&@id,@max
while&@@fetch_status=0
select&@max&=&@max&-1
set&rowcount&@max
delete&from&表名&where&主字段&=&@id
fetch&cur_rows&into&@id,@max
close&cur_rows
set&rowcount&0
(一)单个字段
1、查找表中多余的重复记录，根据（question_title）字段来判断
&代码如下&复制代码&
select&*&from&questions&where&question_title&in&(select&question_title&from&people&group&by&question_title&having&count(question_title)&&&1)
2、删除表中多余的重复记录，根据（question_title）字段来判断，只留有一个记录
&代码如下&复制代码&
delete&from&questions
where&peopleId&in&(select&peopleId&from&people&group&by&peopleId&having&count(question_title)&&&1)
and&min(id)&not&in&(select&question_id&from&questions&group&by&question_title&having&count(question_title)&1)&
(二)多个字段
删除表中多余的重复记录（多个字段），只留有rowid最小的记录
&代码如下&复制代码&
DELETE&FROM&questions&WHERE&(questions_title,questions_scope)&IN&(SELECT&questions_title,questions_scope&FROM&que(www.111cn.net)stions&GROUP&BY&questions_title,questions_scope&HAVING&COUNT(*)&&&1)&AND&question_id&NOT&IN&(SELECT&MIN(question_id)&FROM&questions&GROUP&BY&questions_scope,questions_title&HAVING&COUNT(*)&1)
用上述语句无法删除，创建了临时表才删的，求各位达人解释一下。
&代码如下&复制代码&
CREATE&TABLE&tmp&AS&SELECT&question_id&FROM&questions&WHERE&(questions_title,questions_scope)&IN&(SELECT&questions_title,questions_scope&FROM&questions&GROUP&BY&questions_title,questions_scope&HAVING&COUNT(*)&&&1)&AND&question_id&NOT&IN&(SELECT&MIN(question_id)&FROM&questions&GROUP&BY&questions_scope,questions_title&HAVING&COUNT(*)&1);
DELETE&FROM&questions&WHERE&question_id&IN&(SELECT&question_id&FROM&tmp);
DROP&TABLE&
查找mysql数据表中重复记录
mysql数据库中的数据越来越多,当然排除不了重复的数据,在维护数据的时候突然想到要把多余的数据给删减掉,剩下有价值的数据。
以下sql语句可以实现查找出一个表中的所有重复的记录.select user_name,count(*) as count from user_table
group by user_name having count&1;
user_name为要查找的重复字段.
count用来判断大于一的才是重复的.
user_table为要查找的表名.
group by用来分组
having用来过滤.
把参数换成自己数据表的相应字段参数，可以先在Phpmyadmin里面或者Navicat里面去运行，看看有哪些数据重复了，然后在数据库里面删除掉，也可以直接将SQL语句放到后台读取新闻的页面里面读取出来，完善成查询重复数据的列表，有重复的可以直接删除。
效果如下：
缺点：这种方法的缺点就是当你的数据库里面的数据量很大的时候，效率很低，我用的是Navicat测试的，数据量不大，效率很高，当然，网站还有其它查询数据重复的SQL语句，举一反三，大家好好研究研究，找到一个适合自己网站的查询语句。
阅读(...) 评论()编程开发子分类相关热词搜索：
看完本文，您的心情是？mysql可以去重的SQL语句 - 简书
mysql可以去重的SQL语句
最近在做数据库查询的时候遇到一个问题,需要在一个表中分页取出满足条件的记录,但是要根据某一字段进行去重。在网上查了查发现SQL语句中去重的方法有两种,第一种是用DISTINCT,第二种使用GROUP BY 。但是网上说的GROUP BY比DISTINCT性能要好,但是暂未做测试.首先第一种方法:DISTINCT语法：SELECT DISTINCT 列1 , 列2
FROM 表名称意思是取出该表中 列1且列2 的数据不重复的记录注意:1,DISTINCT语句中select显示的字段只能是DISTINCT指定的字段，其他字段是不可能出现的。2,DISTINCT必须放在开头。第二种方法:GROUP BY语法:SELECT 列1
FROM 表名称GROUP BY 列1注意:GROUP BY 语句用于结合合计函数，根据一个或多个列对结果集进行分组。此处是为了实现去重功能。}