创作日志: mysql属实是忘完了,但是现在有一百多万的数据要处理,用excel的话会卡死 = =。现在要做的工作是数据去重,主要是依据两个参数或三个参数去重,突然想到了group by带多个参数,这个应该是基础知识吧,只不过我忘了,于是自己动手测试了一下。
1、group by带有两个或多个参数时,参数值 全部都相同的 数据会归为一类。
2、可以使用 count() 函数统计每一类的数据量,括号中可以使用任意一个参数。
3、可以使用 having 子句筛选出其中重复量大于1的数据。
示例数据

第 1、2 条数据中的(start,end)是相同的,第 5、6、7 条数据(start,end)是相同的。其它两种数据各有1条,所以共有4种数据。
1、接下来使用 group by 对 a,b 进行聚类:
SELECT start,end FROM test1 GROUP BY start,end
得到的结果如下,共分为4类。可见,group by带有两个参数时,两个参数都相同的数据会归为一类。

2、还可以使用 count() 函数统计每一类有多少条数据:
注意 count(start) 与 count(end) 的效果是一样的,使用哪个都可以,都是此类的数量。
SELECT count(start) as sum, start, end FROM test1 GROUP BY start, end
或
SELECT count(end) as sum, start, end FROM test1 GROUP BY start, end

3、还可以使用 having 子句筛选数据量 >1 的数据:
可以用来寻找重复数据。
SELECT count(start) as sum, start, end FROM test1 GROUP BY start, end HAVING sum > 1

先自我介绍一下,小编13年上师交大毕业,曾经在小公司待过,去过华为OPPO等大厂,18年进入阿里,直到现在。深知大多数初中级java工程师,想要升技能,往往是需要自己摸索成长或是报班学习,但对于培训机构动则近万元的学费,着实压力不小。自己不成体系的自学效率很低又漫长,而且容易碰到天花板技术停止不前。因此我收集了一份《java开发全套学习资料》送给大家,初衷也很简单,就是希望帮助到想自学又不知道该从何学起的朋友,同时减轻大家的负担。添加下方名片,即可获取全套学习资料哦