[spark]排序

1.排序算子

rdd的排序操作算子:

sortByKey:transformatition操作，rdd的类型首先必须是k-v，其次是按照k来进行一个排序

sortBy:transformation操作

takeOrdered:action操作

1）sortByKey

ascending:升序

排序的执行顺序：按集合中元素的比较规则进行排序

函数的作用：按照key进行排序

ascending:为true则按照升序排序，为false则按照降序排序，默认为true

numPartition：可以指定排序结果的分区数，默认排序结果的分区数是这个rdd的分区数。

注意：只有当分区数为1时，才是全局排序，否则仅仅是分区内有序。当分区数为1时，只有1个reduce端，这时它的负载过大。

输出：

2）sortBy

 排序的执行顺序：按照集合中元素的比较规则进行排序，如果集合中元素没有比较规则，则可以通过extends Ordered[] 并重写相应方法实现。

和sortByKey的区别是：sortBy按照f:(T)=>K这个函数的返回值进行排序这使得sortBy使用起来比sortByKey更加灵活。

输出：

2.TopN

按照身高进行排序。

3.二次排序

按照身高升序排序，身高相同的按照年龄降序排序

注：整数表示升序

4.分组TopN

求每一科中成绩的前三名

 输出：

注：集合的方法

1]sortWith

输出： 

2]take 

 

 输出：