大数据课程K21——Spark的SparkSQL基础语法

1. 查询

df.select("id","name").show();

2. 带条件的查询

df.select($"id",$"name").where($"name" === "bbb").show()

3. 排序查询

orderBy/sort($"列名")  升序排列

orderBy/sort($"列名".desc)  降序排列

orderBy/sort($"列1" , $"列2".desc) 按两列排序

df.select($"id",$"name").orderBy($"name".desc).show

df.select($"id",$"name").sort($"name".desc).show

tabx.select($"id",$"name").sort($"id",$"name".desc).show

4. 分组查询

groupBy("列名", ...).max(列名) 求最大值

groupBy("列名", ...).min(列名) 求最小值

groupBy("列名", ...).avg(列名) 求平均值

groupBy("列名", ...).sum(列名) 求和

groupBy("列名", ...).count() 求个数

groupBy("列名", ...).agg 可以将多个方法进行聚合

scala>val rdd = sc.makeRDD(List((1,"a","bj",100),(2,"b","sh",80),(3,"c","gz",50),(4,"d","bj",45)));

scala>val df = rdd.toDF("id","name","addr","score");

scala>df.groupBy("addr").count().show()