玩转用户自定义函数UDF_大数据培训

用户自定义函数

在Shell窗口中可以通过spark.udf功能用户可以自定义函数。

 UDF

1）创建DataFrame

scala> val df = spark.read.json(“examples/src/main/resources/people.json”)

df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

2）打印数据

3）注册UDF，功能为在数据前添加字符串

scala> spark.udf.register(“addName”, (x:String)=> “Name:”+x)

res5: org.apache.spark.sql.expressions.UserDefinedFunction = UserDefinedFunction(,StringType,Some(List(StringType)))

4）创建临时表

scala> df.createOrReplaceTempView(“people”)

5）应用UDF