Structed Streaming入门--Scala篇

第1关：Structed streaming初体验

任务描述
本关任务：编写一个Structed Streaming版的WordCount。

相关知识
编程模式
假如你想从socket接收数据并将其输出到控制台，Structed streaming是这样做的：

创建Sparksession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder
.appName(“StructuredNetworkWordCount”)
.getOrCreate()
import spark.implicits._
创建流式DataFrame
val lines = spark.readStream
.format(“socket”)
.option(“host”, “localhost”)
.option(“port”, 9999)
.load()
启动流式查询
val query = lines.writeStream
.outputMode(“complete”)
.format(“console”)
.start()
等待停止指令
query.awaitTermination()

这样，数据就输出到控制台了，平常，我们在创建流式DataFrame后会做各种查询操作

接下来，我们对上面代码做一个更详细的说明

package com