spark 列判空

index:

spark null处理. spark列判断是否为null. spark中null的处理. spark 模式匹配. 

为什么要列判断是否为null

eg: 

 
// 如果这里 gender 列为空, 那么发送hbase的api Bytes.toBytes就会报错. 
rowPut.addColumn(Bytes.toBytes("info"), Bytes.toBytes("gender"),Bytes.toBytes(d.gender))

还有其他场景 需要判断 string列是否为空,int列是否为空,数组列是否为空等等情况.

那么 scala 中判断值是否为空是否可以直接用 列 is null 或者  列 == null 呢?

实际情况是:

string可以勉强使用,其他所有类型都不可以.

那么下面给大家写几个例子来搞定 列中 null的判断和处理.

方法1 spark 借助dataset 方便实现列值是否为null

1 构造dataset

dataset样例类定义 关键注意点

注意: 这里有的字段是var ,表示dataset做map等转换的时候,可以修改该字段的值. 其他字段不可变.