• spark内置数据类型


    在用scala编写spark的时候,假如我现在需要将我spark读的数据源的字段,做一个类型转换,因

    为需求中要拼接出sql的create table语句,需要每个字段的sql中的类型,那么就需要去和sparksql

    中的内置数据类型去比对。

    写spark的时候,创建df后用schema算子得到了structField类,查看了源码以后,发现

    这个样例类的三个参数:name、dataType、nullable、(metadata)

    发现第二个参数是这个包下的

    于是查阅资料 发现一共有这些参数:

    1. 整数类型:
    2. IntegerType 或 IntType: 32 位有符号整数。
    3. LongType: 64 位有符号整数。
    4. ShortType: 16 位有符号整数。
    5. ByteType: 8 位有符号整数。
    6. 浮点数类型:
    7. FloatType: 单精度浮点数。
    8. DoubleType: 双精度浮点数。
    9. 十进制类型:
    10. DecimalType: 固定精度和固定规模的十进制数。
    11. 布尔类型:
    12. BooleanType: 用于表示布尔值(truefalse)。
    13. 字符串类型:
    14. StringType: 用于表示字符串。
    15. 二进制类型:
    16. BinaryType: 用于表示二进制数据。
    17. 日期和时间类型:
    18. DateType: 用于表示日期。
    19. TimestampType: 用于表示日期和时间。
    20. 数组类型:
    21. ArrayType: 用于表示数组。
    22. 映射类型:
    23. MapType: 用于表示键值对的映射。
    24. 结构类型:
    25. StructType: 用于表示结构化的数据,可以包含多个字段。
    26. 空类型:
    27. NullType: 用于表示空值。

    这些数据类型都属于 org.apache.spark.sql.types 包,并在 Spark SQL 中提供用于构建 DataFrame 模式的工具。在创建 DataFrame 时,你可以使用这些数据类型来定义每列的数据类型。例如:

    1. import org.apache.spark.sql.types._
    2. val schema = StructType(Seq(
    3. StructField("name", StringType, true),
    4. StructField("age", IntegerType, false),
    5. StructField("salary", DoubleType, true)
    6. ))
    7. val df = spark.createDataFrame(spark.sparkContext.emptyRDD[Row], schema)
  • 相关阅读:
    淘宝母婴购物数据分析
    C#ListView的单元格支持添加基本及自定义任意控件
    数据可视化之平台数据分析
    Oracle 监控的指标有哪些和oracle巡检的内容
    【linux命令讲解大全】006.网络工具简介:bzdiff 和 clockdiff 的用途和功能
    Linux head/tail
    Leetcode 剑指 Offer II 030. 插入、删除和随机访问都是 O(1) 的容器
    P1868 饥饿的奶牛
    Go 反射
    南京邮电大学电工电子(数电)实验报告——计数器 & 移位寄存器
  • 原文地址:https://blog.csdn.net/weixin_51981189/article/details/134536116