浅谈SparkSQL基本概念和原理

SparkSQL概念

• SparkSQL是Spark的一个模块，SparkSQL是非常成熟的一项技术，是一款处理海量结构化数据的框架。SparkSQL可以支持SQL语言，性能强，自动优化，API接口简单方便，兼容Hive等功能。SparkSQL日常工作业务有：离线开发、数仓搭建、科学计算、数据分析。

SparkSQL特点

1. 融合性：SQL可以无缝集成在代码中, 随时用SQL处理数据。
2. 统一数据访问：一套标准API可读写不同数据源。
3. Hive兼容：可以使用SparkSQL直接计算并生成Hive数据表。
4. 标准化连接：支持标准化JDBC\ODBC连接, 方便和各种数据库进行数据交互。

SparkSQL与Hive之间的比较

• 相同点：两者都是分布式SQL计算引擎，都可以运行Yarn上。

• 不同点：

  • SparkSQL：内存计算、无元数据管理、SQL代码混合执行、底层运行架构为SparkRDD。
  • Hive：磁盘迭代计算、元数据管理、仅SQL开发、底层运行架构为MapReduce。

• 在企业中虽然Hive技术依旧居多，但是作为性能强于Hive的SparkSQL，在未来将会代替Hive成为分布式SQL计算的主流。

SparkSQL的数据抽象

• SparkSQL是二维表数据结构，有三类数据抽象对象：
  1. SchemaRDD（已废弃）
  2. DataSet：可用于Java和Scala语言。
  3. DataFrame：可用于Java、Scala、Python。

SparkSession对象

• 在Spark2.0之后，推出了SparkSession对象，作为Spark编码的统一入口对象。SparkSession对象既可以用于SparkSQL编程、又可以用于SparkCore RDD编程，主要是通过SparkSession对象获取SparkContext方法。

• 如何通过代码创建SparkSession对象：

# 构建SparkSession对象, 这个对象是 构建器模式 通过builder方法来构建
# appName设置程序名称, master设置运行模式、config设置一些常用属性
# getOrCreate()方法，创建SparkSession对象
ss = SparkSession.builder \
    .appName("test") \
    .config("spark.sql.shuffle.partitions", "3") \
    .master("local[*]") \
    .getOrCreate()

# 通过SparkSession对象去获取SparkContext对象
sc = ss.sparkContext
1
2
3
4
5
6
7
8
9
10
11