SPARKSQL3.0-DataFrameAPI与spark.sql()区别源码分析

一、前言：

阅读本节需要先掌握spark-sql内部执行的基本知识：

SessionState

Unresolved阶段

Analyzer阶段中queryExecution的介绍

二、区别

spark.sql的执行顺序为: sql字符串 -> antlr4解析成AST语法树 -> unreolved解析成logicalPlan -> Analyzer解析 -> Optimizer优化 -> 后续物理执行计划

DataFrame执行顺序: 根据api直接构建logicalPlan -> 根据调用不同的api嵌套成新的logicalPlan【部分函数包含Analyzer解析】 -> action算子触发Optimizer优化 -> 后续物理执行计划

可以看出dataFrameAPI 和 spark.sql 的【Optimizer优化 -> 后续物理执行计划】完全一致；

而dataFrameAPI的Analyzer阶段是在调用select等函数时直接触发Analyzer阶段，下面有详细过程

两者唯一的区别是data