Spark SQL在Hive兼容层面仅依赖HiveQL解析、Hive元数据。从HQL被解析成抽象语法树(AST)起,就全部由Spark SQL接管了。 Spark SQL执行计划生成和优化都由Catalyst(函数式关系查询优化框架)负责 Spark SQL增加了DataFrame(即带有Schema信息的RDD),使用户可以在Spark SQL中执行SQL语
京公网安备 11010502049817号