SPARKSQL3.0-Catalog源码剖析

SPARKSQL3.0-Catalog源码剖析

一、前言

阅读本节需要先掌握Analyzer阶段的相关知识

在Spark SQL 系统中，Catalog 主要用于各种函数资源信息和元数据信息 （数据库、数据表数据视图、数据分区等）的统一管理。

初次看这种解释还是比较模糊，一会我们看源码就很清晰了

二、源码

首先Catalog是在SessionState类中，看过SessionState一节的话应该知道SessionState是在BaseSessionStateBuilder类中的build函数构建的：

def build(): SessionState = {
   
    new SessionState
1
2