工作中每一层可能会有数据校验,,




map预聚合跟排序有关,2 次,




1-连接服务端:SparkSQLThriftServer
2-提供交互界面:写SQL,看结果
3-提交SQL给服务端运行,获取返回的结果



Python:游标:cursor
Java:语句:Statement

分桶和分区的区别??????????


直接等同于stored as avro


spark3支持简写,,



concat是sql中语法,,

concat_ws
cx_Oracle/pyhive
tablenames.txt:所有表的表名
config.txt:Oracle、SparkSQL连接的配置信息

工作中这些代码,都需要自己写吗?还是可以调用吗?
要么给java写,要么百度或其他途径直接抄模板,,github,,
isinstance
list嵌套


实例化对象
游标执行sql语句,,,
公司不自动化,那咋搞?
手动建表,项目周期一般6个月,,
建模工具可自动化建表,,
可以不用,不能不会是吧,简历亮点,,
实操,,,


