345 - 项目结束
71 - 面试加强
bug问题15分钟自己没解决,就问问老师,,
主要检查容器hadoop,spark进程,,
hdfs权限问题,tmp文件夹加777权限,,
thriftserver不会停,一致运行,,,
动态查看末尾一百行,,
没有明显报错看日志,,
is null
最近状态更新时间==昨天 ,以及状态=2,,
1-分组字段,2-函数结果【聚合,窗口】、3-常量
join可以作为中间关联,连环得到需要的字段,,
collect_set
获取字段独立join,便于理解,模块化,
否则强调整体思维,,
一个主题从ods到st层,所用到的表名及字段,,,
grouping sets
抽取字段,关联表(有时需要多层关联),判断条件,
case when,1可以放在select后,2可以放在子查询,然后select别名,
left join,1真实创建的表,2子查询创建的临时表,,,
把标记“掌握”字样的表,敲两遍,,