前面我们在文《数仓:金融数据仓库架构转型的最佳实践》中介绍了 Kyligence 金融数据仓库迁移的整体方法论以及在某国有大行项目的最佳实践。本篇将对数据仓库迁移方法论中最为核心的脚本迁移过程进行深入剖析,从血缘分析、数据库对象迁移、ETL 脚本迁移和数据验证等具体环节详细介绍数仓迁移过程中的落地方法以及迁移自动化的挑战及实现。
脚本(主要包括数据库对象和 ETL 脚本)是数据仓库的核心内容,数据仓库的日常运行和有机生长都是依托脚本来实现的。
因此,脚本迁移方案是数据仓库整体迁移方案的重中之重,如何保障脚本本身以及脚本所内含的数据加工逻辑能够被正确、高效的迁移,是整个迁移项目最有挑战的地方,其难度主要体现在几个方面:<