湖仓一体电商项目（十九）：业务实现之编写写入DWS层业务代码

文章目录

业务实现之编写写入DWS层业务代码

一、代码编写

二、创建Iceberg-DWS层表

1、在Hive中添加Iceberg表格式需要的包

2、创建Iceberg表

三、​​​​​​​代码测试

1、在Kafka中创建对应的topic

2、将代码中消费Kafka数据改成从头开始消费

3、执行代码，查看对应结果

---

业务实现之编写写入DWS层业务代码

DWS层主要是存放大宽表数据，此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。

Flink在读取Kafka 用户浏览商品数据与HBase中维度数据进行关联时采用了Redis做缓存，这样可以加快处理数据的速度。获取用户主题宽表之后，将数据写入到Iceberg-DWS层中，另外将宽表数据结果写入到Kafka 中方便后期做实时统计分析。

一、代码编写

具体代码参照“ProduceBrowseLogToDWS.scala”，大体代码逻辑如下：

object ProduceBrowseLogToDWS {
 
  private val hbaseDimProductCategoryTbl: String &