• Flink SQL TopN语句详解


    TopN 定义(⽀持 Batch\Streaming): TopN 对应离线数仓的 row_number(),使⽤ row_number() 对某⼀个分组的数据进⾏排序。

    应⽤场景: 根据 某个排序 条件,计算 某个分组 下的排⾏榜数据。

    SQL 语法标准:

    SELECT [column_list]
    FROM (
     SELECT [column_list],
     ROW_NUMBER() OVER ([PARTITION BY col1[, col2...]]
     ORDER BY col1 [asc|desc][, col2 [asc|desc]...]) AS rownum
     FROM table_name)
    WHERE rownum <= N [AND conditions];
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • ROW_NUMBER() :标识 TopN 排序⼦句;
    • PARTITION BY col1[, col2…] :标识分区字段,代表按照这个 col 字段作为分区粒度对数据排序取 topN,下述案例中的 partition by key ,根据需求中的搜索关键词(key)做为分区;
    • ORDER BY col1 [asc|desc][, col2 [asc|desc]…] :标识 TopN 的排序规则,是按照哪些字段、顺序或逆序进⾏排序;
    • WHERE rownum <= N :这个⼦句是必须的,加上这个⼦句,Flink 才能将其识别为 TopN 查询,其中 N 代表 TopN 的条⽬数;
    • [AND conditions] :其他的限制条件也可以加上。

    实际案例: 取某个搜索关键词下的搜索热度前 10 名的词条数据。

    输⼊数据为搜索词条数据的搜索热度数据,当搜索热度发⽣变化时,会将变化后的数据写⼊到数据源的 Kafka 中:

    数据源 schema:
    
    -- 字段名 备注
    -- key 搜索关键词
    -- name 搜索热度名称
    -- search_cnt 热搜消费热度(⽐如 3000)
    -- timestamp 消费词条时间戳
    CREATE TABLE source_table (
     name STRING NOT NULL,
     search_cnt BIGINT NOT NULL,
     key STRING NOT NULL,
     row_time timestamp(3),
     WATERMARK FOR row_time AS row_time
    ) WITH (
     'connector' = 'filesystem', 
     'path' = 'file:///Users/hhx/Desktop/source_table.csv',
     'format' = 'csv'
    );
    
    A,100,a,2021-11-01 00:01:03
    A,200,a,2021-11-02 00:01:03
    A,300,a,2021-11-03 00:01:03
    B,200,b,2021-11-01 00:01:03
    B,300,b,2021-11-02 00:01:03
    B,400,b,2021-11-03 00:01:03
    C,300,c,2021-11-01 00:01:03
    C,400,c,2021-11-02 00:01:03
    C,500,c,2021-11-03 00:01:03
    D,400,d,2021-11-01 00:01:03
    D,500,d,2021-11-02 00:01:03
    D,600,d,2021-11-03 00:01:03
    
    -- 数据汇 schema:
    -- key 搜索关键词
    -- name 搜索热度名称
    -- search_cnt 热搜消费热度(⽐如 3000)
    -- timestamp 消费词条时间戳
    CREATE TABLE sink_table (
     key BIGINT,
     name BIGINT,
     search_cnt BIGINT,
     `timestamp` TIMESTAMP(3)
    ) WITH (
     ...
    );
    
    -- DML 逻辑
    INSERT INTO sink_table
    SELECT key, name, search_cnt, row_time as `timestamp`
    FROM (
     SELECT key, name, search_cnt, row_time, 
     -- 根据热搜关键词 key 作为 partition key,然后按照 search_cnt 倒排取前 2 名
     ROW_NUMBER() OVER (PARTITION BY key ORDER BY search_cnt desc) AS rownum
     FROM source_table)
    WHERE rownum <= 2
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55

    输出结果:

    在这里插入图片描述

    注意: 包含回撤流。

    上⾯ SQL 会翻译成以下三个算⼦

    数据源 :数据源即最新的词条下⾯的搜索词的搜索热度数据,消费到 Kafka 中数据后,按照 partition key 将数据进⾏ hash 分发到下游排序算⼦,相同的 key 数据将会发送到⼀个并发中;

    排序算⼦ :为每个 Key 维护了⼀个 TopN 的榜单数据,接受到上游的⼀条数据后,如果 TopN 榜单还没有到达 N 条,则将这条数据加⼊ TopN 榜单后,直接下发数据,如果到达 N 条之后,经过 TopN 计算,发现这条数据⽐原有的数据排序靠前,那么新的 TopN 排名就会有变化,就变化了的这部分数据,之前下发的排名数据被撤回(即回撤数据),然后下发新的排名数据;

    数据汇 :接收到上游的数据之后,然后输出到外部存储引擎中。

  • 相关阅读:
    CompletableFuture使用详解
    初入职场两三事【研发篇】
    SpringBoot学习笔记(2)——B站动力节点
    数据预处理大全
    深度学习阿丘科技AIDI标注工具使用(2.3版本)
    树莓派 RaspBerryPi 网络配置相关与改造usb网络摄像头
    《游戏引擎架构》 -- 学习2
    11.Mogodb数据库基本使用
    Docker(五)、容器间数据共享~volume
    kubernetes (k8s) list-watch机制、调度约束
  • 原文地址:https://blog.csdn.net/m0_50186249/article/details/134263923