• 【大数据】Flink SQL 语法篇(八):集合、Order By、Limit、TopN


    Flink SQL 语法篇》系列,共包含以下 10 篇文章:

    😊 如果您觉得这篇文章有用 ✔️ 的话,请给博主一个一键三连 🚀🚀🚀 吧 (点赞 🧡、关注 💛、收藏 💚)!!!您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容!!!

    Flink SQL 语法篇(八):集合、Order By、Limit、TopN

    1.集合操作

    集合操作支持 Batch / Streaming 任务。

    在这里插入图片描述

    • UNION:将集合合并并且去重。
    • UNION ALL:将集合合并,不做去重。
    Flink SQL> create view t1(s) as values ('c'), ('a'), ('b'), ('b'), ('c');
    Flink SQL> create view t2(s) as values ('d'), ('e'), ('a'), ('b'), ('b');
    
    Flink SQL> (SELECT s FROM t1) UNION (SELECT s FROM t2);
    +---+
    |  s|
    +---+
    |  c|
    |  a|
    |  b|
    |  d|
    |  e|
    +---+
    
    Flink SQL> (SELECT s FROM t1) UNION ALL (SELECT s FROM t2);
    +---+
    |  c|
    +---+
    |  c|
    |  a|
    |  b|
    |  b|
    |  c|
    |  d|
    |  e|
    |  a|
    |  b|
    |  b|
    +---+
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • Intersect:交集并且去重。
    • Intersect ALL:交集不做去重。
    Flink SQL> create view t1(s) as values ('c'), ('a'), ('b'), ('b'), ('c');
    Flink SQL> create view t2(s) as values ('d'), ('e'), ('a'), ('b'), ('b');
    Flink SQL> (SELECT s FROM t1) INTERSECT (SELECT s FROM t2);
    +---+
    |  s|
    +---+
    |  a|
    |  b|
    +---+
    
    Flink SQL> (SELECT s FROM t1) INTERSECT ALL (SELECT s FROM t2);
    +---+
    |  s|
    +---+
    |  a|
    |  b|
    |  b|
    +---+
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • Except:差集并且去重。
    • Except ALL:差集不做去重。
    Flink SQL> (SELECT s FROM t1) EXCEPT (SELECT s FROM t2);
    +---+
    | s |
    +---+
    | c |
    +---+
    
    Flink SQL> (SELECT s FROM t1) EXCEPT ALL (SELECT s FROM t2);
    +---+
    | s |
    +---+
    | c |
    | c |
    +---+
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14

    上述 SQL 在流式任务中,如果一条左流数据先来了,没有从右流集合数据中找到对应的数据时会直接输出,当右流对应数据后续来了之后,会下发回撤流将之前的数据给撤回。这也是一个回撤流。

    • In 子查询:这个大家比较熟悉了,但是注意,In 子查询的结果集只能有一列。
    SELECT user, amount
    FROM Orders
    WHERE product IN (
        SELECT product FROM NewProducts
    )
    
    • 1
    • 2
    • 3
    • 4
    • 5

    上述 SQL 的 In 子句其实就和之前介绍到的 Inner Join 类似。并且 In 子查询也会涉及到大状态问题,大家注意设置 State 的 TTL。

    2.Order By、Limit 子句

    2.1 Order By 子句

    支持 Batch / Streaming,但在实时任务中一般用的非常少。

    实时任务中,Order By 子句中 必须要有时间属性字段,并且时间属性必须为 升序 时间属性,即 WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL '0.001' SECOND 或者 WATERMARK FOR rowtime_column AS rowtime_column

    举例:

    CREATE TABLE source_table_1 (
        user_id BIGINT NOT NULL,
        row_time AS cast(CURRENT_TIMESTAMP as timestamp(3)),
        WATERMARK FOR row_time AS row_time
    ) WITH (
      'connector' = 'datagen',
      'rows-per-second' = '10',
      'fields.user_id.min' = '1',
      'fields.user_id.max' = '10'
    );
    
    CREATE TABLE sink_table (
        user_id BIGINT
    ) WITH (
      'connector' = 'print'
    );
    
    INSERT INTO sink_table
    SELECT user_id
    FROM source_table_1
    Order By row_time, user_id desc
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21

    2.2 Limit 子句

    支持 Batch / Streaming,但实时场景一般不使用,但是此处依然举一个例子。

    CREATE TABLE source_table_1 (
        user_id BIGINT NOT NULL,
        row_time AS cast(CURRENT_TIMESTAMP as timestamp(3)),
        WATERMARK FOR row_time AS row_time
    ) WITH (
      'connector' = 'datagen',
      'rows-per-second' = '10',
      'fields.user_id.min' = '1',
      'fields.user_id.max' = '10'
    );
    
    CREATE TABLE sink_table (
        user_id BIGINT
    ) WITH (
      'connector' = 'print'
    );
    
    INSERT INTO sink_table
    SELECT user_id
    FROM source_table_1
    Limit 3
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21

    结果如下,只有 3 条输出:

    +I[5]
    +I[9]
    +I[4]
    
    • 1
    • 2
    • 3

    3.TopN 子句

    TopN 定义(支持 Batch / Streaming):TopN 其实就是对应到离线数仓中的 row_number(),可以使用 row_number() 对某一个分组的数据进行排序。

    应用场景:根据 某个排序 条件,计算 某个分组 下的排行榜数据。

    SQL 语法标准:

    SELECT [column_list]
    FROM (
       SELECT [column_list],
         ROW_NUMBER() OVER ([PARTITION BY col1[, col2...]]
           ORDER BY col1 [asc|desc][, col2 [asc|desc]...]) AS rownum
       FROM table_name)
    WHERE rownum <= N [AND conditions]
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • ROW_NUMBER():标识 TopN 排序子句。
    • PARTITION BY col1[, col2...]:标识分区字段,代表按照这个 col 字段作为分区粒度对数据进行排序取 TopN,比如下述案例中的 partition by key,就是根据需求中的搜索关键词(key)做为分区。
    • ORDER BY col1 [asc|desc][, col2 [asc|desc]...]:标识 TopN 的排序规则,是按照哪些字段、顺序或逆序进行排序。
    • WHERE rownum <= N:这个子句是一定需要的,只有加上了这个子句,Flink 才能将其识别为一个 TopN 的查询,其中 N 代表 TopN 的条目数。
    • [AND conditions]:其他的限制条件也可以加上。

    实际案例:取某个搜索关键词下的搜索热度前 10 名的词条数据。

    输入数据为搜索词条数据的搜索热度数据,当搜索热度发生变化时,会将变化后的数据写入到数据源的 Kafka 中:

    -- 数据源 schema
    
    -- 字段名         备注
    -- key          搜索关键词
    -- name         搜索热度名称
    -- search_cnt    热搜消费热度(比如 3000)
    -- timestamp       消费词条时间戳
    
    CREATE TABLE source_table (
        name BIGINT NOT NULL,
        search_cnt BIGINT NOT NULL,
        key BIGINT NOT NULL,
        row_time AS cast(CURRENT_TIMESTAMP as timestamp(3)),
        WATERMARK FOR row_time AS row_time
    ) WITH (
      ...
    );
    
    -- 数据汇 schema
    
    -- key          搜索关键词
    -- name         搜索热度名称
    -- search_cnt    热搜消费热度(比如 3000)
    -- timestamp       消费词条时间戳
    
    CREATE TABLE sink_table (
        key BIGINT,
        name BIGINT,
        search_cnt BIGINT,
        `timestamp` TIMESTAMP(3)
    ) WITH (
      ...
    );
    
    -- DML 逻辑
    INSERT INTO sink_table
    SELECT key, name, search_cnt, row_time as `timestamp`
    FROM (
       SELECT key, name, search_cnt, row_time, 
         -- 根据热搜关键词 key 作为 partition key,然后按照 search_cnt 倒排取前 100 名
         ROW_NUMBER() OVER (PARTITION BY key
           ORDER BY search_cnt desc) AS rownum
       FROM source_table)
    WHERE rownum <= 100
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44

    输出结果:

    -D[关键词1, 词条1, 4944]
    +I[关键词1, 词条1, 8670]
    +I[关键词1, 词条2, 1735]
    -D[关键词1, 词条3, 6641]
    +I[关键词1, 词条3, 6928]
    -D[关键词1, 词条4, 6312]
    +I[关键词1, 词条4, 7287]
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    可以看到输出数据是有回撤数据的,为什么会出现回撤,我们来看看 SQL 语义。

    上面的 SQL 会翻译成以下三个算子:

    • 数据源:数据源即最新的词条下面的搜索词的搜索热度数据,消费到 Kafka 中数据后,按照 partition key 将数据进行 Hash 分发到下游排序算子,相同的 Key 数据将会发送到一个并发中。
    • 排序算子:为每个 Key 维护了一个 TopN 的榜单数据,接受到上游的一条数据后,如果 TopN 榜单还没有到达 N 条,则将这条数据加入 TopN 榜单后,直接下发数据,如果到达 N 条之后,经过 TopN 计算,发现这条数据比原有的数据排序靠前,那么新的 TopN 排名就会有变化,就变化了的这部分数据之前下发的排名数据撤回(即回撤数据),然后下发新的排名数据。
    • 数据汇:接收到上游的数据之后,然后输出到外部存储引擎中。

    上面三个算子也是会 24 小时一直运行的。

  • 相关阅读:
    MYSQL--索引
    【优化算法】加权黑猩猩优化算法(WChOA)(Matlab代码实现)【与ChOA、PSO、WOA、BH、ALO、GA和GWO算法比较】
    Linux内核完全注释(基于Linux0.11)_笔记_Linux0.11执行流程
    13.Oracle通过JDBC连接Java
    Flink和Kafka连接时的精确一次保证
    面试算法39:直方图最大矩形面积
    RAW图像处理软件Capture One 23 Enterprise mac中文版功能特点
    python毕业设计作品基于django框架 多用户商城平台系统毕设成品(6)开题答辩PPT
    【2023灵动股份笔试题】~ 题目及参考答案
    产业生态重构,数字孪生角色意味着什么?
  • 原文地址:https://blog.csdn.net/be_racle/article/details/136356792