• Apache Hop Transforms Samples【持续完善中】

    Samples

    transforms

    1、abort-basic.hpl

    根据筛选器行转换的结果中止此管道

    第一步：添加Data grid转换，Meta部分维护字段。

    在这里插入图片描述

    Data部分维护数据，如下图。

    在这里插入图片描述

    第二步：添加filter rows，如下图

    在这里插入图片描述

    按照如下截图进行修改：

    在这里插入图片描述

    第三步：添加Abort

    在这里插入图片描述

    第四步：执行截图如下：

    在这里插入图片描述

    2、add-a-checksum-CRC32.hpl

    增加校验和——CR - 232算法

    第一步，添加Data grid

    在这里插入图片描述

    在这里插入图片描述

    第二步，添加Add a checksum

    在这里插入图片描述

    第三步，设置转换副本数

    可以通过设置Specify copies，设置执行期间要使用的转换副本数

    在这里插入图片描述

    第四步，运行，查看结果

    在这里插入图片描述

    3、add-a-checksum-SHA-512.hpl

    增加校验和——SHA- 512算法

    第一步，添加data grid，设置字段及数据

    在这里插入图片描述

    在这里插入图片描述

    第二步，添加add a checksum，设置算法

    在这里插入图片描述

    第三步，设置转换副本数

    在这里插入图片描述

    第四步，查看变换结果

    在这里插入图片描述

    4、add-sequence-cyclic-id.hpl

    在本例中，Add Sequence转换添加一个包含值1到10的字段，10之后，它又开始从1开始计数

    在这里插入图片描述

    第一步，添加Generate rows

    在这里插入图片描述

    会创建100个空行，如下图所示

    在这里插入图片描述

    第二步，添加Add sequence，从1开始，步增1，最大到10，然后再次循环。

    在这里插入图片描述

    第三步，看结果

    在这里插入图片描述

    5、add-sequence-unique-id.hpl

    在本例中，Add Sequence转换创建一个从1到100的ID

    在这里插入图片描述

    第一步，添加generate rows（官方文档2.1.0版本中叫Row generator，但是2.1工具中是generate rows）

    在这里插入图片描述

    按照如下截图配置，生成100行数据，每5s生成一行；

    在这里插入图片描述

    第二步，添加add sequence

    添加add sequence转换，设置为使用计数器计算序列，初始值为1，步增为1，最大值为999999999

    在这里插入图片描述

    第三步，添加log values

    设置打印级别是Basic；

    在这里插入图片描述

    第四步，查看运行结果

    在这里插入图片描述

    6、analyticquery-basic.hpl

    从一组未分组的行中获取上一个和下一个描述

    在这里插入图片描述

    第一步，添加Data grid转换

    在这里插入图片描述

    在这里插入图片描述

    第二步，添加Analytic query转换

    在这里插入图片描述

    第三步，添加Dummy转换

    在这里插入图片描述

    第四步，查看运行结果

    在这里插入图片描述

    7、analyticquery-grouped.hpl

    从按id分组的行集合中获取上一个和下一个描述

    在这里插入图片描述

    第一步，添加Data grid转换。

    在这里插入图片描述

    在这里插入图片描述

    第二步，添加Analytic query转换

    根据id进行分组；

    在这里插入图片描述

    第三步，添加Dummy转换

    在这里插入图片描述

    第四步，查看运行结果

    在这里插入图片描述

    8、append-streams-basic.hpl

    追加两个流

    确保保持两个输入流的行布局相同:---->相同的字段，相同的数据类型，顺序相同。

    在这里插入图片描述

    第一步，添加row generator

    在这里插入图片描述

    第二步，添加row generator

    在这里插入图片描述

    第三步，添加Append streams

    Head Hop选择Second Stream，处理完成该流数据后，再处理First Stream流；

    在这里插入图片描述

    第四步，添加Dummy转换

    在这里插入图片描述

    第五步，查看运行结果

    在这里插入图片描述

    第六步，调整Append streams如下

    在这里插入图片描述

    第七步，添加dummy

    第八步，查看运行结果

    在这里插入图片描述

    9、block-until-transforms-finish-basic.hpl

    块转换等待直到Found GOD步骤完全执行!

    你可以通过虚线矩形来可视化，因为假数据和块变换都是连续运行的。

    在这里插入图片描述

    第一步，添加rows generator

    在这里插入图片描述

    第二步，添加fake data

    在这里插入图片描述

    第三步，添加delay row

    在这里插入图片描述

    第四步，添加dummy

    在这里插入图片描述

    第五步，添加rows generator

    在这里插入图片描述

    第六步，添加 block until transforms finish

    选择Found GOD！转换，表示待Found GOD完成处理后，在执行 block until transforms finis转换。

    在这里插入图片描述

    第七步，添加Java Script

    在这里插入图片描述

    第八步，查看运行结果

    点击Found GOD！转换，然后点击Preview output。

    在这里插入图片描述

    查看如下结果：

    在这里插入图片描述

    10、blockingtransform-basic.hpl

    生成100k随机uuid，阻塞直到完成

    在这里插入图片描述

    第一步，添加rows generator

    为了增加效果，我把数据量调整到了1000k rows；

    在这里插入图片描述

    第二步，添加generate random value

    在这里插入图片描述

    第三步，添加Blocking transform

    在这里插入图片描述

    第四步，添加dummy

    在这里插入图片描述

    第五步，查看执行结果

    显示blocking transform处理数据，处理完成之前，output不会进行数据处理；

  • 相关阅读:
    使用sql profile 稳定执行计划的案例
    dpdk结合sriov测试vpp ipsec性能
    weui citypicker 多次动态赋值
    JavaWeb项目运维部署
    SpringBoot 接口整理
    玩转SQLite-11：C语言高效API之sqlite3_prepare系列函数
    Excel函数公式大全—HLOOKUP函数
    经过一个多月的等待我有幸成为Spring相关项目的Contributor
    HTTPS优化——协议优化,证书优化,会话复用
    cadence SPB17.4 - allegro - Allegro2Altium.bat 初探
  • 原文地址：https://blog.csdn.net/linjie_830914/article/details/128208360