• Apache Hop Transforms Samples【持续完善中】

    Samples

    transforms

    1、abort-basic.hpl

    根据筛选器行转换的结果中止此管道

    第一步：添加Data grid转换，Meta部分维护字段。

    在这里插入图片描述

    Data部分维护数据，如下图。

    在这里插入图片描述

    第二步：添加filter rows，如下图

    在这里插入图片描述

    按照如下截图进行修改：

    在这里插入图片描述

    第三步：添加Abort

    在这里插入图片描述

    第四步：执行截图如下：

    在这里插入图片描述

    2、add-a-checksum-CRC32.hpl

    增加校验和——CR - 232算法

    第一步，添加Data grid

    在这里插入图片描述

    在这里插入图片描述

    第二步，添加Add a checksum

    在这里插入图片描述

    第三步，设置转换副本数

    可以通过设置Specify copies，设置执行期间要使用的转换副本数

    在这里插入图片描述

    第四步，运行，查看结果

    在这里插入图片描述

    3、add-a-checksum-SHA-512.hpl

    增加校验和——SHA- 512算法

    第一步，添加data grid，设置字段及数据

    在这里插入图片描述

    在这里插入图片描述

    第二步，添加add a checksum，设置算法

    在这里插入图片描述

    第三步，设置转换副本数

    在这里插入图片描述

    第四步，查看变换结果

    在这里插入图片描述

    4、add-sequence-cyclic-id.hpl

    在本例中，Add Sequence转换添加一个包含值1到10的字段，10之后，它又开始从1开始计数

    在这里插入图片描述

    第一步，添加Generate rows

    在这里插入图片描述

    会创建100个空行，如下图所示

    在这里插入图片描述

    第二步，添加Add sequence，从1开始，步增1，最大到10，然后再次循环。

    在这里插入图片描述

    第三步，看结果

    在这里插入图片描述

    5、add-sequence-unique-id.hpl

    在本例中，Add Sequence转换创建一个从1到100的ID

    在这里插入图片描述

    第一步，添加generate rows（官方文档2.1.0版本中叫Row generator，但是2.1工具中是generate rows）

    在这里插入图片描述

    按照如下截图配置，生成100行数据，每5s生成一行；

    在这里插入图片描述

    第二步，添加add sequence

    添加add sequence转换，设置为使用计数器计算序列，初始值为1，步增为1，最大值为999999999

    在这里插入图片描述

    第三步，添加log values

    设置打印级别是Basic；

    在这里插入图片描述

    第四步，查看运行结果

    在这里插入图片描述

    6、analyticquery-basic.hpl

    从一组未分组的行中获取上一个和下一个描述

    在这里插入图片描述

    第一步，添加Data grid转换

    在这里插入图片描述

    在这里插入图片描述

    第二步，添加Analytic query转换

    在这里插入图片描述

    第三步，添加Dummy转换

    在这里插入图片描述

    第四步，查看运行结果

    在这里插入图片描述

    7、analyticquery-grouped.hpl

    从按id分组的行集合中获取上一个和下一个描述

    在这里插入图片描述

    第一步，添加Data grid转换。

    在这里插入图片描述

    在这里插入图片描述

    第二步，添加Analytic query转换

    根据id进行分组；

    在这里插入图片描述

    第三步，添加Dummy转换

    在这里插入图片描述

    第四步，查看运行结果

    在这里插入图片描述

    8、append-streams-basic.hpl

    追加两个流

    确保保持两个输入流的行布局相同:---->相同的字段，相同的数据类型，顺序相同。

    在这里插入图片描述

    第一步，添加row generator

    在这里插入图片描述

    第二步，添加row generator

    在这里插入图片描述

    第三步，添加Append streams

    Head Hop选择Second Stream，处理完成该流数据后，再处理First Stream流；

    在这里插入图片描述

    第四步，添加Dummy转换

    在这里插入图片描述

    第五步，查看运行结果

    在这里插入图片描述

    第六步，调整Append streams如下

    在这里插入图片描述

    第七步，添加dummy

    第八步，查看运行结果

    在这里插入图片描述

    9、block-until-transforms-finish-basic.hpl

    块转换等待直到Found GOD步骤完全执行!

    你可以通过虚线矩形来可视化，因为假数据和块变换都是连续运行的。

    在这里插入图片描述

    第一步，添加rows generator

    在这里插入图片描述

    第二步，添加fake data

    在这里插入图片描述

    第三步，添加delay row

    在这里插入图片描述

    第四步，添加dummy

    在这里插入图片描述

    第五步，添加rows generator

    在这里插入图片描述

    第六步，添加 block until transforms finish

    选择Found GOD！转换，表示待Found GOD完成处理后，在执行 block until transforms finis转换。

    在这里插入图片描述

    第七步，添加Java Script

    在这里插入图片描述

    第八步，查看运行结果

    点击Found GOD！转换，然后点击Preview output。

    在这里插入图片描述

    查看如下结果：

    在这里插入图片描述

    10、blockingtransform-basic.hpl

    生成100k随机uuid，阻塞直到完成

    在这里插入图片描述

    第一步，添加rows generator

    为了增加效果，我把数据量调整到了1000k rows；

    在这里插入图片描述

    第二步，添加generate random value

    在这里插入图片描述

    第三步，添加Blocking transform

    在这里插入图片描述

    第四步，添加dummy

    在这里插入图片描述

    第五步，查看执行结果

    显示blocking transform处理数据，处理完成之前，output不会进行数据处理；

  • 相关阅读:
    XShell安装
    图书推荐管理系统Python+Django网页界面+协同过滤推荐算法
    认识柔性数组
    《web课程设计》 基于HTML+CSS+JavaScript实现中国水墨风的小学学校网站模板(6个网页)
    2023年即将到来软件测试在IT行业中的地位还算稳固吗？
    浅谈C++|多态篇
    风投机构加持的NFT明星项目，是否值得追逐？
    在线图片转文字怎么转？这种方法大家可以学会
    Vue v-for、v-if、v-show常见问题
    基于springboot在线网上点餐平台设计与实现
  • 原文地址：https://blog.csdn.net/linjie_830914/article/details/128208360