公司本人负责的 NiFi 集群差不多 50+。已经有一半集群从1.15.2 升级到 1.16.3 版本,平均升级时间 5min左右,其中还涉及到一些扩容操作。但如果依托到 ambari 或者其他管理平台肯定花费时间会大大增加。
https://cwiki.apache.org/confluence/display/NIFI/Release+Notes#ReleaseNotes-Version1.16.3
终于把HDFS连接相关的进行了更新,提升hdfs-client版本到3.3,修复了很多版本,终于不用创建那么多安全线程了:
1.16.X 更新了 flow.json,确实写入速度变快了,体积变小了一半:
but 现在的判断条件时 flow.json/xml 。但是也引入了一个新的bug:在 cluster 中,如果该node 没有flow.json/xml 的话,这个节点启动不会创建 flow.json,并且在比较和 cluster中的flow.json的时候会报 java.lang.NullPointerException问题。所以要手动进行copy一个,或者单节点启动一次再加入集群。
listFTP 更新,进行了几个类的开发,解决了代理导致的各种问题:
but 引入了新的bug,导致username/userpassword/ftp_ip 无法使用变量,需要重新打包standard,并更新重启集群。
解决了很多高危漏洞,但没有解决 apache common configuration,涉及了几个包,包含 frameword包,又要重新打nar包,打依赖。
加了retry,这个还是比较喜欢。