deequ 2.0.1 anomaly的代码简单分析

anomaly 总体说明

anomaly是基于两次check的结果，因此必须使用repository 进行比较，比较方法被称为strategy，有如下几种：

• OnlineNormalStrategy 直接override def detect ，根据平均值和标准方差进行比较 mean and standard deviation.
• SimpleThresholdStrategy ： 值必须在指定范围内
• BatchNormalStrategy ：正太分布检测，所有数据在 mean lowerDeviationFactor * stdDev 和 mean + upperDeviationFactor * stdDev之间
• AbsoluteChangeStrategy 两次变化的绝对数量，使用super trait的diff：减法
• RelativeRateOfChangeStrategy ，两次变化的比例，diff函数中使用除法

repository

repository 目前只有文件及内存两种，文件其实就是json格式的结果保存（带timestamp 及tag：即key）

核心代码

生成Check，check包括3部分：

 /**
    * Add a check using Anomaly Detection methods. The Anomaly Detection Strategy only checks
    * if the new 
1
2