前段时间整理了一下 多变量时间序列异常检测的数据集,以及对应数据集统一格式处理代码的文章。
文章在这:https://zhuanlan.zhihu.com/p/544335741
今天介绍的也是多变量时间序列异常检测的数据集。但这个数据集和之前那篇文章的数据集是两种,虽然都可以这么称呼,但形势和背景目的截然不同,但也存在关联。
对于多个时间序列,这里我们简称为线,多个线,每个线有单独的异常的区间(单个异常检测模型判定的异常区间),如果这些线独立,并且不代表一个载体上,则就是每个线的异常,如果这些线都存在一个载体上,比如机器上,那某条线单独的异常区间可能并不能代表机器的异常,或者多条线的异常(一种pattern)也不代表机器的异常,多条线的异常组合可能是机器一种健康状态下的pattern。
前者 是 线的维度异常,但有多条线,并非一条线。数据集格式
后者 是 entity维度异常,一个entity有多条线。
前者 是 多个时间序列, 每个时间序列都有对应的异常区间的label
后者 是 每个实体有多个时间序列,每个实体在某一个时间点是否存在异常,这里可以查看之前写的那篇文章数据集的格式
前者 是 流式异常检测场景,追求实时。
后者 多用于机器异常检测,或某个传感器装置异常检测故障诊断场景。
NAB 是一种新的基准,用于评估流式实时应用程序中的异常检测算法。它由超过 50 个标记的真实世界和人工时间序列数据文件 NAB数据集是Numenta公司开源的用于评估流式时序异常检测算法的公开数据集。它由超过50个带label的真实世界和人工时间序列数据文件组成。
链接:https://github.com/numenta/NAB
数据链接:https://github.com/numenta/NAB/tree/master/data
包括真实数据集和人生生成的数据集
详情 请看:https://github.com/numenta/NAB/blob/master/data/README.md
主要包含交通,广告点击率,机器等数据
label数据在:https://github.com/numenta/NAB/tree/master/labels/raw
打开一个数据的格式。
所有的数据已经标准化,都是两列,一列是timestamp,另外一列是value值。
格式如下,保存格式是json
key是文件名
value是一个list,里面包含异常的点的timestamp
这里我挑选 './data/realTraffic/TravelTime_387.csv'进行了可视化
只展示了前两个异常点:
该仓库还整理了若干近年来许多流式异常检测算法包以及评价函数,具体看仓库吧内容很多~
推荐阅读:
- 我的2022届互联网校招分享
-
- 我的2021总结
-
- 浅谈算法岗和开发岗的区别
-
- 互联网校招研发薪资汇总
- 2022届互联网求职现状,金9银10快变成铜9铁10!!
-
- 公众号:AI蜗牛车
-
- 保持谦逊、保持自律、保持进步
-
- 发送【蜗牛】获取一份《手把手AI项目》(AI蜗牛车著)
- 发送【1222】获取一份不错的leetcode刷题笔记
-
- 发送【AI四大名著】获取四本经典AI电子书