多模态MLLM都是怎么实现的(9)-时序LLM是怎么个事儿？

时序预测这东西大家一般不陌生，随便举几个例子

     1- 金融，比如预测股票（股市有风险，入市需谨慎），纯用K线做，我个人不太推荐

     2- 天气，比如预测云图，天气预报啥的

     3- 交通，早晚高峰，堵车啥的，车啥时候加油，啥时候充电之类的

     4- 医疗，看你病史和喝酒的剂量建模，看你会不会得痛风啥的。

     反正很多很多吧，应用的场合也是比较广的。

     RNN，一般来讲时序LLM，其实天然和RNN，LSTM这些玩意契合，因为有本身RNN就有时间步的概念，也能部分解决长距离依赖，缺点训练费劲，也做不大，要不咋干不过Transformer呢？

     TCN，另外时间步卷积，Temporal Convolutional Networks ，使用卷积网络处理时序数据，具有更好的并行计算能力，但是为啥不用它呢，其实和它对NLP的道理差不多，通过野去做东西不适合序列化的任务。上下文和长距离它也不太行，想让它行就得做得更深，更复杂，效果还不一定好

      剩下就Transformer了，历史重担一肩挑，然后爱折腾人的黑手，又把时间序列任务强加给了Transformer...

      本次小周带你读论文就讲一下ICLR2024的一篇新论文

     首先介绍这论文的主旨：

     1- Transformer啥都能干

     2- 能NLP，能ASR，还能VQA 

     3- 既然能整这么多的多模态，也不差加一个时间序列了吧？

     其实主旨真就是我介绍的这么3点

    我们看一下时间序列和Transformer不搭调的地方

    比如我随便找个时间序列曲线

    

     随便拿几个点来训练行吗？那肯定不行啊，因为点和点要有相对关系的，那拿一些段来训练呢？

      拿一段来提取特征是可以的，但是如何把NLP里的东西和一段走势做mapping呢，一个最简单的办法就是给个文字描述对应一个波段或者几个波段