【时间序列】时序分类最新NN框架--ShapeNet

刺骨的言语ヽ痛彻心扉 2022-08-28 14:44 271阅读 0赞

#  #

↑↑↑关注后"星标"**kaggle竞赛宝典**

kaggle竞赛宝典干货

**作者：杰少**

ShapeNet\_A Shapelet-Neural Network Approach for Multivariate Time Series Classification（AAAI21）

简介

![7ee7cf357ef8f22a92dc8551e830c82d.png][]

快到周末了，就分享一篇处理MTSC问题的最新时间序列论文休闲放松一下。

时间序列shapelet是一种短的判别子序列，

*  它不仅准确，而且对于单变量时间序列（UTS）的分类问题也是具有可解释性的

然而，由于多变量时间序列分类（MTSC）的候选shapelets可能来自**不同长度的不同变量**，**无法直接进行比较**。

为了处理该挑战，本文提出了ShapeNet模型，

*  ShapeNet模型将不同长度的shapelet候选嵌入到统一的shapelet选择空间中。该网络使用类的triplet损失进行训练，其中考虑了anchor和多个正（负）样本之间的距离以及正（负）样本之间的距离，这对收敛非常重要。

我们计算具有代表性和多样性的最终形状元素，而不是直接使用所有嵌入来构建模型，以避免大量非判别的shapelet候选。

方案

![f0062f320453d0f249b076af0f90487e.png][]

背景知识

目前处理MTSC的shapelet方案主要面临三大挑战，

1.  多元时间序列，有大量的变量，Shapelet候选可以是大量的、异构的。对shapelet的穷举搜索可能不准确；
2.  不同的变量的Shapelet候选有不同的长度，这样的Shapelet事很难比较；
3.  大多数现有的研究都是基于黑盒的方法，很少有方案能提供可解释的方法；

ShapeNet

![0321e83e458c7ca651c469a205dba770.png][]

### 1. Multi-length-input Dilated Causal CNN(Mdc-CNN)    ###

ShapeNet采用采用dialted因果卷积神经网络（Dc CNN）学习时间序列子序列的新表示。dialted因果网络对于序列建模任务的有效性已被证明。dialted的卷积被用来改变卷积的感受野。因果卷积的设计应确保未来数据不会影响对过去数据的学习.

虽然输出可以与输入长度相同，但Dc-CNN无法处理**不同长度的输入**。因此，我们建议引入一个全局最大池化层和一个线性层，它们堆叠在最后一个DcCNN层的顶部，以将所有候选shapelet嵌入统一空间（如上图中1中的绿色框所示）。我们称之为多长度输入dialted因果CNN（Mdc CNN）。

![779bdc895ef54a492288d150bcb8d2a2.png][]

上图进一步说明了Mdc CNN。编码器有i+1层residual模块，其中是dialted因子，全局最大池化层和线性层堆叠在residual模块的顶部。编码器的输入是时间序列是各种长度和变量的子序列，其输出是它们的统一表示。我们称之为输出**shapelet候选嵌入**。

### 2. Unsupervised Representation Learning ###

训练（类似于word2vec）的目标是确保相似的时间序列获得相似的表示，反之亦然。然而，word2vec假设的第二个要求并不总是适用于时间序列。主要有以下三点：

我们可以很容易地观察到：

*  波形的某些波峰相距很远，但彼此并不遥远（如下图）。
 *  一批中只包含一个正样本来训练网络，这在shapelets的表示学习中通常是不稳定的。
 *  之前未考虑正负样本之间的距离。

![b8340683f3043ef13ef14dac5260066c.png][]

此处我们设计了下面的Loss

该函数的意义如下，我们希望和anchor的正样本距离尽可能的近，负样本的距离尽可能远，与此同时，类内的距离尽可能近。

![88064f94c3d1c3786de0032af65bdb31.png][]

### 3.Multivariate Shapelet Transformation ###

在确定shapelet候选的统一表示之后，我们建议选择高质量和多样化的候选作为最终shapelet。最后，我们对MTS采用shapelet变换的过程，然后应用一个经典的分类器来解决MTSC问题。

#### Multivariate Shapelet Transformation ####

![46d4a58183102293992c4c78d4fc12df.png][]

我们根据上面的式子在所有Y簇中选择top-k候选，并检索原始时间序列子序列作为最终的shapelets.

Multivariate Shapelet Transformation是一种将多元时间序列转化为一个新的数据空间通过计算和一个最终的shaplets的距离，表示为,其中

实验

![b68512379554fee930844c01009bc07a.png][]

![d26ec9e29e6839812e6474d530682a7b.png][]

我们发现：

*  在所有四个数据集中，随着shapelets的数量从5个增加到50个，精度迅速提高，然后略有下降。
 *  这种趋势在ArticularyWordRecognition数据集中比其他数据集中更明显，因为ArticularyWordRecognition有25个类。因此，当shapelet数很小时（例如，5），进行分类要困难得多。基于此观察，默认的shapelet所有数据集的数量设置为50。

小结

![9e26e901be5d80b066651136d7cff55f.png][]

提出了一种新的用于MTSC的shapelet神经网络方法——ShapeNet。我们建议将Mdc CNN将不同长度的时间序列子序列学习到统一的空间中，并提出一种基于聚类的triplet损失以无监督的方式训练网络。

我们采用MST来获得时间序列的MST表示。在变换后，我们使用带线性核的支持向量机进行分类。

实验结果表明，ShapeNet

*  **分类精度优于七种比较方法**。
 *  学习算法收敛速度快，效用函数有效。
 *  具有不错的解释性。

**建议阅读：**

**[高考失利之后，属于我的大学本科四年][Link 1]**

[**【资源分享】对于时间序列，你所能做的一切.**][.]

[**【时空序列预测第一篇】什么是时空序列问题？这类问题主要应用了哪些模型？主要应用在哪些领域？**][Link 2]

[**【AI蜗牛车出品】手把手AI项目、时空序列、时间序列、白话机器学习、pytorch修炼**][AI_AI_pytorch]

公众号：AI蜗牛车
    
    保持谦逊、保持自律、保持进步
    
    
    
    个人微信
    备注：昵称+学校/公司+方向
    如果没有备注不拉群！
    拉你进AI蜗牛车交流群

[7ee7cf357ef8f22a92dc8551e830c82d.png]: /images/20220828/c209799a24b04b1f974feb01744049e7.png
[f0062f320453d0f249b076af0f90487e.png]: /images/20220828/0d4444fa236c4b3ea6775fd700b6ed72.png
[0321e83e458c7ca651c469a205dba770.png]: /images/20220828/3348660e8b8342eaa583cd016f1ba287.png
[779bdc895ef54a492288d150bcb8d2a2.png]: /images/20220828/64a0d3f5a2d9416299a94e18da0dbd42.png
[b8340683f3043ef13ef14dac5260066c.png]: /images/20220828/81fd2e9b6ec641a3b89cb08795d7f3e9.png
[88064f94c3d1c3786de0032af65bdb31.png]: /images/20220828/82b6beff01204f7fa49807b074f916d7.png
[46d4a58183102293992c4c78d4fc12df.png]: /images/20220828/271fa9091d3843758405271167c0b0bf.png
[b68512379554fee930844c01009bc07a.png]: /images/20220828/fb00709c6f054d41b4e19cd990581d75.png
[d26ec9e29e6839812e6474d530682a7b.png]: /images/20220828/70b091abd2e3400ab26a5cd8403c8d82.png
[9e26e901be5d80b066651136d7cff55f.png]: /images/20220828/eee4b546fbe743d48ad9f2d3e4301ed8.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzA4ODUxNjUzMQ%3D%3D&chksm=9029a749a75e2e5fde587cf68ab729deaa3a6c2ec952e288af747c1591df1416c24c9a9bcd1a&idx=1&mid=2247488917&scene=21&sn=6b0a24a219f861bd146366b25f710beb#wechat_redirect
[.]: http://mp.weixin.qq.com/s?__biz=MzA4ODUxNjUzMQ%3D%3D&chksm=9029b4cda75e3ddb7cb31a55ed528f386b3adcba3a077d6344f4c868f19bac1185a58cb262f8&idx=1&mid=2247484945&scene=21&sn=d3b302099848ad3549a395750b9da2bf#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzA4ODUxNjUzMQ%3D%3D&chksm=9029b7fba75e3eed7d9e647994cae086ee483c1e55d386a92d385e3648f0ce715097f2c33a62&idx=1&mid=2247484711&scene=21&sn=c4187946d58e277a45512d3146d4f062#wechat_redirect
[AI_AI_pytorch]: http://mp.weixin.qq.com/s?__biz=MzA4ODUxNjUzMQ%3D%3D&chksm=9029afcba75e26dd76bd9263b4cf22a9ef3e1538f90008bc64867f52a7b2705bdeaf526d4b37&idx=1&mid=2247490839&scene=21&sn=d9d0a9fad6efb225a92deafd80a2838d#wechat_redirect