文章 "神经网络变得简单(第 94 部分):优化输入序列"

 

新文章 神经网络变得简单(第 94 部分):优化输入序列已发布:

在处理时间序列时,我们始终按其历史序列使用源数据。但这是最好的选项吗?有一种观点认为,改变输入数据顺序将提高训练模型的效率。在本文中,我邀请您领略其中一种优化输入序列的方法。

当用在变换器架构模型中,长期依赖关系的有效性检测在高度取决于许多因素。这些包括序列长度、各种定位编码策略、和数据令牌化。

这些想法导致论文《分段、乱序、和拼接:一种改进时间序列表示的简单机制》的作者提出寻找历史序列最优用法的思路。是否更好的组织时间序列,以便手头任务能实现更有效的表示学习?

在本文中,作者提出了一种简单、且即用型的机制,称为分段、乱序、拼接(S3),设计用来学习如何优化时间序列的表示。顾名思义,S3 的工作原理是将时间序列分割为多个不重叠的分段,将这些分段随机排序为更优化的顺序,然后将乱序后的分段再组合成新序列。此处应注意的是,针对每个特定任务都要学习分段洗牌顺序。

作者:Dmitriy Gizlyk