TEMPO 方法建立在预先训练的语言模型的基础上。现实中，该方法作者在他们的实验中用到了预先训练的 GPT-2。该方法的主要思想在于利用模型在初步训练期间获得的知识来预测时间序列。于此，当然，值得在语音和时间序列之间勾画出不明显的并肩之处。本质上，我们的语音是一条声音时间序列，以字母记录。不同的语调由标点符号传达。
TEMPO 方法取该属性的优点。在时间序列预测模型的训练过程中，语言模型的参数被“冻结”，而原始数据参数转换到嵌入，与模型兼容，并得到优化。TEMPO 方法作者提出了一种综合方式，最大限度地令模型获得实用信息。首先，将所分析时间序列分解为其基本分量 — 例如趋势、季节性、及其它。然后，每个分量都被分段，并转换为语言模型可以解释的嵌入。为了进一步朝理想方向引导模型（例如，趋势或季节性分析），作者引入了一个“软性提示”系统。
新文章 交易中的神经网络：TEMPO 方法的实施结果已发布：
我们继续领略 TEMPO 方法。在本文中，我们将评估所提议方法在真实历史数据上的真实有效性。
TEMPO 方法建立在预先训练的语言模型的基础上。现实中，该方法作者在他们的实验中用到了预先训练的 GPT-2。该方法的主要思想在于利用模型在初步训练期间获得的知识来预测时间序列。于此，当然，值得在语音和时间序列之间勾画出不明显的并肩之处。本质上，我们的语音是一条声音时间序列，以字母记录。不同的语调由标点符号传达。
长语言模型（LLM），例如 GPT-2，在一个大型数据集（通常以多种语言）上进行预训练，并学会单词时态序列中的大量不同依赖关系，而这正是我们希望在时间序列预测时所用。但字母和单词的序列，与正在分析的时间序列数据有很大不同。我们一直说，对于任何模型的正确操作，维护训练和测试数据集中的数据分布非常重要。这也涉及模型运行期间所分析数据。任何语言模型都无法配合我们习惯的纯文本形式工作。首先，它经由嵌入（编码）阶段，在此期间，文本被转换为特定的数字代码（隐藏状态）。然后，该模型对这些编码数据进行运算，在输出阶段，它会为后续字母和标点符号生成概率。然后，使用最可能的符号来构造人类可读的文本。
TEMPO 方法取该属性的优点。在时间序列预测模型的训练过程中，语言模型的参数被“冻结”，而原始数据参数转换到嵌入，与模型兼容，并得到优化。TEMPO 方法作者提出了一种综合方式，最大限度地令模型获得实用信息。首先，将所分析时间序列分解为其基本分量 — 例如趋势、季节性、及其它。然后，每个分量都被分段，并转换为语言模型可以解释的嵌入。为了进一步朝理想方向引导模型（例如，趋势或季节性分析），作者引入了一个“软性提示”系统。
作者：Dmitriy Gizlyk