文章 "将您自己的 LLM 集成到 EA 中(第 5 部分):使用 LLMs 开发和测试交易策略(一)- 微调"

 

新文章 将您自己的 LLM 集成到 EA 中(第 5 部分):使用 LLMs 开发和测试交易策略(一)- 微调已发布:

随着当今人工智能的快速发展,语言模型(LLMs)是人工智能的重要组成部分,因此我们应该考虑如何将强大的 LLMs 整合到我们的算法交易中。对于大多数人来说,很难根据他们的需求微调这些强大的模型,在本地部署它们,然后将它们应用于算法交易。本系列文章将采取循序渐进的方法来实现这一目标。

在上一篇文章中,我们介绍了如何使用 GPU 加速来训练大型语言模型,但我们没有使用它来制定交易策略或执行回测。然而,训练我们模型的最终目标是使用它并让它为我们服务。因此,从本文开始,我们将逐步使用训练好的语言模型来制定交易策略,并在外汇货币对上测试我们的策略。当然,这不是一个简单的过程。这就要求我们采取相应的技术手段来实现这一过程。所以,让我们一步一步地实现它。

整个过程可能需要几篇文章才能完成。

  • 第一步是制定交易策略; 
  • 第二步是根据策略创建数据集并微调模型(或训练模型),使大型语言模型的输入和输出符合我们制定的交易策略。实现这一过程的方法有很多,我将提供尽可能多的例子;
  • 第三步是模型的推理,将输出与交易策略融合,并根据我们的交易策略创建 EA。当然,在模型的推理阶段,我们还有一些工作要做(选择合适的推理框架和优化方法:例如 flash-attention、模型量化、加速等); 
  • 第四步是使用历史回溯测试在客户端测试我们的 EA。


    作者:Yuqiang Pan

     
    您好
    在使用语言模型时,训练过程和微调过程的主要区别是什么?
     
    Christian Benjamin #:
    您好
    在使用语言模型时,训练过程和微调过程的主要区别是什么?

    您好,从本文的例子来看:

    1.我们在这个例子中使用的预训练 GPT2 模型的权重与我们的数据没有任何相关内容,如果不进行微调,输入的时间序列将无法被识别,但经过微调后可以根据我们的需要输出正确的内容。

    2.正如我们在文章中所说,从头开始训练一个语言模型使其收敛是非常耗时的,但微调会使预先训练好的模型迅速收敛,从而节省大量时间和计算能力。由于我们示例中使用的模型相对较小,因此这一过程不是很明显。

    3.微调过程所需的数据量比预训练过程要少得多。 如果数据量不足,用相同的数据量对模型进行微调比直接训练模型要好得多。

     

    您好,感谢您的精彩文章。


    期待看到我们如何将微调模型整合到 MT5 中。