文章 "将您自己的 LLM 集成到 EA 中(第 5 部分):使用 LLM 开发和测试交易策略(二)-LoRA-调优"

 

新文章 将您自己的 LLM 集成到 EA 中(第 5 部分):使用 LLM 开发和测试交易策略(二)-LoRA-调优已发布:

随着当今人工智能的快速发展,语言模型(LLMs)是人工智能的重要组成部分,因此我们应该考虑如何将强大的 LLMs 整合到我们的算法交易中。对于大多数人来说,很难根据他们的需求微调这些强大的模型,在本地部署它们,然后将它们应用于算法交易。本系列文章将采取循序渐进的方法来实现这一目标。

在上一篇文章中,我们介绍了如何利用自有金融数据,采用全参数微调的方法对 GPT-2 预训练模型进行微调,并评估了模型的输出结果。在本文和后续文章中,我们将通过代码示例进一步讨论如何实现其他微调方法(我们将只讨论前一篇文章中介绍的微调方法,当然,不可能实现每种方法。我只会选择几种常用的方法来实现)。本文将以 LoRA 调优方法为例进行讨论。

此外,我们的任务是尝试横向比较用这些不同微调方法训练的模型,然后在当前货币对下找到性能最佳的模型(当然,模型的性能也可能在不同的市场条件下有所不同,如上升趋势、下降趋势或振荡趋势)。这可以更清楚地指导我们在实践中使用哪种模型训练方法来取得更好的效果。当然,如果我们更加严谨,我们不仅应该横向比较这些不同的处理方法,还应该比较不同货币对在不同数据处理方法和微调方法下的微调模型的性能。这似乎是一项简单但极其乏味的任务。我个人认为,如果我们真的想在交易中应用这一系列方法,这一步至关重要。然而,我不打算在本系列文章中详细介绍这一部分,因为我相信每个人都可以根据我们的例子轻松扩展。只需将训练数据替换为不同的货币对,然后横向比较模型性能。虽然这很乏味,但很容易实现。


作者:Yuqiang Pan