Discussão do artigo "Adicionando um LLM personalizado a um robô investidor (Parte 5): Desenvolvimento e teste de estratégia de trading com LLM (I) - Ajuste fino"

Novo comentário
 

Novo artigo Adicionando um LLM personalizado a um robô investidor (Parte 5): Desenvolvimento e teste de estratégia de trading com LLM (I) - Ajuste fino foi publicado:

Os modelos de linguagem (LLMs) são uma parte importante da inteligência artificial que evolui rapidamente. E para aproveitar isso devemos pensar em como integrar LLMs avançados em nossa negociação algorítmica Muitos acham desafiador ajustar esses modelos de acordo com suas necessidades, implantá-los localmente e, logo, aplicá-los à negociação algorítmica. Esta série de artigos explorará uma abordagem passo a passo para alcançar esse objetivo.

No artigo anterior, explicamos como usar a aceleração por GPU para treinar grandes modelos de linguagem, mas não a utilizamos para formular estratégias de trading ou realizar testes em dados históricos. A partir deste artigo, usaremos um modelo de linguagem treinado passo a passo para formular estratégias de trading e testá-las em pares de moedas. É claro que esse não é um processo simples. 

Todo o trabalho pode levar vários artigos.

  • O primeiro passo é formular uma estratégia de trading; 
  • O segundo passo é criar um conjunto de dados de acordo com a estratégia e ajustar finamente o modelo (ou treiná-lo) para que os dados de entrada e saída do grande modelo de linguagem correspondam à nossa estratégia formulada. Existem várias abordagens para resolver essa tarefa. Apresentarei o máximo de exemplos possível;
  • O terceiro passo é a inferência do modelo e a integração dos resultados à estratégia de trading, além da criação de um EA conforme nossa estratégia. Claro, ainda precisamos realizar alguns ajustes na etapa de inferência do modelo, como a escolha da estrutura de saída adequada e dos métodos de otimização (atenção instantânea, quantização do modelo, aceleração etc.). 
  • O quarto passo é usar o teste em dados históricos para validar nosso EA no lado do cliente.


    Autor: Yuqiang Pan

     
    Olá
    Qual é a principal diferença entre o processo de treinamento e o processo de ajuste fino ao trabalhar com modelos de linguagem?
     
    Christian Benjamin #:
    Olá
    Qual é a principal diferença entre o processo de treinamento e o processo de ajuste fino ao trabalhar com modelos de linguagem?

    Olá, com base nos exemplos deste artigo:

    1. Os pesos do modelo GPT2 pré-treinado que usamos neste exemplo não têm nenhum conteúdo relacionado aos nossos dados, e a série temporal de entrada não será reconhecida sem o ajuste fino, mas o conteúdo correto pode ser gerado de acordo com nossas necessidades após o ajuste fino.

    2. Como dissemos em nosso artigo, é muito demorado treinar um modelo de linguagem do zero para fazê-lo convergir, mas o ajuste fino fará um modelo pré-treinado convergir rapidamente, economizando muito tempo e poder de computação. Como o modelo usado em nosso exemplo é relativamente pequeno, esse processo não é muito óbvio.

    3. O processo de ajuste fino requer muito menos dados do que o processo de pré-treinamento. Se a quantidade de dados não for suficiente, o ajuste fino do modelo com a mesma quantidade de dados é muito melhor do que o treinamento direto de um modelo.

     

    Olá, obrigado pelos artigos incríveis.


    Estou ansioso para ver como integraremos o modelo ajustado ao MT5

    Novo comentário