Discussão do artigo "Integre seu próprio LLM ao EA (Parte 5): Desenvolva e Teste Estratégia de Trading com LLMs (III) – Adapter-Tuning"
Por que você precisa aumentar a amostragem para o tamanho original da entrada logo após a redução da amostragem? A explicação das camadas parece idêntica (dropout para evitar o ajuste excessivo) e, se os dados se encaixarem bem no contêiner menor com a mesma funcionalidade, a amostragem ascendente posterior parece excessiva e um desperdício (pelo menos você não obtém novas informações da transformação).
PS. A tradução automática da postagem do inglês para (pelo menos) o russo parece ridícula, portanto, leia a postagem original.
Você está perdendo oportunidades de negociação:
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Registro
Login
Você concorda com a política do site e com os termos de uso
Se você não tem uma conta, por favor registre-se
Novo artigo Integre seu próprio LLM ao EA (Parte 5): Desenvolva e Teste Estratégia de Trading com LLMs (III) – Adapter-Tuning foi publicado:
No artigo anterior, apresentamos como realizar o fine-tuning do modelo pré-treinado GPT-2 usando o método LoRA e o comparamos com o modelo totalmente ajustado a partir de vários aspectos que nos interessam, incluindo, mas não se limitando a, custo de treinamento, custo de inferência e desempenho do modelo.
Neste artigo, usaremos o método Adapter-tuning para ajustar o modelo pré-treinado GPT-2 e compará-lo com os métodos de fine-tuning já apresentados. Claro, não continuaremos apresentando vários métodos de fine-tuning de grandes modelos de linguagem porque novos métodos de ajuste estão surgindo constantemente. Para reproduzir cada método um por um, temo que você não teria paciência para ler tudo, então apresentarei apenas alguns dos métodos de fine-tuning mais básicos (por exemplo, já introduzimos o LoRA-tuning e não gastaremos muito espaço apresentando o QLoRA-tuning, um método derivado do LoRA).
Isso significa que este será o último artigo sobre fine-tuning de grandes modelos de linguagem. Se quiser experimentar outros métodos, você pode consultar a lógica de fine-tuning mencionada nesta série de artigos e aplicá-la a outros métodos para continuar explorando. A partir do próximo artigo, focaremos em combinar o modelo treinado com o desenvolvimento de EA para desenvolver estratégias de trading e realizar backtests.
Visualização em gráfico para comparação:
Autor: Yuqiang Pan