Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 1339

 
Maxim Dmitrievsky:

Então você deve estar na arte, não na ciência, porque o conhecimento científico é hierárquico, desde o simples ao complexo e há continuidade.

e os bons programadores e matemáticos têm problemas de imaginação, de acordo consigo.

a fantasia é algo ingénuo. O pensamento abstrato é mais correto. O auge do abstracionismo são as fórmulas matemáticas e os conceitos abstratos, e não a miscelânea na mente de qualquer fantasista em particular.

para não me posicionar para que eles sejam como matemáticos e eu seja um fantasista e esteja cheio de ideias.

+++

Sem ofensa para o Alexey... me golpeie de morte se eu entender uma palavra que ele escreve. Nem os objectivos nem os métodos para os atingir são claros ou substanciados. O espírito do Professor, que passou 15 anos em redes neurais e agora trabalha em uma lavagem de carros, então paira sobre ele.

 
Maxim Dmitrievsky:

Então você deve estar na arte, não na ciência, porque o conhecimento científico é hierárquico, desde o simples ao complexo e há continuidade.

e os bons programadores e matemáticos têm problemas de imaginação, de acordo consigo.

a fantasia é algo ingénuo. O pensamento abstrato é mais correto. O auge do abstracionismo são as fórmulas matemáticas e os conceitos abstratos, e não a miscelânea na mente de qualquer fantasista em particular.

para não me posicionar para que eles sejam como matemáticos e eu seja um sonhador e esteja cheio de ideias.

Não procuro justificação científica para as minhas palavras e métodos - isto é facilmente feito por vocês, referindo-se constantemente ao que já foi feito e inventado e dando-lhe nomes científicos diferentes.

E fantasia e pensamento abstrato são processos diferentes - fantasia é o processo de criação, e abstração é o processo (forma) de apresentar informação.

Você está perdendo o ponto - o homem tem forças em sua constituição e é o desenvolvimento delas que dará maior eficiência ao homem e à causa em que ele está engajado.

Não estou dizendo que a matemática não é necessária para o sucesso, pelo contrário, estou dizendo que você precisa de uma pessoa bem versada nela que possa ajudá-lo a entender as nuances das idéias contidas nas fórmulas!

 
Alexander_K:

+++

Sem ofensa para o Alexei - me choca se eu entender uma palavra do que ele escreve. Nem os objectivos nem os métodos para os atingir são claros ou substanciados. O espírito do Professor, que passou 15 anos em redes neurais e agora trabalha em uma lavagem de carros, está pairando sobre ele.

Encontre imediatamente um fundamento, ou um trovão irá atacar :) O problema é que você procura confirmações de minhas idéias (sobre quais idéias - um herbário?) em trabalhos científicos, e evidentemente você não as encontra lá, o que leva a uma conclusão de sua ausência de validade não pelo autor da idéia, mas pela opinião científica autoritária.

Não faz nem um ano que comecei a fazer MO e, como podem ver, de alguma forma estou a conseguir modelos de trabalho, o que não é mau. Levei três anos para pôr o meu assessor forex a trabalhar. Eu uso o retorno à média como resultado do amortecimento de tendências - há conjuntos de EAs trabalhando por mais de um ano - procuro o sinal. E onde posso encontrar o seu sinal para estimar o seu desempenho?

 
Aleksey Vyazmikin:

Encontre urgentemente um aterramento, ou um trovão irá quebrar :) O problema é que você procura o reconhecimento das minhas idéias (sobre quais idéias é um herbário?) em trabalhos científicos, e aparentemente você não as encontra lá que leva a uma conclusão de sua falta de validade não pelo autor da idéia, mas pela opinião científica autoritária.

Não faz nem um ano que comecei a fazer MO e, como podem ver, de alguma forma estou a conseguir modelos de trabalho, o que não é assim tão mau. Levei três anos para pôr o meu assessor forex a trabalhar. Eu uso o retorno à média como resultado do amortecimento de tendências - há conjuntos de EAs trabalhando por mais de um ano - procuro o sinal. Onde posso encontrar o seu sinal para avaliar o seu desempenho?

O meu sinal está no concurso. É cerca de 30-40% por mês. Além disso, pelo método que uma vez discutimos no PM, só foi aperfeiçoado. Que diabos estás a fazer na NS? Isto é um mistério...

 
Maxim Dmitrievsky:

Por que um matemático ajudaria um não matemático explicando-lhe fórmulas quando ele tem uma mão muito mais forte e uma compreensão muito melhor do que está acontecendo?

ele pode apenas condescender com o fantasista.

Só não sabes sobre o que estás a escrever. Você pegou uma solução forte pronta na forma de catbust e começou a diluí-la com suas fantasias fracas, é isso que você está fazendo. É claro que, pela lei de grandes números, você pode eventualmente tropeçar numa boa solução para um problema, mas apenas por acaso.

Você tem tal poder de abstração que é capaz de modelar meus conhecimentos e pensamentos sobre o assunto? Eu duvido.

Muitos matemáticos (e outros detentores de conhecimento) que são constrangidos pelo conhecimento e têm medo de contradizê-lo é o psicotipo de tal pessoa. Caso contrário, toda pessoa que se formou no instituto continuaria a trabalhar em trabalhos científicos, e não existiria às custas da remuneração do empregador.

Percebo as minhas fantasias, verifico-as e melhoro-as - crio um sistema de produção e selecção de modelos, vejo dinâmicas, e é demasiado cedo para falar de um vector de movimento errado.

Se ninguém está interessado nas minhas descobertas, vou deixá-las inéditas.

 
Alexander_K:

O sinal que eu tenho está na competição. Algo como 30-40% por mês. Além disso, de acordo com o método que uma vez discutimos no PM, apenas refinado. Que diabos estás a fazer na NS? Isso é um mistério...

Comecei a usar MO porque passei um ano criando um Expert Advisor de tendências, que funcionava perfeitamente em dados históricos, e em 2018 começou a falhar em dados novos e eu os melhorei, mas continuou perdendo novamente. Decidi usar o MO para encontrar configurações ideais para filtros, que já estavam no meu EA, e comecei a fazer preditores... Em geral, MO abriu meus olhos para adequar qualquer estratégia à história e, como é longo e difícil de fazer à mão, decidi passar minha experiência de negociação para os preditores e descobri que poderia negociar usando-os sem inventar correlações astuciosas entre as idéias (preditores). Em geral, MO é uma ferramenta para combinar observações em solução e eu verifico e seleciono essas soluções, e elas formam o que é chamado de herbário. Ou seja, ao contrário de Maksim, eu tenho uma estratégia básica, que é melhorada devido ao RI.

 
Maxim Dmitrievsky:

Prevejo todos os seus passos à frente do tempo, porque passei por esta fase a um ritmo acelerado (sim, sim, o caminho certo é apenas um).

Sei o que falta para fazer algo funcionar, e recomendo literatura que tenha os elementos em falta.

Eu não finjo ser um professor ou mentor, apenas uma opinião. Se eu começar a explicar algo que não vais entender, é por isso que os livros.

Portanto, o seu próximo passo é equilibrar adequadamente as amostras e livrar-se dos montes de lixo (preditores).

Os meus movimentos imediatos no papel há três horas são analisar as folhas de catarro e analisar a capacidade de resposta dos modelos na amostra com o objectivo de os combinar ainda mais. Com as amostras não há resposta, pela razão de que não temos estacionaridade e, portanto, nenhuma completude de observações - tenho uma idéia de distribuição uniforme das diferentes situações de comércio sobre as amostras, mas até agora ainda não cheguei à implementação. E remover preditores ainda não é possível - combinando grupos em um - sim, é interessante perceber, mas não está claro como. É por isso que eu sou a favor de combinações de preditores, tanto forçados como aleatórios.

 
Maxim Dmitrievsky:

isto vai disparar e é descrito na literatura como um dos principais métodos de MO, o resto são idéias de lixo

Bem, isso é bom, só falta descobrir como melhor classificar essas áreas - há uma série de idéias, mas eu precisarei testar diferentes opções e ainda não sei como implementar a distribuição em si no MQL.

O resto das idéias eu preciso entender o processo, monitorando, selecionando modelos e suas combinações, ou seja, elas não visam separadamente melhorar os modelos, mas sim a sua avaliação.

 
Aleksey Vyazmikin:

Bem, isso é bom, só falta descobrir como classificar melhor essas áreas - há uma série de idéias, mas será necessário testar diferentes opções, e não saber ainda como implementar a alocação em si no MQL.

O resto das idéias eu preciso entender o processo, monitorando, selecionando modelos e suas combinações, ou seja, elas não visam separadamente melhorar os modelos, mas sim avaliá-los.

Sinceramente, estou aqui na esperança de que o seu próximo post seja "aqui estão os primeiros resultados....", todas as suas pesquisas foram aplicadas na prática, se não então talvez todo o seu trabalho neste momento seja um caminho para lugar nenhum?

 

Para aqueles que não estão familiarizados com píton e R, há um gerador de batcode no apêndice com configurações básicas, passe por agora por Seed

input int Set_Total=10;//Количество сетов настроек 1к10


O código está fechado, infelizmente, por causa da aplicação e não da minha classe para trabalhar com tabelas.

A saída conterá 7 arquivos:

_01_Train_All.txt //Starting training

_02_Rezultat_Exam.txt//Aplica o modelo na amostra de teste e grava os resultados em um arquivo

_02_Rezultat_Test.txt//Aplica o modelo na amostra de validação, grava os resultados em um arquivo

_02_Rezultat_Train.txt//Aplica o modelo na amostra de treinamento, armazena os resultados em um arquivo

_03_Metrik_Exam.txt//Calcula as métricas do modelo na amostra de teste

_03_Metrik_Test.txt///Calcula as métricas do modelo na amostra de validação

_03_Metrik_Train.txt///Calcula as métricas de um modelo na amostra de treinamento

os arquivos devem ser renomeados para bat. Os últimos 6 batnix podem ser executados em paralelo para acelerar o processo, mas só depois do primeiro batnix estar terminado - para que os modelos tenham sido criados até esta altura.

Em um diretório com batniks deve estar o próprio CatBoost e 3 amostras.

O nome dos arquivos de amostras

train.csv //Train

exam.csv//teste

test.csv//Validation (usado para uma parada de treinamento).

As amostras devem ter um cabeçalho.

Aetiqueta e as colunasauxiliares das amostras devem ser colocadas em um arquivo de texto separado sem extensão (não .txt).

557     Label
556     Auxiliary
558     Auxiliary
559     Auxiliary
560     Auxiliary
561     Auxiliary
562     Auxiliary

As colunas serão numeradas a partir de zero.

Os arquivos serão colocados no diretório Setup do projeto (a ser especificado no script).

Os modelos serão criados em uma subdiretório do projeto chamado "Rezultat", haverá uma subdiretório para cada modelo com o nome do arquivo de configuração com o alvo e o número do modelo.

Para mim mesmo desenvolverei o script, se for interessante, estou pronto para compartilhar a instância compilada (posso e dar um código fonte, mas sem uma classe para não compilá-lo).

Baixe o arquivo exe CatBoost para trabalhar com linha de comando, você pode usar este link para especificar corretamente a versão do lançamento nas configurações do script.


(atualizou o arquivo)
Arquivos anexados:
CB_Bat.ex5  241 kb
Razão: