Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3173

 
СанСаныч Фоменко #:

O OOS deve estar sempre à DIREITA.

Se o OOS estiver à ESQUERDA, é impossível garantir que o TS NÃO esteja com excesso de treinamento e NÃO esteja olhando para frente. Essas são as primeiras questões importantes que devem ser abordadas ao testar um CT ANTES de qualquer outra coisa.


Qual deles você tem? Isso não faz diferença! Não importa se é um ou os dois. Você precisa testá-lo corretamente e basta - OOS à direita.

E é melhor esquecer o testador e os arquivos de formulário para teste da seguinte forma:

Declarações altamente categóricas sem qualquer dúvida. Fiz uma postagem sobre o tópico de posicionamento de OOS.

Não é a primeira vez que me deparo com a aversão ao testador. Não sei por que não gostei do triturador de números.

Temos dois arquivos.


O primeiro arquivo é dividido aleatoriamente por amostra em três partes: treinamento, teste e validação. Estude em uma amostra de treinamento (aleatória) e, em seguida, verifique em uma amostra aleatória de teste e validação - todas essas são partes DIFERENTES do primeiro arquivo. Compare os resultados. Se eles forem aproximadamente iguais, verifique o segundo arquivo de "sequência natural". Se forem aproximadamente iguais aqui também, chegaremos à conclusão principal: nosso TC NÃO está supertreinado e NÃO olha para frente. Somente com essa conclusão, faz sentido falar sobre qualquer outra coisa: precisão, lucratividade e outros aspectos, todos eles SECUNDÁRIOS.


Observo que praticamente não há outras maneiras de testar a antecipação e o treinamento excessivo.

Não vejo bem como é possível olhar para frente na otimização.


Sobre a metodologia. Não entendo a necessidade de dividir em treinar/testar/examinar. Afirmar, mesmo com o estudo estatístico mais favorável, que o TC NÃO está em overtraining parece muito autodestrutivo.

O máximo que consigo obter em uma conclusão é "é provável que o TC tenha encontrado algum padrão que estava presente algum tempo antes e depois do intervalo de treinamento". Ao mesmo tempo, não há garantia de que esse padrão já não tenha se rompido."

"Out-Of-Sample" - где расположить, справа или слева?
"Out-Of-Sample" - где расположить, справа или слева?
  • 2019.12.10
  • www.mql5.com
Когда-то в паблике столкнулся с мнением, что OOS должен располагаться только справа. Т.е. расположение его слева от интервала Оптимизации - ошибка. Я с этим был категорически не согласен, т.к. не
 

É mais uma questão de saber qual pílula tomar: azul ou vermelha :)


 
Maxim Dmitrievsky #:
É sorte e p-hacking, sim. Portanto, os resultados podem ser qualquer coisa.

P-hacking é ajustar deliberadamente os resultados a um critério estatístico significativo. Por exemplo, você vê que nos oos à esquerda as estatísticas são acentuadas e escolhe essa opção. Da mesma forma, à direita. É tudo uma questão de ajuste.

Espere, de que tipo de seleção estamos falando neste momento?

 
fxsaber #:

Espere, de que escolha estamos falando neste momento?

Bem, você escolheu essa opção e mostrou que a esquerda é boa e a direita é ruim.

Ou seja, você tem várias opções de otimização, mas escolheu essa para mostrar.

 
Maxim Dmitrievsky #:

Bem, você escolheu essa opção e mostrou que a esquerda é boa e a direita é ruim

Eu não fiz isso. Aqui está o método.

Fórum sobre negociação, sistemas de negociação automatizados e teste de estratégias de negociação.

Aprendizado de máquina na negociação: teoria, modelos, prática e algo-trading

fxsaber, 2023.08.17 06:58

Eu não pratico esse tipo de autoengano. Faço isso apenas dessa forma.

  1. Otimização na linha.
  2. Dos encontrados, pego os cinco primeiros e observo o comportamento em OOS. De qualquer forma, não há otimização nesse ponto.
Foi assim que as imagens originais foram obtidas. Portanto, o bom OOS à esquerda não é nada adequado.
 
fxsaber #:

Eu não o escolhi. Aqui está o método.

Bem, p-hacking mais sofisticado :) ainda há vários testes e seleção de intervalos de parâmetros de TC. Eles não são tirados do teto.

 
Aleksey Vyazmikin #:

Se o período de treinamento for reduzido, a reversão da tendência do gráfico ocorrerá com a mesma rapidez?

Isso varia, é claro. Mas, com muita frequência, você pode ver uma quebra logo após a Sample. Talvez seja uma distorção cognitiva, quando você presta mais atenção em algo e tem a impressão de que isso acontece com muita frequência.

Não sei muito sobre estratégias de ticks, mas um dos fatores para esse comportamento é a falta de dados comparáveis durante o treinamento, por exemplo - no treinamento, a tendência era de queda em alguns TFs.

O gráfico mostra três anos de negociações diárias.

Não sei qual método de treinamento você usa, se são sistemas de árvore ou filtros que apenas fixam o intervalo de um indicador condicional (função), vale a pena estimar o número de exemplos que se enquadram em cada um desses intervalos.

O que eu não fiz foi plotar cada intervalo. Contei os dados estatísticos, mas não observei o gráfico em si.

Uma situação possível é o desvio de dados e uma mudança na distribuição de probabilidade do filtro/lista.

Por exemplo, quando seleciono segmentos quânticos em uma amostra para treinamento e, em seguida, estimo sua distribuição (porcentagem de respostas corretas e incorretas para o alvo 0||1) em duas outras amostras, o cumprimento do critério de estabilidade em 3 amostras é encontrado entre 25% e 30% - é claro que, nesse caso, o modelo tem mais chances de escolher um preditor instável, que deixará de funcionar em um dos sites.

No final, tudo se resume à análise de padrões simples, ou seja, encontrar motivos para considerá-los como tal, em vez de uma observação aleatória da cauda de um cometa em um telescópio.

Não entendo a parte destacada.

 
Maxim Dmitrievsky #:

Bem, p-hacking mais sofisticado :) ainda há vários testes e seleção de faixas de parâmetros de TC. Eles não são tirados do teto.

Pare. Você não é contra o processo de otimização em si, é? A obtenção da curva desejada no intervalo de amostragem não tem nada a ver com outros intervalos, de forma puramente lógica.

 
fxsaber #:

Opa. Você não é contra o processo de otimização em si, é? A obtenção da curva desejada no intervalo de amostragem não está logicamente relacionada a outros intervalos.

Ele está conectado porque você definiu parâmetros com base em seus conhecimentos ou preferências. Inicialmente, você sabe como obter uma curva melhor por meio de quais parâmetros. Além disso, você pode ter negociado anteriormente em um histórico anterior e usado essa experiência para construir um TS em um novo histórico. A profundidade dessa terapia gestalt pode ser enorme :)

Não sou contra a otimização, apenas escrevo o que pode ser uma armadilha.
 
Andrey Dik #:

Por quanto tempo o sistema se mantém lucrativo?

Não entendi muito bem a pergunta. O OOS esquerdo é de um ano. Ele deve ser aumentado para trás?

Já me deparei com esse tipo de comportamento do sistema, quando no OOS direito há uma ameixa acentuada, mas não acho que isso esteja diretamente relacionado a uma reversão acentuada de 180 graus dos padrões de mercado encontrados (isso indicaria as razões de natureza mística, o uso de práticas de vodu e, em geral, qualquer coisa, em vez de problemas reais, como retreinamento ou ajuste, porque é no mínimo estranho quando uma ameixa acentuada sempre acontece após o término do treinamento). Em geral, isso se deve a alguns erros no código que causam falsos positivos (ou falsos negativos), como Max disse acima, cuja correção leva a um comportamento aleatório no OOS direito no pior caso (treinamento excessivo) ou ao enfraquecimento gradual da lucratividade no melhor caso (enfraquecimento dos padrões encontrados e/ou sua mudança gradual).

Presumo que uma indicação de que não há bugs no código é o fato de o código fazer exatamente o que foi planejado antes da programação. Nesse sentido, está tudo bem.

E, no caso geral, um TC com erros no código ainda é um TC. Apenas não é exatamente o que o autor pretendia originalmente.

Razão: