Discussão do artigo "Reamostragem avançada e seleção de modelos CatBoost pelo método de força bruta" - página 2

 
Aleksey Vyazmikin:

Artigo interessante.

Tive a sensação de que, com essa jogada complicada de atribuição aleatória e geração de pseudoamostra, apenas encontramos dependências semelhantes do período de treinamento significativas no teste.

Qual a porcentagem de modelos que falham no teste?

Seria interessante adicionar uma terceira amostra - vamos aprender com a primeira, selecionar os resultados de boa adequação no teste e verificar o resultado da seleção no exame.

Mas como podemos encontrar correlações semelhantes se o mercado é aleatório? A resposta é nenhuma, apenas inserindo dados anteriores no treinamento. E não há nada aqui. Você pode adicionar até mesmo uma décima amostra ou testá-la no MT5 com novos dados.
 
Stanislav Korotky:
O principal ponto questionável é aprender com os dados mais recentes e testar os dados mais antigos. Isso é um pouco análogo a olhar para o futuro: os modelos atuais mais recentes incorporam algo dos modelos anteriores (afinal, os participantes do mercado têm memória), mas, na direção oposta, é mais difícil prever o futuro. Acho que se você reiniciar o algoritmo da maneira canônica (treinamento em dados antigos, teste em dados novos - é mais parecido com a realidade), o resultado não será tão bom.
Não há diferença, você pode verificar. Eu simplesmente gosto mais dessa maneira.
 
Valeriy Yastremskiy:

Depende do que é considerado uma regularidade; se for a ordem de sucessão dos incrementos, vinculada ao tempo, então é uma regularidade sazonal do comportamento dos incrementos; se não for vinculada, então é a mesma sequência de incrementos com alguma liberdade de precisão.

E isso depende do que é considerado adequado. Se forem séries conscientemente idênticas, então é um ajuste, mas o objetivo do teste (não importa de que lado) é verificar o resultado em áreas não idênticas.

E a lógica do treinamento no período próximo é lógica, mas é a mesma, se testarmos na profundidade da história, o resultado deverá ser o mesmo, se treinarmos na profundidade da história e testarmos no período próximo.

Apenas confirmamos a hipótese de que há regularidades nos gráficos de teste e treinamento.

Ajuste - se o preditor (planilha ou análogo) classificou um pequeno número de casos, menos de 1% das observações - isso sou eu explicando o que é ajuste para mim.

 
Maxim Dmitrievsky:
Mas como podemos encontrar relações semelhantes se o mercado é aleatório? A resposta é que não é possível, apenas alimentando o treinamento com dados anteriores. E aqui nada é misturado. Você pode adicionar até 10 amostras ou pode testar no MT5 com novos dados.

Entendo que não há spoofing. Não conheço Python, mas me parece que o modelo é estimado de 2015 a 2020, certo?

Estou mais preocupado com a validade do critério de estimativa, o quanto ele pode ajudar a selecionar um modelo que funcionará fora da amostra de teste que foi usada para selecioná-lo.

 
Aleksey Vyazmikin:

Meu entendimento é que não é uma varredura. Não conheço o Python, mas me parece que a avaliação do modelo é de 2015 a 2020, correto?

Estou mais preocupado com a validade do critério de avaliação, o quanto ele pode ajudar a selecionar um modelo que funcionará fora da amostra de teste que foi usada para selecioná-lo.

Cada um pode avaliar como quiser. Acho que a abordagem do artigo é bastante normal. Normal. Se houver alguma outra técnica de teste supergaláctica, informe-me.

Sem python, infelizmente, o aprendizado de máquina é quase inexistente... Terei que aprendê-lo mais cedo ou mais tarde, é muito simples)

 
Maxim Dmitrievsky:

Todos são livres para avaliar como quiserem. Acho que a abordagem do artigo é bastante normal. Normal. Se houver alguma outra tecnologia de teste supergaláctico, informe-me.

A abordagem do artigo é interessante, não há discussão aqui.

E nós inventaremos tecnologias supergalácticas :)

Acho que podemos analisar a importância dos preditores por número, digamos, até 1%, e comparar esse indicador em modelos diferentes, onde o número é menor, a probabilidade de o modelo funcionar é maior, pois ele generalizou mais informações - devemos pensar dessa forma.

 
Aleksey Vyazmikin:

Meu entendimento é que não é uma varredura. Não conheço o Python, mas me parece que a avaliação do modelo é de 2015 a 2020, correto?

Estou mais preocupado com a validade do critério de avaliação, o quanto ele pode ajudar a selecionar um modelo que funcionará fora da amostra de teste que foi usada para selecioná-lo.

Até o ponto em que as séries serão semelhantes. Há uma probabilidade de que o comportamento de uma série fora da amostra de teste seja tão diferente que as regularidades encontradas desapareçam. Mas ela é finita e pequena em uma escala de tempo pequena.

E isso não pode ajudar.

 
Valeriy Yastremskiy:

Por mais que as séries sejam semelhantes. Há uma probabilidade de que o comportamento da série fora da amostra de teste seja tão diferente que as regularidades encontradas desapareçam. Mas ela é finita e pequena em um pequeno intervalo de tempo.

E isso não pode ajudar.

É por isso que me faltam informações estatísticas, digamos que estudamos 1.000 modelos e 5% deles apresentaram um bom lucro desde 2015, ao mesmo tempo em que precisamos avaliar a semelhança dos modelos entre si, o que é mais difícil, mas mais informativo.

 
Aleksey Vyazmikin:

É por isso que me faltam informações estatísticas, digamos que estudamos 1.000 modelos e 5% deles apresentaram um bom lucro desde 2015, mas também precisamos avaliar a similaridade dos modelos entre si, o que é mais difícil, mas mais informativo.

Você não pode escrever tudo. Se for sobre isso, sim. Se as condições forem bem escolhidas, no ciclo de bootforce você terá muitos modelos bons e poucos ruins. É apenas uma questão de escolher o melhor. Portanto, não se trata apenas de um modelo aleatório.

O artigo cita 2 modelos do ciclo de aprendizagem para 20 ou 50 modelos (não me lembro), que estão passando no teste. E, na verdade, há modelos mais lucrativos.

 
Maxim Dmitrievsky
Você pode enviar um link para o Jupyter Notebook com esse código-fonte no Colab?