Discussão do artigo "Gradient Boosting (CatBoost) no desenvolvimento de sistemas de negociação. Uma abordagem ingênua" - página 4

 
Valeriy Yastremskiy:

Mesmo que se sobreponham, esse ainda é um tópico bastante complexo, portanto, diferentes explicações sobre o tópico estarão no ponto certo.))))

E poucas perguntas são feitas - mesmo aqui, quando Maxim mostrou o truque com perda parcial de memória :)

 
Rorschach:

Engraçado, pensei que, se a expectativa fosse tão baixa, seria um graal de teste. Eu o executei no Saber, em um símbolo personalizado, quase o mesmo resultado.

Verifiquei o ano 17, há uma tendência de alta semelhante, que está se esgotando.

É um pedaço de sorte da história ou você pode obter essa imagem para os últimos anos também? Sei que está perdendo no teste, mas era um mercado completamente diferente lá.

Eu verifiquei 4 sko, o resultado é significativo. O engraçado é que eu nunca vi Sharpe's acima de 3, existe isso?

Não tenho certeza se entendi a pergunta. É um bom treinamento? É assim em qualquer um deles.

Não há nenhum problema com isso, o problema é a generalização para novos dados.

Sobre os dados do Saber - pelo que entendi, nem todos os pares de moedas são adequados e ele faz a otimização, ou seja, ele revisa os modelos

Puramente em teoria... se você fizer uma amostragem aleatória e treinar novamente por um longo período, poderá encontrar um bom modelo. Na prática, obtive X2 oos +-, ou seja, os novos dados funcionaram tanto quanto o traine\valid, em termos de tempo. Às vezes, um pouco mais.

É desejável fazer isso em algum lugar na nuvem, o laptop não permite isso

 
Maxim Dmitrievsky:

Não sei se entendi a pergunta. É um bom treinamento? em qualquer um deles.

Não há problema com isso, o problema é a generalização para novos dados.

Sobre os dados do Saber - pelo que entendi, nem todos os pares de moedas são adequados e ele faz a otimização, ou seja, ele passa pelos modelos

Puramente em teoria... se você fizer uma amostragem aleatória e treinar novamente por um longo período, poderá encontrar um bom modelo. Na prática, obtive X2 oos +-, ou seja, os novos dados funcionaram tanto quanto o traine\valid, em termos de tempo. Às vezes, um pouco mais.

É desejável fazer isso em algum lugar na nuvem, o laptop não permite isso

Não entendo os termos, ele randomiza os parâmetros do TC, faz execuções e tenta encontrar a área dos melhores conjuntos de parâmetros para o resultado do TC. Isso é otimização. Não há nenhum modelo nesse caso. Existem modelos em NS com MO.

 
Valeriy Yastremskiy:

O que eu não entendo em termos de termos é que ele randomiza os parâmetros do TC, faz execuções e tenta encontrar a região dos melhores conjuntos de parâmetros para o resultado do TC. Isso é otimização. Não existe um modelo. Existem modelos em NS com MO.

Uma TS com um conjunto de parâmetros é um modelo

 
Aleksey Vyazmikin:

E poucas perguntas são feitas - mesmo aqui, quando Maxim mostrou um truque com perda parcial de memória :)

Que tipo de perda de memória?

 
elibrarius:

O que está acontecendo com a perda de memória?

Aqui criamos uma memória de movimentos passados com uma ligação de rótulo:

A etapa final é criar colunas adicionais com linhas de deslocamento por profundidade de look_back, o que significa adicionar recursos adicionais (defasados, defasados) ao modelo.

Mistura adicional:

Разобьём данные на два датасета равной длины, предварительно случайно перемешав обучающие примеры.

Supondo que a mistura seja uniforme, isso significa que, no treinamento, obtivemos informações de coluna em metade da amostra sobre retornados passados e presentes. Em um período relativamente pequeno, quando é possível ajustar a volatilidade dessa forma, isso funciona devido ao conhecimento sobre o mercado, mas assim que ele muda significativamente, o modelo não funciona. Nesse caso, pareceu-me apenas um efeito de memória, em vez da identificação de um padrão geral. Maxim, corrija-me se sua percepção for diferente.

 
Aleksey Vyazmikin:

Aqui estamos criando uma memória de movimentos passados com uma vinculação a uma tag:

Further mixing:

Supondo-se que a mistura seja uniforme, isso significa que, no treinamento, obtivemos informações em colunas sobre metade da amostra sobre retornos passados e presentes. Em um período relativamente pequeno, em que é possível ajustar a volatilidade dessa forma, isso funciona devido ao conhecimento sobre o mercado, mas assim que ele muda significativamente, o modelo não funciona. Nesse caso, me pareceu apenas um efeito de memória, em vez da identificação de um padrão geral. Maxim, corrija-me se sua percepção for diferente.

Se você observar os próprios sinais, eles têm correlação serial(autocorrelação); se você observar os rótulos, a mesma coisa. A correlação serial leva a uma estimativa incorreta do modelo, a um treinamento incorreto. Um exemplo grosseiro (ou talvez não) é o treinamento excessivo para volatilidade, sim. O embaralhamento é uma forma primitiva de quebrar um pouco a serialidade, e o embaralhamento do treinamento e do teste é um pouco o equilíbrio dos dados em ambos os conjuntos. Essa questão precisa ser tratada com mais seriedade, não de forma tão primitiva, e é a isso que eu gostaria de dedicar o próximo artigo. Por se tratar de um tópico separado e bastante amplo.
 
Maxim Dmitrievsky:
Se você observar os próprios recursos, eles têm correlação serial (autocorrelação); se você observar os rótulos, a mesma coisa. A correlação serial leva a uma estimativa incorreta do modelo, a um treinamento incorreto. Um exemplo grosseiro (ou talvez não) é o treinamento excessivo para volatilidade, sim. O embaralhamento é uma forma primitiva de quebrar um pouco a serialidade, e o embaralhamento do treinamento e do teste é um pouco o equilíbrio dos dados em ambos os conjuntos. Essa questão precisa ser tratada com mais seriedade, não de forma tão primitiva, e é a isso que eu gostaria de dedicar o próximo artigo. Por se tratar de um tópico separado e bastante grande.

Seria um artigo interessante se resolvesse a questão de saber se é possível misturar amostras com base em sua similaridade.

Pelo que entendi, se as amostras forem semelhantes, é possível, mas se forem significativamente diferentes, não. No nosso caso, estamos trabalhando com um mercado em constante mudança e, portanto, a questão da possibilidade de mistura é determinada pelo intervalo de tempo.... Gostaria de ver um critério numérico específico para avaliar a similaridade de duas amostras com um teste da teoria da admissibilidade de sua mistura. Informações para reflexão.

 
Aleksey Vyazmikin:

Aqui estamos criando uma memória de movimentos passados com uma vinculação a uma tag:

Further mixing:

Supondo-se que a mistura seja uniforme, isso significa que, no treinamento, obtivemos informações em colunas sobre metade da amostra sobre retornos passados e presentes. Em um período relativamente pequeno, em que é possível ajustar a volatilidade dessa forma, isso funciona devido ao conhecimento sobre o mercado, mas assim que ele muda significativamente, o modelo não funciona. Nesse caso, me pareceu apenas um efeito de memória, em vez da identificação de um padrão geral. Maxim, corrija-me se sua percepção for diferente.

São apenas N incrementos em uma janela deslizante.
Maxim Dmitrievsky:
Se você observar os sinais em si, eles têm correlação serial (autocorrelação) e, se observar os rótulos, o mesmo é verdadeiro. A correlação serial leva à estimativa incorreta do modelo, ao treinamento incorreto. Um exemplo grosseiro (ou talvez não) é o treinamento excessivo para volatilidade, sim. O embaralhamento é uma forma primitiva de quebrar um pouco a serialidade, e o embaralhamento do treinamento e do teste é um pouco o equilíbrio dos dados em ambos os conjuntos. Essa questão precisa ser tratada com mais seriedade, não de forma tão primitiva, e é a isso que eu gostaria de dedicar o próximo artigo. Porque é um tópico separado e bastante grande.
Misturar o conjunto de trens não altera o modelo de árvore de forma alguma. A árvore classificará cada coluna. O resultado da classificação dos dados misturados e não misturados é o mesmo.
Misturar o trem com o teste não é necessário, na minha opinião, como escrevi acima.
 
elibrarius:
São simplesmente N incrementos em uma janela deslizante. Embaralhar o conjunto de trens não altera a árvore de forma alguma
Eu sei.