Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 2552

 
Vladimir Perervenko #:

Há outro problema com o uso de preditores - a sua deriva.

A deriva é o mesmo que a não-estacionariedade que eu entendo?

E se treinarmos um modelo que toma um preço como input e produz uma série de estatísticas que se correlacionam com o preço? Já tentou algo assim?

 
Vladimir Perervenko #:

Há outro problema com o uso de preditores - a sua deriva. E este problema precisa ser identificado e levado em conta tanto nos testes quanto na operação. Há uma tradução do artigo no apêndice (procure por outros na web) e há um pacote de artigos para os vagabundos. Não é o único. Mas a questão é que, ao selecionar os preditores, você precisa considerar não só a sua importância, mas também a sua deriva. No caso de grandes desvios os descartamos ou transformamos, no caso de pequenos desvios devemos considerá-los (corrigir) durante os testes e operação.

Concordo, a não-estacionariedade (drift) complica muito as coisas. Infelizmente, é muito mais complicado do que no exemplo com o spam. Mas é necessário tê-lo em conta.

 
elibrarius #:
A cor de uma vela, mesmo com um erro de 30%, pode ser um perdedor. Não sabemos quanto lucro podemos obter com isso... a cor é normalmente bem adivinhada nos movimentos lentos do preço (durante a noite), e 1 vela de dia forte não adivinhada pode valer 10 pequenas velas de noite. Eu acho que adivinhar a cor dos castiçais é novamente uma saída aleatória (devido às dimensões aleatórias).
Foi por isso que eu fiz a classificação com TP, SL. Se forem iguais, então 52% dos negócios bem sucedidos já são lucrativos. Se TP=2*SL. Então >33% dos negócios bem sucedidos serão rentáveis. O melhor que eu já tive foi 52-53% de sucesso em 2 anos com TP=SL. Mas em geral, estou a pensar em usar a regressão com TP/SL fixo. Para ser mais preciso, de alguma forma faça uma classificação sobre a regressão.

Sim, isso me lembra, não acho que tal alvo pareça muito eficaz, pois não leva em conta a volatilidade.

Estou correcto ao assumir que uma posição é aberta praticamente em todos os bares para preparar uma amostra?

 
SanSanych Fomenko #:

Em princípio, não há, nem pode haver, métodos matemáticos que façam doces a partir do lixo. Ou um conjunto de preditores que predizem o professor, ou não há.

E os modelos não desempenham praticamente nenhum papel, nem as validações cruzadas e outras perversões computacionalmente intensivas.


PS.

A propósito, a "importância" dos preditores no modelo nada tem a ver com a capacidade de predizer o professor.

Você está profundamente enganado - não há métodos perfeitos de construção de modelos capazes de selecionar os preditores "certos" por si mesmos. Ou tal que eu não saiba.

Talvez você não consiga descrever o mercado perfeitamente, mas aplicando a análise por amostragem e previsão você pode melhorar significativamente o resultado do modelo, embora com uma olhada nos dados para os quais o treinamento é realizado.

A questão é como selecionar efetivamente os preditores e controlar suas alterações anormais ao aplicar o modelo.

 
Vladimir Perervenko #:

Há três opções para lidar com amostras de ruído: apagar, re-particionar (corrigir a marcação) e separar as amostras de ruído em uma classe separada. Na minha experiência, cerca de 25% da amostra é "ruído". A melhoria da qualidade é de cerca de 5%, depende dos modelos e da preparação dos dados. Eu aplico-o ocasionalmente.

Há outro problema quando se usam os preditores - a sua deriva. E este problema tem de ser identificado e levado em conta tanto nos testes como no funcionamento. A tradução do artigo em anexo (procure por outros na rede) e há um pacote para os vagabundos. Não é o único. Mas a questão é que ao selecionar os preditores você precisa considerar não só a sua importância, mas também a sua deriva. No caso dos grandes drifters descarte ou transforme, no caso dos pequenos drifters leve-os em consideração (faça correções) ao testar e trabalhar.

Boa sorte.

Pelo que entendi, os autores do artigo propõem analisar precisamente a distribuição dos valores preditores sobre a janela, e se for muito diferente, então sinalizar uma anomalia. Se bem entendi, o exemplo toma uma janela de 1000 indicadores - esta é uma janela grande, mas aparentemente estatisticamente defensável. Pergunta, que métricas são usadas para comparar as duas distribuições para detectar uma mudança significativa na mesma?

Pensando melhor, a mudança em si pode ser prevista por algum outro preditor, digamos que temos uma mudança de tendência global em semanas causada por uma mudança na taxa de juros - em todas as amostras tais mudanças são poucas - deixe 3 e o modelo pode simplesmente não pegar esses preditores, mas se combinarmos os dois preditores, a mudança "anormal" se presta à interpretação. Chego assim à ideia de que a deriva em si não é um motivo para deitar fora um preditor, mas um motivo para procurar um factor que o explique - ou seja, tentar encontrar um preditor correlativo e combiná-los, criando um novo preditor.

Por sua vez, direi brevemente sobre o meu método - eu quebrarei os preditores em 'quanta' (segmentos) e estimarei a resposta binária do quanta através do seu poder preditivo. Ao fazer uma secção transversal de tais estimativas ao longo da história, consigo escolher bons conjuntos de quanta que podem servir como preditores individuais, e também podem ser usados para seleccionar preditores de base. Esta abordagem também melhora os resultados. Correspondentemente, a estimativa de estabilidade do comportamento dos quanta, e sua seleção, em amostras de controle, melhora essencialmente os resultados do treinamento do modelo em CatBoost, e aqui eu me pergunto se é admissível usá-lo ou se já é auto-engano.

 
Aleksey Vyazmikin #:

Sim, isso lembra-me que não acho que a focalização seja muito eficaz porque não leva em conta a volatilidade.

Eu concordo. À noite o negócio ficará pendurado por várias horas, e durante o dia pode terminar em 5 minutos. É por isso que estou a pensar em como associar um modelo de regressão à classificação. Não posso prever números 0,1,2 "com uma figura de pau". Precisamos de algo mais inteligente.

Eu entendo corretamente que uma posição é aberta praticamente em todos os bares a fim de preparar uma amostra?

Sim, se houver uma aula de previsão de compra/venda. Há também uma aula - espere.

 
elibrarius #:

Eu concordo. Um acordo será suspenso durante horas à noite, mas durante o dia pode acabar em 5 minutos. É por isso que me pergunto como anexar um modelo de regressão à classificação. Não posso prever o número 0,1,2 "com uma figura de pau". Precisamos de algo mais inteligente.

Regressão logística
 
SanSanych Fomenko #:

Não vou ao fórum há alguns anos e ainda lá está, como na canção: "O que foste, o que ficaste, águia estepe, cossaco afoito...".

A estatística começa com um axioma que, sendo um axioma, não é discutido:


"Lixo a entrar, lixo a sair".


Em princípio, não há e não pode haver métodos matemáticos que possam fazer do lixo um doce. Ou um conjunto de preditores que PREVENDEM o professor, ou não há.

E os modelos não desempenham praticamente nenhum papel, nem as validações cruzadas e outras perversões computacionalmente intensivas.


PS.

A propósito, a "importância" dos preditores em um modelo nada tem a ver com a capacidade de predizer um professor.

Há sempre aqueles que, como o camarada Sukhov, pensam: "É melhor torturar, é claro")

Eu concordo que encontrar os preditores certos é mais importante do que o modelo específico. E é melhor construí-los com base principalmente no estudo do domínio do assunto, em vez de confiar apenas no poder dos algoritmos de MO (e construir preditores de uma forma ininterpretável a partir de barras).

Não menos importante que os preditores é a função da perda, que deve ser bem adaptada à área temática e ao problema a ser resolvido.

 
Eu nem sei se trabalhar com AMO pode ser chamado de busca por padrões, mas é uma simples aproximação/ajuste à função alvo.
A AMO consegue arranjar algo inteligente?
 
mytarmailS #:
Será que a AMO consegue arranjar algo inteligente?

Não, é uma base de dados de história memorizada. O que é uma folha em uma árvore? 10-20-100-1000 exemplos/cordas do passado, de alguma forma selecionados como semelhantes. Resposta da folha: para classificação - % da classe mais frequente ou apenas da classe mais frequente, para regressão - média aritmética de todos os valores.

Além disso, se floresta, calcula a média do valor de todas as árvores da floresta. Se for impulsionado, ele soma os valores de todas as árvores (cada árvore sucessiva corrige a soma de todas as árvores anteriores para obter a resposta mais precisa).
Razão: