Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 3005

 
Maxim Dmitrievsky #:
Foi uma chamada para pensar antes de fazer bobagens como transformar a série inicial em gráficos, quanta, níveis, senoides ou qualquer outra coisa que você tenha inventado.
Que o problema não está definido corretamente, eu já disse isso aqui há muito tempo, a última vez há 10-20 páginas, portanto, não há nada para me ensinar, eu mesmo entendo tudo perfeitamente bem...

E para transformar a tarefa, você precisa transformar os dados...

Portanto, enquanto você está me dizendo para pensar sobre isso, eu já pensei e estou considerando minhas opções.
[Excluído]  
mytarmailS #:
O fato de que a tarefa não está definida corretamente, isso eu tenho dito aqui há muito tempo, a última vez há 10-20 páginas, então como se eu não tivesse nada para me ensinar, eu entendo tudo perfeitamente bem.....

E para transformar a tarefa, você precisa transformar os dados...

Então, enquanto você me diz para pensar, eu já pensei sobre isso e estou vendo as opções.
E novamente você terá memorização em vez de generalização.
 
Maxim Dmitrievsky #:
A presença de um sinal constante nos dados significa quase imediatamente generalização, e o ruído se transforma em erros. Se não houver sinal, teremos memorização, em que o erro de classificação é simplesmente a sobreposição de amostras com rótulos diferentes e os mesmos valores de recursos. O segundo modelo não tem valor preditivo. Essa é a resposta ao meu refrão. E ela é confirmada por testes em dados sintéticos e reais.

Na presença de padrões (wavelets, shaplets e assim por diante), mas na ausência de um sinal, somente a divisão em treinados e não treinados funcionará. O treinável é classificado, o não treinável é filtrado. Aqui, a boa memorização funciona como um filtro e a generalização como generalização de padrões.

Quando não há padrões persistentes pronunciados (como no mercado), mas quando há ineficiências, a abordagem deve ser ainda mais refinada, porque as ineficiências nem sempre podem ser descritas por padrões. Aqui é preciso separar um do outro: o que precisa ser lembrado e o que precisa ser generalizado. Algoritmicamente.

A transformação dos dados mudará sua representação, mas não resolverá o problema em si, pois é a série original que é negociada em última instância.

As regularidades têm uma probabilidade flutuante, que pode ser cíclica ou pode desaparecer completamente. Eu trabalho com grandes intervalos de tempo e observei esses fenômenos.

Posso dizer que é possível treinar um modelo para 2008-2017 (10 anos), que funcionará até hoje. Esse modelo terá poucos sinais - Recall de até 30% no máximo, mas isso também diz que há poucos padrões para dez anos que funcionariam para os próximos dois anos (amostra de teste).

Mas que tipo de padrões são esses - cíclicos ou únicos (talvez com um ciclo de dezenas de anos) - ainda não podem ser estabelecidos e, portanto, é impossível selecionar um modelo que continuará funcionando.

Idealmente, é necessário encontrar padrões cíclicos com uma frequência de pelo menos uma vez a cada três meses, e então podemos esperar que o modelo seja capaz de sair do levantamento.

Um pacote desses modelos treinados em diferentes padrões cíclicos reduzirá o drawdown.

Portanto, o importante é o sinal inicial + alvo + preditores com regularidade cíclica positiva em relação ao alvo.


Sua abordagem - sacudir e peneirar - é semelhante ao trabalho de um garimpeiro - é claro que você pode encontrar muitas coisas interessantes e não aprendidas, mas como pode ter certeza de que elas serão estáveis?

Eu mesmo gosto de decifrar a data e tenho ideias nesse sentido, mas agora quero pesquisar no sentido de aumentar a probabilidade de estabilidade do modelo.

[Excluído]  
Aleksey Vyazmikin #:

Sua abordagem - sacudir e peneirar - é como o trabalho de um garimpeiro - é claro que você pode encontrar muitas coisas interessantes e não aprendidas, mas como ter certeza de que elas serão estáveis?

Eu mesmo gosto de sacudir a data e tenho ideias nesse sentido, mas agora quero me aprofundar na direção de aumentar a probabilidade de estabilidade do modelo.

Escrevi um entendimento básico sem o qual não vale a pena fazer absolutamente nada. Nem que seja para confirmar cada um dos pontos (caso você não tenha entendido da primeira vez 🙂 )

Para verificar a estabilidade, testes, testes e mais testes, nada mais. O MO é mais adequado para isso.

Porque os chorões teóricos falam muito sobre tsos e outras bobagens, sem nem mesmo entender o básico do MO, aparentemente. Esse entretenimento não é para fracos mentais e morais, é mais fácil reclamar :).
 
Maxim Dmitrievsky #:
Escrevi um entendimento básico sem o qual não vale a pena fazer nada. Nem que seja para confirmar cada ponto (caso você não tenha entendido da primeira vez 🙂 )

Para verificar a estabilidade, testes, testes e mais testes, nada mais. O MO é mais adequado para isso.

Não estou contestando suas descrições e a abordagem em geral - eu mesmo a descrevi em essência há muito tempo, embora com uma implementação diferente.

Meus experimentos artificiais mostraram que muitas vezes é suficiente extrair linhas com 10 regularidades simples (no meu caso, um segmento quântico em que o valor do preditor caiu) para que toda a amostra mude a probabilidade em 15-20% para um, enquanto reduz a amostra em 35%. Isso não pode ser obtido por métodos de aprendizado de máquina. Em essência, essa é a lixiviação de dados inúteis/contraditórios. Mas queremos fazer isso mais perto da data atual, ou seja, não conhecendo estatisticamente o histórico, mas por meio de alguns métodos de seleção apenas de padrões falsos/contraditórios.

Se definirmos uma tarefa, de acordo com a qual o modelo deve funcionar em qualquer instrumento, então o teste é possível, mas há ainda menos padrões estáveis. E simplesmente correr pela história ou, pior ainda, usar sintéticos - não acho que isso seja eficaz. No máximo, é possível criar padrões sintéticos a partir de incrementos diários embaralhando os dias, mas isso ainda não está disponível para mim. Você já tentou fazer isso?

 
mytarmailS #:
Estou completamente por fora do assunto, mas gostaria de saber se um preço pode ser representado por um gráfico e se ele tem alguma vantagem sobre a representação bidimensional usual.
Quem sabe sobre isso?

Você poderia usar a representação de Mandelbrot do preço como uma floresta de árvores ternárias, em que cada movimento é dividido em três (dois movimentos na mesma direção e uma correção entre eles).

A vantagem é o acesso à coleta de qualquer estatística sobre a estrutura fractal do preço. As desvantagens são a complexidade dos algoritmos e a dificuldade de evitar olhar para o futuro.

 
Stanislav Korotky #:

E como isso se relaciona com as matrizes e os exemplos de plataformas "paralelas" que dei acima?

Por exemplo, pego as matrizes do link para o keras e as chamo:

e obtenho zeros.

O exemplo de controle não se encaixa.

A entropia cruzada categórica é usada em modelos de classificação em que há mais de duas classes. E depois de softmax. O softmax converte um conjunto de valores em um conjunto de probabilidades cuja soma é 1.

Tente um exemplo de controle como este:

pred: 0,1, 0,1, 0,2, 0,5, 0,1

true: 0, 0, 1, 0, 0, 0, 0

[Excluído]  
Aleksey Vyazmikin #:

No máximo, é possível criar sintéticos a partir dos incrementos diários embaralhando os dias, mas isso ainda não está disponível para mim. Você já tentou fazer isso?

Não entendo em que essas suposições se baseiam, e isso é novamente trabalhar com características, não melhorar a forma de aprendizado. Portanto, é secundário.

É como na escola. Você pode ensinar com um livro didático e com outro. A informação não mudará em sua essência, assim como acontece com as transformações. Mas ela entrará em uma cabeça e sairá pela outra :)

É difícil trabalhar com sintéticos quando o objetivo final não está claro. É melhor usá-la para testar algumas propriedades das sequências, misturá-las em diferentes partes e ver como os resultados mudam. Por exemplo, e se? Para alinhar os deslocamentos nos dados ainda.
Em geral, é útil para melhorar a generalização, reduzindo a memorização dos dados originais, mas ainda é incompleto em termos de criação de um TS pronto. Um resultado semelhante pode ser obtido nos dados originais, ao treinar um conjunto de modelos diferentes, que inclui modelos simples até lineares.

Bem, você sabe a resposta aproximada de que ainda é impossível obter algo excelente com isso, mas é possível aprimorá-lo.

 
Aleksey Nikolayev #:

Podemos considerar a representação de Mandelbrot do preço como uma floresta de árvores ternárias, em que cada movimento é dividido em três (dois movimentos na mesma direção e uma correção no meio).

A vantagem é o acesso à coleta de quaisquer estatísticas sobre a estrutura fractal do preço. As desvantagens são a complexidade dos algoritmos e a dificuldade de evitar olhar para o futuro.

Ele pode ser apresentado na forma de regras associativas?
 
mytarmailS #:
Isso pode ser representado como regras associativas?

Não pensei nisso, mas acho que é improvável, pois a ordem dos movimentos é importante nos preços.

Por via das dúvidas, uma imagem para ilustrar a ideia de Mandelbrot. Cada movimento de preço, se possível, é dividido em três movimentos (selecionando a correção máxima dentro dele) e, em seguida, torna-se um nó da árvore. Se não houver correção dentro do movimento (ou se ela for menor que um determinado valor), ele se tornará uma folha da árvore.