Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 257

 

Estou um pouco confuso.

Há um preço. Eu pego os últimos 200 bares, tento treinar um modelo neles para duas aulas (compra/venda). Eu posso treinar qualquer coisa, mesmo uma floresta, até mesmo um neurônio, mas será inútil, porque se imaginarmos todos os exemplos de treinamento como pontos em um espaço de 200 dimensões, então as duas classes são misturadas uniformemente lá e as tentativas de separá-las com hiperplanos não são suficientemente precisas.

Agora uma opção melhor - todos os tipos de fundos de hedge criam novos preditores (indicadores, clusters, algumas fórmulas, e o que quer que seja) com base no preço. E nesses novos preditores eles treinam o mesmo modelo do primeiro ponto, mas neste caso eles cortam a couve.

Assim, no segundo caso, qualquer nova informação não é formada e acrescentada lá, são todos os mesmos pontos no espaço de 200 dimensões, que foram movidos em espaço menor. Isto é, uma redução dimensional tão peculiar, movendo pontos da mesma classe mais próximos uns dos outros no espaço. Mas os modelos de aprendizagem de máquinas também fazem isso, eles também usam seus algoritmos para reduzir a dimensionalidade e aproximar as aulas. Qual é a diferença entre estes dois métodos?

Porque se você aproximar pontos no espaço semi-automaticamente, com diferentes truques, e depois treinar o modelo, então ele funciona. Mas se você confia no próprio modelo para trabalhar com o espaço original, então ele falha? Estas são operações semelhantes em ambos os casos.

 
Dr. Trader:

Agora uma opção melhor - todos os tipos de fundos de hedge criam novos preditores (indicadores, clusters, algumas fórmulas, e qualquer outra coisa) com base no preço. E nesses novos preditores eles treinam o mesmo modelo do primeiro ponto, mas neste caso eles cortam a couve.

...

Porque, se você aproximar pontos no espaço semi-automaticamente, com vários truques, seguido pelo ensino do modelo, então ele funciona. E se confiar no modelo para trabalhar com o próprio espaço original, então ele falha? É uma operação semelhante em ambos os casos, não é?

Você não leva em conta que os grandes participantes do mercado movem o preço?
 
Dr. Trader:

Estou um pouco confuso.

Há um preço. Eu pego os últimos 200 bares, tento treinar um modelo neles para duas aulas (compra/venda). Eu posso treinar qualquer coisa, mesmo uma floresta, até mesmo um neurônio, mas será inútil, porque se imaginarmos todos os exemplos de treinamento como pontos em um espaço de 200 dimensões, então as duas classes são misturadas uniformemente lá e as tentativas de separá-las com hiperplanos não são suficientemente precisas.

Agora uma opção melhor - todos os tipos de fundos de hedge criam novos preditores (indicadores, clusters, algumas fórmulas, e o que quer que seja) com base no preço. E nesses novos preditores eles treinam o mesmo modelo do primeiro ponto, mas neste caso eles cortam a couve.

Assim, no segundo caso, qualquer nova informação não é formada e acrescentada lá, são todos os mesmos pontos no espaço de 200 dimensões, que foram movidos em espaço menor. Isto é, uma redução dimensional tão peculiar, movendo pontos da mesma classe mais próximos uns dos outros no espaço. Mas os modelos de aprendizagem de máquinas também fazem isso, eles também usam seus algoritmos para reduzir a dimensionalidade e aproximar as aulas. Qual é a diferença entre estes dois métodos?

Porque se você aproximar pontos no espaço semi-automaticamente, com diferentes truques, e depois treinar o modelo, então ele funciona. Mas se você confia no próprio modelo para trabalhar com o espaço original, então ele falha? Afinal, estas são operações semelhantes em ambos os casos.

E por que precisamos do modelo em princípio?

Por que precisamos de filtros diferentes na engenharia de rádio, e também na econometria? Alisamento, etc. e assim por diante....

A estatística é uma ciência muito sorrateira - você pode facilmente entrar em um jogo de números. A qualquer passo.

Se você definiu uma variável de destino, então você precisa corresponder os preditores a essa variável de destino, não quaisquer preditores, mas apenas aqueles que são DEFINITIVAMENTE relevantes para essa variável de destino. Sempre olhe para o preditor e tente responder à pergunta: "que propriedade, traço que este meu preditor reflete na minha variável alvo? E de qualquer forma: o que tem o preditor a ver com os mercados financeiros?

Por exemplo, RSI: parece refletir os mercados sobre-comprados/sobre-vendidos. Está claramente relacionado com reversões. E assim por diante.

Ou lembremo-nos de Burnakoff (como eu entendo o homem foi expulso do local por inundação): os incrementos com grandes desfasamentos são um sinónimo de periodicidade.

E falando em geral, um modelo geral e verbal do mercado financeiro precisa ser formulado.

Hindiman's (pacote de previsão), por exemplo. Na sua opinião, o mercado consiste em:

  • três variedades de tendência
  • três tipos de ruído
  • ciclicidade, que ele tem um período constante, que é consistente com os dados de produção, como a produção agrícola.
Provavelmente não é a única abordagem. Mas é certeza, não é ruído.

Com esta abordagem, você vai marcar as borras de café, os anéis de Saturno (ver lista de astrólogos)...

E também não se esqueça do flagelo dos dados financeiros, chamado "não-estacionariedade".

E também não se esqueça que os modelos para os mercados financeiros quase sempre acabam por ser super-treinados.

Todos nós ganhámos? Fumar o bambu...

 
Dr. Trader:

Estou de alguma forma confuso.

1) talvez só porque as fundações não fazem isso?

2) você precisa entender o que é o mercado, embora à sua própria maneira...

3) você precisa saber claramente de quem e por que você deve tirar dinheiro, você precisa ter sua própria idéia específica

4) Todo o MO e assim por diante... isto é apenas um conjunto de ferramentas para descrever a sua ideia específica, mas não a ideia em si, e é assim que a maioria das pessoas neste ramo pensa que o MO vai chegar a ela por si só.

Por mais pomposo que pareça, mas consegui fazer previsões de mercado mais ou menos adequadas e tenho um algoritmo bastante complicado, demora cerca de 6 minutos a calcular uma vela, mas alguns elementos básicos serão reescritos em C++

Mas o resultado calculado por este complexo algoritmo tem de ser analisado com os meus olhos - não é automático mas semi-automático, mas num futuro próximo vou tentar substituir a minha análise visual por algum MO para reconhecimento de padrões, a propósito, ele reconhece MO muito bem, ao contrário da previsão.Usei meus olhos para olhar através de cada saída e dizer: "Isso eu considero um sinal de compra e isso eu não considero um sinal", eu criei o alvo de acordo com minha visão, foi uma experiência, porque eu não fiz muitos dados com o alvo ainda... Eu tinha 100 amostras treinadas e 50 controles e treinei uma floresta normal e o que você acha? A floresta reconheceu 90% da nova amostra

 

Boa tarde, Task:

- Há um conjunto de valores X,Y,Z;

- Vamos tirar uma fatia - por X de 1 a 1000 em n-ésimo Y:

-Há alguns pontos de mínimos e máximos. Se cortarmos por X, então quaisquer valores >1 são importantes.

Qual a forma de olhar para recriar o cálculo do tipo de pesos em relação aos eixos.

Ou seja, começa a medir o objecto.

Se um sinal foi recebido na célula x-55 y-163, a tarefa é determinar o valor (peso) do ponto em relação aos eixos X e Y (possivelmente ao longo da diagonal), para sentir a posição do ponto sobre o objeto.

Eu acho que você precisa olhar para as principais características estatísticas, dispersão, medianas, modo, assimetria.

Em geral é necessário começar a medir o objeto de alguma forma, cada unidade em relação umas às outras, também que nos valores de um ponto sobre o objeto seja levada em conta a presença de outros objetos.

Arquivos anexados:
eiova.jpg  382 kb
1.jpg  320 kb
 
Top2n:

Bom tempo, Task:

Podes manter as coisas simples, não sei o que estás a tentar fazer.
 
SanSanych Fomenko:


Obrigado, eu compreendo uma coisa.

Os modelos essencialmente dividem de forma ideal o espaço preditor em dois subespaços - compra de classe e venda de classe.
Se começarmos a criar novos preditores aleatoriamente e por muito tempo, podemos ajudar um pouco o modelo, fazer algum do seu trabalho nós mesmos. Mas não tem que dar melhor estabilidade e previsibilidade, pode apenas ajudar o modelo a fazer o seu trabalho em menos iterações, e não há realmente tanta utilidade nessa operação como nós gostaríamos.

Mas aquelas operações que você mencionou - limpeza com ruído, suavização, tendências, etc. - não estão apenas criando preditores que são amigáveis ao modelo. Esta é a criação de preditores que, de alguma forma, descrevem os processos internos do mercado.
Eu olhei para diferentes estratégias de trabalho antigas, elas sempre têm algumas constantes - se MA, então 21, se RSI, então 14. Todas estas constantes e indicadores construídos com elas não só ajudam o modelo a classificar os dados mais facilmente, como também têm algumas propriedades que descrevem os processos do mercado interno. Além disso, constantes diferentes em fórmulas de previsão são alguns dados novos, por isso adicionamos novas informações aos dados originais.

Acontece que se você começar a gerar novos preditores sem pensar, eles apenas ajudarão o modelo a obter melhor precisão no treinamento, mas não ajudarão a descrever processos dentro do mercado e, portanto, as previsões com eles não são confiáveis. Então você tem que gerá-las com muita reflexão, eu concordo :)

E, há uma nova propriedade interessante de preditores para mim - descrição de processos internos de dados originais.
Em outras palavras, se eu tenho, por exemplo, uma dúzia de preditores que podem facilmente reconstruir centenas de barras de preço, então eles obviamente contêm as propriedades de mercado necessárias e o modelo construído sobre eles deve ser melhor.

 
Top2n:


Provavelmente não entendeu o que você precisa, mas eu tomaria algum raio, digamos 4, e para cada ponto encontraria o valor médio nesse raio.
Ou seja, se X=BC, Y=158, Z=1, então você pode encontrar o valor médio de todos os pontos neste raio R=4. Este seria o peso médio do ponto (BC,158,1) e sua proximidade. Faça isso para todos os pontos do array, e você recebe um novo array, onde quanto maior o número - mais sinais na vizinhança do array original.
Depois podemos projectá-la para algum eixo (descartar a coordenada Z, somar todas as células X e Y relevantes, que têm uma coordenada Z diferente). Depois também descarte Y por si só e resuma todas as células por X.

Arquivos anexados:
w5rtduyghjbn.png  388 kb
 
Dr. Trader:


Acontece que se você começar a gerar novos preditores sem pensar, eles apenas ajudarão o modelo a obter melhor precisão no treinamento, mas não ajudarão a descrever processos dentro do mercado e, portanto, as previsões com eles não são confiáveis. Então você tem que gerá-las com muita reflexão, eu concordo :)


Ainda assim, o forno do qual se dança é uma descrição verbal e intuitiva do mercado.

Tenho andado a dar pontapés na ideia de que nos mercados financeiros esta descrição intuitiva é dada pela ZZ. Se você olhar para ele:

  • as tendências podem ser observadas
  • o ruído é visto como um desvio das linhas rectas
  • você pode ver a periodicidade

Parece-me que todos os nossos problemas estão nesta periodicidade, que varia caóticamente nos dois eixos. É com isso que estamos a ficar presos. Se aprendermos pelo menos de alguma forma a lidar com esta não-estacionariedade, o resto é mais fácil.

 
SanSanych Fomenko:

Mesmo assim, o forno do qual se deve dançar é uma descrição verbal e intuitiva do mercado.

Há muito tempo que ando com a ideia de que nos mercados financeiros esta descrição intuitiva é dada pela ZZ. Se você olhar para ele:

  • as tendências podem ser observadas
  • você pode ver o ruído como um desvio das linhas rectas
  • você pode ver a periodicidade

Parece-me que todos os nossos problemas estão nesta periodicidade, que varia caóticamente nos dois eixos. É com isso que estamos a ficar presos. Se aprendermos a lidar pelo menos de alguma forma com esta não-estacionariedade, o resto é mais fácil.

Não julgue estritamente e não pergunte o que quero dizer, mas talvez um White_Noise Generator possa ajudar. A propósito, se alguém puder, por favor partilhe a sua experiência com Fourier_Laplace_Z transforms.
Razão: