L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 257

 

Sono un po' confuso.

C'è un prezzo. Prendo le ultime 200 barre, provo ad addestrare un modello su di esse per due classi (acquisto/vendita). Posso addestrare qualsiasi cosa, anche una foresta, anche un neurone, ma sarà inutile, perché se immaginiamo tutti gli esempi di addestramento come punti in uno spazio di 200 dimensioni, allora entrambe le classi sono uniformemente mescolate lì e i tentativi di separarle con gli iperpiani non sono abbastanza accurati.

Ora un'opzione migliore - tutti i tipi di hedge fund creano nuovi predittori (indicatori, cluster, alcune formule e quant'altro) basati sul prezzo. E su questi nuovi predittori allenano lo stesso modello del primo punto, ma in questo caso tagliano il cavolo.

Così, nel secondo caso, non si forma e non si aggiunge alcuna nuova informazione, sono tutti gli stessi punti nello spazio di 200 dimensioni, che sono stati spostati in uno spazio minore. Cioè una riduzione dimensionale così particolare, spostando punti della stessa classe più vicini tra loro nello spazio. Ma i modelli di apprendimento automatico fanno anche questo, usano i loro algoritmi per ridurre la dimensionalità e avvicinare le classi. Qual è la differenza tra questi due metodi?

Perché se si approssimano i punti nello spazio in modo semi-automatico, con diversi trucchi, e poi si allena il modello, allora funziona. Ma se ti fidi del modello stesso per lavorare con lo spazio originale, allora fallisce? Si tratta di operazioni simili in entrambi i casi.

 
Dr.Trader:

Ora un'opzione migliore - tutti i tipi di fondi hedge creano nuovi predittori (indicatori, cluster, alcune formule e qualsiasi altra cosa) basati sul prezzo. E su questi nuovi predittori addestrano lo stesso modello del primo punto, ma in questo caso tagliano il cavolo.

...

Perché, se si approssimano punti nello spazio in modo semi-automatico, con vari trucchi, seguiti dall'insegnamento del modello, allora funziona. E se si confida che il modello funzioni con lo spazio originale stesso, fallisce? Sono operazioni simili in entrambi i casi, no?

Non tieni conto che i grandi partecipanti al mercato muovono il prezzo?
 
Dr.Trader:

Sono un po' confuso.

C'è un prezzo. Prendo le ultime 200 barre, provo ad addestrare un modello su di esse per due classi (acquisto/vendita). Posso addestrare qualsiasi cosa, anche una foresta, anche un neurone, ma sarà inutile, perché se immaginiamo tutti gli esempi di addestramento come punti in uno spazio di 200 dimensioni, allora entrambe le classi sono uniformemente mescolate lì e i tentativi di separarle con gli iperpiani non sono abbastanza accurati.

Ora un'opzione migliore - tutti i tipi di hedge fund creano nuovi predittori (indicatori, cluster, alcune formule e quant'altro) basati sul prezzo. E su questi nuovi predittori allenano lo stesso modello del primo punto, ma in questo caso tagliano il cavolo.

Così, nel secondo caso, non si forma e non si aggiunge alcuna nuova informazione, sono tutti gli stessi punti nello spazio di 200 dimensioni, che sono stati spostati in uno spazio minore. Cioè una riduzione dimensionale così particolare, spostando punti della stessa classe più vicini tra loro nello spazio. Ma i modelli di apprendimento automatico fanno anche questo, usano i loro algoritmi per ridurre la dimensionalità e avvicinare le classi. Qual è la differenza tra questi due metodi?

Perché se si approssimano i punti nello spazio in modo semi-automatico, con diversi trucchi, e poi si allena il modello, allora funziona. Ma se ti fidi del modello stesso per lavorare con lo spazio originale, allora fallisce? Si tratta di operazioni simili in entrambi i casi, dopo tutto.

Perché abbiamo bisogno del modello in linea di principio?

Perché abbiamo bisogno di filtri diversi nell'ingegneria radiofonica, e anche nell'econometria? Lisciatura e così via....

La statistica è una scienza molto subdola - si può facilmente scivolare in un gioco di numeri. A qualsiasi passo.

Se hai definito una variabile target, allora devi abbinare i predittori a quella variabile target, non tutti i predittori, ma solo quelli che sono DEFINITIVAMENTE rilevanti per quella variabile target. Guardate sempre il predittore e cercate di rispondere alla domanda: "quale proprietà, tratto riflette questo mio predittore nella mia variabile target? E comunque: cosa c'entra il predittore con i mercati finanziari?

Per esempio, RSI: sembra riflettere i mercati in ipercomprato/ipervenduto. Si riferisce chiaramente alle inversioni. E così via.

Oppure ricordiamoci di Burnakoff (da quanto ho capito l'uomo è stato cacciato dal sito a causa di un'inondazione): gli incrementi con ritardi abbastanza grandi sono un bellwether per la periodicità.

E parlando in generale, bisogna formulare un modello generale e verbale del mercato finanziario.

Quello di Hindiman (pacchetto di previsioni), per esempio. Secondo lui, il mercato è composto da:

  • tre varietà di tendenza
  • tre tipi di rumore
  • ciclicità, che ha un periodo costante, che è coerente con i dati di produzione, come la produzione agricola.
Probabilmente non è l'unico approccio. Ma è certezza, non rumore

Con questo approccio, spunterete i fondi di caffè, gli anelli di Saturno (vedi lista degli astrologi)...

E inoltre non dimenticate la piaga dei dati finanziari, chiamata "non stazionarietà".

E inoltre non dimenticate che i modelli per i mercati finanziari si rivelano quasi sempre troppo allenati.

Abbiamo vinto tutti? Affumicare il bambù...

 
Dr.Trader:

Sono in qualche modo confuso.

1) forse solo perché le fondazioni non lo fanno?

2) bisogna capire cos'è il mercato, anche se a modo suo...

3) devi sapere chiaramente da chi e perché dovresti prendere soldi, devi avere una tua idea specifica

4) Tutto il MO e così via... questo è solo un toolkit per descrivere la vostra idea specifica, ma non l'idea stessa, ed è così che la maggior parte delle persone in questo ramo pensano che il MO verrà fuori tutto da solo

Non importa quanto possa sembrare pomposo, ma sono riuscito a fare previsioni di mercato più o meno adeguate e ho un algoritmo abbastanza complicato, ci vogliono circa 6 minuti per calcolare una candela, ma alcuni elementi di base saranno riscritti in C++

E il risultato calcolato da questo complesso algoritmo deve essere analizzato con i miei occhi, non risulta essere automatico ma semi-automatico, ma nel prossimo futuro cercherò di sostituire la mia analisi visiva con qualche MO per il riconoscimento dei modelli, a proposito, riconosce MO molto bene a differenza delle previsioni.Ho usato i miei occhi per guardare attraverso ogni uscita e dire: "Questo lo considero un segnale di acquisto e questo non lo considero un segnale", ho creato l'obiettivo secondo la mia visione, è stato un esperimento, perché non ho fatto ancora molti dati con l'obiettivo... Ho avuto 100 campioni addestrati e 50 controlli e ho addestrato un normale Forest e cosa ne pensi? Forest ha riconosciuto il 90% del nuovo campione

 

Buon pomeriggio, Task:

- C'è un array di valori X,Y,Z;

- Prendiamo una fetta - per X da 1 a 1000 su n-esimo Y:

-Ci sono alcuni punti di minimo e di massimo. Se tagliamo per X, allora tutti i valori >1 sono importanti.

Da che parte guardare per ricreare il calcolo del tipo di pesi rispetto agli assi.

Cioè, iniziare a misurare l'oggetto.

Se un segnale è stato ricevuto sulla cella x-55 y-163, il compito è quello di determinare il valore (peso) del punto in relazione agli assi X e Y (eventualmente lungo la diagonale), per sentire la posizione del punto sull'oggetto.

Penso che tu debba guardare verso le principali caratteristiche statistiche, dispersione, mediane, modalità, asimmetria.

In generale è necessario iniziare a misurare l'oggetto in qualche modo, ogni unità in relazione l'una con l'altra, anche che nei valori di un punto sull'oggetto si tenga conto della presenza di altri oggetti.

File:
eiova.jpg  382 kb
1.jpg  320 kb
 
Top2n:

Buon tempo, Task:

Puoi mantenerti semplice, non so cosa stai cercando di fare.
 
SanSanych Fomenko:


Grazie, ho capito qualcosa.

I modelli essenzialmente dividono in modo ottimale lo spazio dei predittori in due sottospazi - classe-acquisto e classe-vendita.
Se iniziamo a creare nuovi predittori in modo casuale e per un lungo periodo, possiamo aiutare un po' il modello, fare noi stessi parte del suo lavoro. Ma non deve dare una migliore stabilità e prevedibilità, può solo aiutare il modello a fare il suo lavoro in meno iterazioni, e non c'è davvero così tanta utilità in questa operazione come vorremmo.

Ma quelle operazioni che hai menzionato - pulizia del rumore, smoothing, trending, etc. - non sono solo la creazione di predittori che sono model-friendly. Si tratta della creazione di predittori che in qualche modo descrivono i processi interni del mercato.
Ho guardato diverse vecchie strategie di lavoro, hanno sempre alcune costanti - se MA, allora 21, se RSI, allora 14. Tutte queste costanti e gli indicatori costruiti con esse non solo aiutano il modello a classificare i dati più facilmente, ma hanno anche alcune proprietà che descrivono i processi interni del mercato. Inoltre, le diverse costanti nelle formule per i predittori sono dei nuovi dati, quindi aggiungiamo nuove informazioni ai dati originali.

Si scopre che se si iniziano a generare nuovi predittori in modo sconsiderato, essi aiuteranno solo il modello a ottenere una migliore accuratezza nell'addestramento, ma non aiuteranno a descrivere i processi all'interno del mercato, e quindi le previsioni con essi non sono affidabili. Quindi bisogna generarli con molto pensiero, sono d'accordo :)

E c'è una nuova proprietà interessante dei predittori per me - la descrizione dei processi interni dei dati originali.
In altre parole, se ho, per esempio, una dozzina di predittori che possono facilmente ricostruire centinaia di barre di prezzo, allora ovviamente contengono le proprietà di mercato necessarie e il modello costruito su di essi dovrebbe essere migliore.

 
Top2n:


Probabilmente hai capito male quello che ti serve, ma io prenderei un certo raggio, diciamo 4, e per ogni punto troverei il valore medio in quel raggio.
Cioè se X=BC, Y=158, Z=1, allora si può trovare il valore medio di tutti i punti in questo raggio R=4. Questo sarebbe il peso medio del punto (BC,158,1) e delle sue vicinanze. Fate questo per tutti i punti della matrice, e otterrete una nuova matrice, dove più alto è il numero - più segnali ci sono nelle vicinanze della matrice originale.
Poi possiamo proiettarlo su qualche asse (scartare la coordinata Z, sommare tutte le celle X e Y rilevanti, che hanno una coordinata Z diversa). Poi scarta anche Y da solo e somma tutte le celle per X.

File:
w5rtduyghjbn.png  388 kb
 
Dr.Trader:


Si scopre che se si iniziano a generare nuovi predittori in modo sconsiderato, essi aiuteranno solo il modello a ottenere una migliore accuratezza nell'addestramento, ma non aiuteranno a descrivere i processi all'interno del mercato, e quindi le previsioni con essi non sono affidabili. Quindi bisogna generarli con molto pensiero, sono d'accordo :)


Eppure, il forno da cui ballare è qualche descrizione verbale e intuitiva del mercato.

Ho buttato giù l'idea che nei mercati finanziari questa descrizione intuitiva è data da ZZ. Se lo si guarda:

  • le tendenze possono essere viste
  • si può vedere il rumore come una deviazione dalle linee rette
  • si può vedere la periodicità

Mi sembra che tutti i nostri problemi siano in questa periodicità, che varia caoticamente su entrambi gli assi. Questo è quello con cui siamo bloccati. Se impariamo almeno in qualche modo a trattare questa non stazionarietà, il resto è più facile.

 
SanSanych Fomenko:

In ogni caso, il forno da cui si dovrebbe ballare è una qualche descrizione verbale e intuitiva del mercato.

Ho portato avanti a lungo l'idea che nei mercati finanziari questa descrizione intuitiva è data da ZZ. Se lo guardi:

  • le tendenze possono essere viste
  • il rumore è visto come una deviazione dalle linee rette
  • si può vedere la periodicità

Mi sembra che tutti i nostri problemi siano in questa periodicità, che varia caoticamente su entrambi gli assi. Questo è quello con cui siamo bloccati. Se impariamo a trattare almeno in qualche modo questa non stazionarietà, il resto è più facile.

Non giudicare strettamente e non chiedere cosa intendo, ma forse un generatore di rumore bianco può aiutare. A proposito, se qualcuno può, per favore condivida la sua esperienza con le trasformazioni Fourier_Laplace_Z.
Motivazione: