L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 3005

 
Maxim Dmitrievsky #:
Era un invito a riflettere prima di fare sciocchezze come trasformare la serie iniziale in grafici, quanti, livelli, sinusoidi o qualsiasi altra cosa abbiate inventato.
Che il problema non sia impostato correttamente, lo dico qui da molto tempo, l'ultima volta 10-20 pagine fa, quindi non c'è nulla da insegnare, capisco tutto perfettamente da solo...

E per trasformare il compito, bisogna trasformare i dati...

Quindi mentre tu mi dici di pensarci, io ci ho già pensato e sto valutando le mie opzioni.
 
mytarmailS #:
Il fatto che il task non sia impostato correttamente, questo lo dico qui da tempo, l'ultima volta 10-20 pagine fa, quindi come se non avessi nulla da insegnarmi, capisco tutto perfettamente bene.....

E per trasformare l'attività, bisogna trasformare i dati...

Quindi, mentre tu mi dici di pensare, io ci ho già pensato e sto esaminando le opzioni.
E ancora una volta si ottiene la memorizzazione invece della generalizzazione.
 
Maxim Dmitrievsky #:
La presenza di un segnale costante nei dati significa quasi immediatamente generalizzazione, mentre il rumore si trasforma in errore. Se non c'è segnale, si ha la memorizzazione, dove l'errore di classificazione è semplicemente la sovrapposizione di campioni con etichette diverse e gli stessi valori di caratteristica. Il secondo modello non ha alcun valore predittivo. Questa è la risposta al mio rebus. Ed è confermata da test su dati sintetici e reali.

In presenza di modelli (wavelets, shaplets e così via), ma in assenza di un segnale, funziona solo la divisione in addestrati e non addestrati. L'addestrabile viene classificato, il non addestrabile viene filtrato. In questo caso, una buona memorizzazione funziona come un filtro e la generalizzazione come generalizzazione dei modelli.

Quando non ci sono modelli persistenti e pronunciati (come nel mercato), ma ci sono inefficienze, l'approccio deve essere ancora più raffinato, perché le inefficienze non possono sempre essere descritte da modelli. In questo caso bisogna distinguere l'uno dall'altro: ciò che deve essere ricordato e ciò che deve essere generalizzato. Algoritmicamente.

La trasformazione dei dati ne cambierà la rappresentazione, ma non risolverà il problema in sé, poiché è la serie originale che viene scambiata.

Le regolarità hanno una probabilità fluttuante, che può essere ciclica o scomparire del tutto. Io lavoro con ampi intervalli temporali e ho osservato questi fenomeni.

È possibile addestrare un modello per il periodo 2008-2017 (10 anni), che funzionerà fino ad oggi. Un modello di questo tipo avrà pochi segnali - richiamo fino al 30% massimo, ma questo dice anche che ci sono pochi modelli per dieci anni che funzionerebbero per i prossimi due anni (campione di prova).

Ma non è ancora possibile stabilire che tipo di modelli siano questi - ciclici o una tantum (magari con un ciclo di decine di anni) - e quindi è impossibile selezionare un modello che continui a funzionare.

Idealmente, è necessario trovare pattern ciclici con una frequenza di almeno una volta ogni 3 mesi, e allora possiamo aspettarci che il modello sia in grado di uscire dal drawdown.

Un pacchetto di tali modelli addestrati su diversi pattern ciclici ridurrà il drawdown.

Pertanto, l'importante è il segnale iniziale + il target + i predittori che hanno una regolarità ciclica positiva rispetto al target.


Il vostro approccio - scuotere e setacciare - è simile al lavoro di un cercatore d'oro - ovviamente potete trovare un sacco di cose interessanti e non imparate, ma come potete essere sicuri che saranno stabili?

Mi piace decifrare io stesso la data, e ho delle idee in questa direzione, ma ora voglio scavare nella direzione di aumentare la probabilità di stabilità del modello.

 
Aleksey Vyazmikin #:

Il vostro approccio - scuotere e setacciare - è come il lavoro di un cercatore d'oro: naturalmente si possono trovare molte cose interessanti e non imparate, ma come essere sicuri che saranno stabili?

A me stesso piace scuotere la data, e ho idee in questa direzione, ma ora voglio scavare nella direzione di aumentare la probabilità di stabilità del modello.

Ho scritto una comprensione di base senza la quale non vale la pena di fare nulla. Se non altro per confermare ciascuno dei punti (se non l'avete capito la prima volta 🙂 )

Per verificare la stabilità, test, test e ancora test, nient'altro. Il MO è il più adatto per questo.

Perché i lamentosi teorici parlano molto di tsos e altre sciocchezze, senza nemmeno capire le basi del MO, a quanto pare. Questo divertimento non è per i deboli mentali e morali, è più facile lamentarsi :).
 
Maxim Dmitrievsky #:
Ho scritto una comprensione di base senza la quale non vale la pena di fare nulla. Anche solo per confermare ogni punto (se non l'hai capito la prima volta 🙂 )

Per verificare la stabilità, test, test e ancora test, nient'altro. Il MO è il più adatto per questo.

Non sto contestando le tue descrizioni e l'approccio in generale - io stesso l'ho descritto in sostanza molto tempo fa, anche se con un'implementazione diversa.

I miei esperimenti artificiali hanno dimostrato che spesso è sufficiente estrarre righe con 10 semplici regolarità (nel mio caso, un segmento quantistico in cui il valore del predittore è sceso) che l'intero campione sposterebbe la probabilità del 15-20% verso uno, riducendo al contempo il campione del 35%. Questo non può essere ottenuto con i metodi di apprendimento automatico. In sostanza, si tratta di un'eliminazione dei dati inutili/contraddittori. Ma vogliamo farlo più vicino alla data attuale, cioè non conoscendo statisticamente la storia, ma selezionando solo i modelli falsi/contraddittori.

Se stabiliamo un compito, in base al quale il modello deve funzionare su qualsiasi strumento, allora il test è possibile, ma i modelli stabili sono ancora meno. E correre attraverso la storia o, peggio ancora, prendere dei sintetici, non credo sia efficace. Al massimo, è possibile ricavare delle sintesi da incrementi giornalieri mescolando i giorni, ma questo non è ancora disponibile per me. Avete provato?

 
mytarmailS #:
Sono completamente fuori dal giro, ma mi sto chiedendo se un prezzo può essere rappresentato da un grafico e se ha qualche vantaggio rispetto alla solita rappresentazione bidimensionale.
Chi ne sa qualcosa?

Si potrebbe prendere la rappresentazione di Mandelbrot del prezzo come una foresta di alberi ternari, dove ogni mossa è divisa in tre (due mosse nella stessa direzione e una correzione tra di esse).

Il vantaggio è l'accesso alla raccolta di statistiche sulla struttura frattale del prezzo. Gli svantaggi sono la complessità degli algoritmi e la difficoltà di evitare di guardare avanti.

 
Stanislav Korotky #:

E come si collega questo alle matrici e agli esempi di piattaforme "parallele" che ho fornito sopra?

Ad esempio, prendo le matrici dal link a keras, le chiamo:

e ottengo degli zeri.

L'esempio di controllo non si adatta.

L'entropia incrociata categoriale viene utilizzata nei modelli di classificazione in cui sono presenti più di due classi. E dopo softmax. Softmax converte un insieme di valori in un insieme di probabilità la cui somma è pari a 1.

Provate a fare un esempio di controllo come questo:

pred: 0,1, 0,1, 0,2, 0,5, 0,1

vero: 0, 0, 1, 0, 0, 0, 0

 
Aleksey Vyazmikin #:

Al massimo, è possibile ricavare dei sintetici dagli incrementi giornalieri mescolando i giorni, ma questo non è ancora disponibile per me. Avete provato?

Non capisco su cosa si basino queste ipotesi, e anche in questo caso si tratta di lavorare con i tratti, non di migliorare il modo di apprendere. Quindi è secondario.

È come a scuola. Si può insegnare da un libro di testo e da un altro. L'informazione non cambierà nella sua essenza, proprio come le trasformazioni. Ma entrerà in una testa e uscirà dall'altra :)

È difficile lavorare con i sintetici quando l'obiettivo finale non è chiaro. È meglio usarli per testare alcune proprietà delle sequenze, mescolarle in parti diverse e vedere come cambiano i risultati. Ad esempio, cosa succederebbe se? Per allineare gli offset nei dati.
In generale è utile per migliorare la generalizzabilità riducendo la memorizzazione dei dati originali, ma è ancora incompleto in termini di creazione di un TS pronto per l'uso. Un risultato simile si può ottenere sui dati originali, quando si addestra un insieme di modelli diversi, che comprendono modelli semplici fino a quelli lineari.

Conoscete la risposta approssimativa: è ancora impossibile ottenere qualcosa di superbo attraverso di essa, ma è possibile migliorarla.

 
Aleksey Nikolayev #:

Possiamo considerare la rappresentazione di Mandelbrot del prezzo come una foresta di alberi ternari, dove ogni movimento è suddiviso in tre (due movimenti nella stessa direzione e una correzione nel mezzo).

Il vantaggio è l'accesso alla raccolta di qualsiasi statistica sulla struttura frattale del prezzo. Gli svantaggi sono la complessità degli algoritmi e la difficoltà di evitare di guardare avanti.

Può essere presentato sotto forma di regole associative?
 
mytarmailS #:
Può essere rappresentato come regole associative?

Non ci ho pensato, ma credo sia improbabile, perché l'ordine dei movimenti è importante nei prezzi.

Per sicurezza, un'immagine per illustrare l'idea di Mandelbrot. Ogni movimento di prezzo, se possibile, viene suddiviso in tre movimenti (selezionando la massima correzione al suo interno), quindi diventa un nodo dell'albero. Se non c'è alcuna correzione all'interno del movimento (o è inferiore a un determinato valore), allora diventa una foglia dell'albero.


Motivazione: