L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 2843
Ti stai perdendo delle opportunità di trading:
- App di trading gratuite
- Oltre 8.000 segnali per il copy trading
- Notizie economiche per esplorare i mercati finanziari
Registrazione
Accedi
Accetti la politica del sito e le condizioni d’uso
Se non hai un account, registrati
SanSanych Fomenko, dobbiamo aspettarci un campione?
Di cosa si tratta?
Capisco. Avete una conoscenza superficiale dei modelli di apprendimento automatico.
Il primo elemento della catena è la preelaborazione, che richiede dal 50% al 70% del lavoro. È qui che si determina il successo futuro.
Il secondo elemento della catena è l'addestramento del modello su una serie di addestramenti.
Il terzo elemento della catena è l'esecuzione del modello addestrato sul set di test. Se le prestazioni del modello su questi set differiscono di almeno un terzo, il modello viene riqualificato. Succede ogni tanto, se non più spesso. Un modello sovrallenato è un modello troppo preciso. Scusate, le basi.
Di cosa si tratta?
Prima ho scritto
Forum sul trading, sui sistemi di trading automatico e sul test delle strategie di trading
Apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading
Aleksey Vyazmikin, 2022.12.08:44
Puoi inviarmi il tuo esempio? Abbiamo la stessa visione del problema della scarsa formazione dei modelli, vorrei confrontare quanto il tuo metodo di selezione sia migliore del mio e se si adatta al tuo campione.
Hai risposto che era una buona idea, ma hai cancellato il messaggio.
Per quanto ho capito ora, sto discutendo di modelli di apprendimento automatico e dell'ottimizzazione che è incorporata in questi modelli. È da lì che sei partito, dalle reti neurali.
Lei sta discutendo dell'ottimizzazione in sé, che per me non è rilevante nell'apprendimento automatico.
Le auguro buona fortuna nella sua ricerca di un optimum globale.
Per quanto ho capito ora, sto discutendo di modelli di apprendimento automatico e dell'ottimizzazione integrata in tali modelli. È da qui che siete partiti, dalle reti neurali.
Lei sta discutendo dell'ottimizzazione in quanto tale, che per me non è rilevante nell'apprendimento automatico.
Buona fortuna nella ricerca dell'optimum globale.
Ho raggiunto l'idea più importante: esiste un'innegabile connessione tra ottimizzazione e riqualificazione del modello. Il modello deve essere sempre lasciato piuttosto "grossolano" e certamente non è necessario un optimum globale.
Il semplice rifiuto di un optimum globale non evita ovviamente l'overfitting. L'overfitting consiste in un adattamento eccessivo del modello a questo particolare campione, a scapito della regolarità esistente. Si verifica a causa dell'estrema flessibilità di quasi tutti gli algoritmi MO. Pertanto, il modo standard per affrontarlo è quello di introdurre una penalità per l'eccessiva flessibilità del modello nel criterio di ottimizzazione (ad esempio, la regressione lazo). Si può semplicemente limitare la flessibilità del modello in modo prescrittivo, ma matematicamente si tratta solo di una penalità più rigida.
Questo, tra l'altro, è un buon esempio del perché dovrebbe essere possibile creare criteri personalizzati.
Preferire un estremo globale a un plateau è un po' diverso. Non si tratta più di un adattamento eccessivo a un particolare campione a scapito di una dipendenza esistente e immutabile. Qui stiamo parlando del fatto che, a causa della non stazionarietà dei prezzi (ciò di cui hai scritto all'inizio), la dipendenza cambia e dobbiamo cercare valori stabili (robusti) dei parametri che rimangano sufficientemente buoni anche con piccole variazioni nella dipendenza.
Non è necessario mescolare tutto in un unico mucchio.
Quando cerco un elenco accettabile di predittori - ottimizzazione nel senso dei pantaloni. Ma il significato è molto diverso: cercare di evitare "l'immondizia dentro - l'immondizia fuori". C'è una differenza qualitativa rispetto al tentativo di trovare l'algoritmo "giusto" che trovi l'optimum globale. Nessun optimum globale darà un TS redditizio sui rifiuti.
La scelta dei pantaloni è un esempio di ottimizzazione multicriterio - la scelta viene fatta in base alla lunghezza, alla taglia, al colore, al tessuto, al prezzo, alla marca e così via) È chiaro che la superficie di Pareto non viene costruita, ma c'è un mix implicito nella testa dell'acquirente di tutti i criteri in un unico compromesso. La stessa cosa accade con la selezione delle caratteristiche. La differenza importante con i pantaloni è che in questo caso sarà utile una formalizzazione esplicita del criterio di ottimalità del compromesso, poiché affidarsi costantemente all'intuizione porterà a fallimenti imprevedibili.
Se il modello funziona, ha impostazioni che funzionano bene su dati sconosciuti. è anche probabile che abbia impostazioni che non danno prestazioni soddisfacenti su oos - questo caso alcuni lo chiamano overtraining. in effetti, il criterio di stima non è stato scelto correttamente. il criterio corretto darà una curva viola per un modello funzionante. il problema si riduce alla massimizzazione (massimo globale) del criterio di stima corretto. in altre parole, se troviamo il massimo globale del criterio corretto, otterremo una curva viola.
e viceversa, se il criterio è scelto in modo errato, la massimizzazione di tale criterio errato darà una curva rossa.
Questo presuppone che il modello funzioni, ma vediamo quanto sia importante il criterio di valutazione.
Ma se il modello non funziona, allora nulla servirà, né il criterio né l'ottimizzazione.
Quindi, modello->criterio->ottimizzazione del criterio
La scelta dei pantaloni è un esempio di ottimizzazione multicriterio - la scelta viene fatta in base alla lunghezza, alla taglia, al colore, al tessuto, al prezzo, alla marca, ecc.) È chiaro che la superficie di Pareto non viene costruita, ma nella testa dell'acquirente c'è un'implicita mescolanza di tutti i criteri in un unico compromesso. La stessa cosa accade con la selezione delle caratteristiche. La differenza importante con i pantaloni è che in questo caso sarà utile una formalizzazione esplicita del criterio di ottimalità del compromesso, poiché affidarsi costantemente all'intuizione porterà a fallimenti imprevedibili.
La selezione dei pantaloni è un buon esempio di ottimizzazione guidata da un criterio. non tutti i pantaloni buoni andranno bene a tutti. l'ottimizzazione guidata dall'utente fornisce i pantaloni migliori e più adatti (criterio del massimo globale).
pantaloni -> criterio di valutazione dei pantaloni -> selezione (ottimizzazione del criterio di valutazione dei pantaloni)
Un semplice rifiuto dell'estremo globale non eviterà ovviamente l'overtraining (overfitting, adattamento eccessivo). L'overfitting consiste in un adattamento eccessivo del modello a questo particolare campione, a scapito della regolarità esistente. Si verifica a causa dell'estrema flessibilità di quasi tutti gli algoritmi MO. Pertanto, il modo standard per affrontarlo è quello di introdurre una penalità per l'eccessiva flessibilità del modello nel criterio di ottimizzazione (ad esempio, la regressione lazo). È possibile limitare semplicemente la flessibilità del modello in maniera direttiva, ma matematicamente si tratta solo di una penalità più severa.
Questo, tra l'altro, è un buon esempio del perché dovrebbe essere possibile creare criteri personalizzati.
Preferire un estremo globale a un plateau è un po' diverso. Non si tratta più di un adattamento eccessivo a un particolare campione a scapito di una dipendenza esistente e immutabile. Qui stiamo parlando del fatto che, a causa della non stazionarietà dei prezzi (ciò di cui avete scritto all'inizio), la dipendenza cambia ed è necessario cercare valori stabili (robusti) dei parametri che rimangano sufficientemente buoni anche in presenza di piccoli cambiamenti nella dipendenza.
Non mischiate tutto in un unico mucchio.
La scelta dei pantaloni è un esempio di ottimizzazione multicriterio - la scelta viene fatta in base alla lunghezza, alla taglia, al colore, al tessuto, al prezzo, alla marca e così via) È chiaro che la superficie di Pareto non viene costruita, ma nella testa dell'acquirente c'è una mescolanza implicita di tutti i criteri in un unico compromesso. La stessa cosa accade con la selezione delle caratteristiche. La differenza importante con i pantaloni è che in questo caso sarà utile una formalizzazione esplicita del criterio di ottimalità del compromesso, poiché affidarsi costantemente all'intuizione porterà a fallimenti imprevedibili.
È bello vedere un post di qualcuno in tema!
Se il modello funziona, allora ha impostazioni che funzionano bene su dati sconosciuti. è anche probabile che abbia impostazioni che non danno prestazioni soddisfacenti su oos - questo caso alcuni lo chiamano overtraining. in effetti, il criterio di stima non è stato scelto correttamente. il criterio corretto darà una curva viola per il modello funzionante. il problema si riduce alla massimizzazione (massimo globale) del criterio di stima corretto. in altre parole, se troviamo il massimo globale del criterio corretto, otterremo una curva viola.
e viceversa, se il criterio è scelto in modo errato, la massimizzazione di tale criterio errato darà una curva rossa.
Questo presuppone che il modello funzioni, ma vediamo quanto sia importante il criterio di valutazione.
Ma se il modello non funziona, allora nulla servirà, né il criterio né l'ottimizzazione.
Quindi, modello->criterio->ottimizzazione del criterio
.
Esempi di criteri integrali: saldo, fattore di profitto e altri. questi criteri fanno una valutazione sommaria senza tenere conto dei risultati degli eventi intermedi del processo (nel trading sono le transazioni). per esempio, due risultati con lo stesso saldo finale di 10000, in un caso 1000 transazioni redditizie, e nell'altro 999 non redditizie e 1 redditizia. è ovvio che anche se il criterio integrale è lo stesso in entrambi i casi, ma il modo in cui il risultato è stato raggiunto è coordinatamente diverso. è per questo che le persone spesso si lamentano dei criteri integrali, che la riqualificazione è ricevuta, il mercato non è stazionario, ecc.
Un esempio di criterio derivato è la deviazione standard da una linea di equilibrio che va dal punto di partenza al punto di arrivo. tali criteri, a differenza di quelli integrali, tengono conto dei risultati intermedi del processo. ciò consente di descrivere in modo univoco i requisiti del criterio.
I criteri integrali possono anche avere il diritto di essere, in quanto applicabili a determinati tipi di sistemi (ad esempio, dove il numero di transazioni per unità di tempo è praticamente una costante).
Tuttavia, sia per i criteri integrali che per quelli derivati, è necessario raggiungere un optimum globale. la scelta dei criteri determina la robustezza del sistema in futuro.
Se il ricercatore ha l'idea che potrebbe essere necessario cercare non il massimo globale, ma qualcosa nel mezzo, allora in questo caso è necessario riconsiderare immediatamente i criteri di valutazione del modello.