L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 3173

 
СанСаныч Фоменко #:

L'OOS deve essere sempre a DESTRA.

Se l'OOS è a SINISTRA, è impossibile garantire che il TS non sia sovrallenato e non stia guardando avanti. Questi sono i primi problemi principali che devono essere affrontati quando si testa un TC PRIMA di qualsiasi altra cosa.


Quale avete? Non fa differenza! Non importa che sia uno o entrambi. È necessario eseguire un test corretto e basta - OOS a destra.

È meglio dimenticarsi del tester e dei file di modulo per il test come segue:

Affermazioni altamente categoriche senza alcun dubbio. Ho scritto un post sull'argomento del posizionamento di OOS.

Non è la prima volta che mi capita di provare antipatia per il tester. Non so perché non mi piaceva il numero di schiacciatori.

Abbiamo due file.


Il primo file è diviso casualmente per campione in tre parti: formazione, test e validazione. Eseguite uno studio su un campione (casuale) di addestramento, poi verificate un campione casuale di test e di convalida: sono tutti pezzi DIVERSI del primo file. Confrontate i risultati. Se sono approssimativamente uguali, controllate il secondo file di "sequenza naturale". Se anche in questo caso sono approssimativamente uguali, otteniamo la conclusione principale: la nostra CT NON è sovrallenata e NON guarda avanti. Solo a partire da questa conclusione ha senso parlare di tutto il resto: precisione, redditività e altre cose, che sono tutte secondarie.


Noto che non ci sono praticamente altri modi per testare la capacità di guardare avanti e il sovrallenamento.

Non vedo come si possa guardare avanti nell'ottimizzazione.


Sulla metodologia. Non capisco la necessità di dividere in allenamento/test/esame. Affermare, anche con lo studio statistico più favorevole, che il CT non è sovrallenato mi sembra troppo autolesionista.

Il massimo che posso ottenere in una conclusione è "è probabile che il CT abbia trovato qualche schema che era presente qualche tempo prima e dopo l'intervallo di allenamento". Allo stesso tempo, non c'è alcuna garanzia che questo schema non si sia già rotto".

"Out-Of-Sample" - где расположить, справа или слева?
"Out-Of-Sample" - где расположить, справа или слева?
  • 2019.12.10
  • www.mql5.com
Когда-то в паблике столкнулся с мнением, что OOS должен располагаться только справа. Т.е. расположение его слева от интервала Оптимизации - ошибка. Я с этим был категорически не согласен, т.к. не
 

Si tratta piuttosto di decidere quale pillola prendere: blu o rossa :)


 
Maxim Dmitrievsky #:
Si tratta di fortuna e di p-hacking, sì. Quindi i risultati potrebbero essere qualsiasi cosa.

Il p-hacking consiste nell'adattare deliberatamente i risultati a un criterio statistico significativo. Per esempio, si vede che nell'oos di sinistra le statistiche sono ripide e si sceglie quell'opzione. Lo stesso vale per la destra. È tutta una questione di adattamento.

Aspettate, di che tipo di selezione stiamo parlando a questo punto?

 
fxsaber #:

Aspetta, di quale scelta stiamo parlando a questo punto?

Beh, avete scelto questa opzione e avete dimostrato che la sinistra è buona e la destra è cattiva.

Insomma, avete diverse opzioni per l'ottimizzazione, ma avete scelto questa da mostrare.

 
Maxim Dmitrievsky #:

Beh, avete scelto questa opzione e avete dimostrato che la sinistra è buona e la destra è cattiva.

Non l'ho fatto. Ecco il metodo.

Forum sul trading, sui sistemi di trading automatizzati e sulla verifica delle strategie di trading.

Machine learning nel trading: teoria, modelli, pratica e algo-trading

fxsaber, 2023.08.17 06:58

Non pratico tale autoinganno. Lo faccio solo in questo modo.

  1. Ottimizzazione sulle traine.
  2. Tra quelle trovate prendo le prime cinque e osservo il comportamento in OOS. In ogni caso non c'è ottimizzazione in questo punto.
Questo è il modo in cui sono state ottenute le immagini originali. Quindi il bel OOS sulla sinistra non è affatto un adattamento.
 
fxsaber #:

Non l'ho scelto io. Ecco il metodo.

Beh, un p-hacking più sofisticato :) c'è ancora un test multiplo e la selezione di intervalli di parametri TC. Non sono presi dal soffitto.

 
Aleksey Vyazmikin #:

Se il periodo di allenamento viene ridotto, l'inversione di tendenza del grafico avverrà altrettanto rapidamente?

Naturalmente varia. Ma molto spesso si nota un'interruzione subito dopo il Campione. Forse si tratta di una distorsione cognitiva, quando si presta maggiore attenzione a qualcosa e si ha l'impressione che si verifichi troppo spesso.

Non so molto di strategie tick, ma uno dei fattori di questo comportamento è la mancanza di dati comparabili al momento dell'addestramento, ad esempio - durante l'addestramento la tendenza era per lo più al ribasso su alcuni TF.

Il grafico mostra tre anni di trading giornaliero.

Non so quale metodo di formazione utilizziate, se si tratta di sistemi ad albero o di filtri che si limitano a bloccare l'intervallo di un indicatore condizionale (funzione), vale la pena di stimare il numero di esempi che rientrano in ciascuno di tali intervalli.

Quello che non ho fatto è stato tracciare un grafico per ogni intervallo. Ho contato i dati statistici, ma non ho guardato il grafico in sé.

Una situazione possibile è la deriva dei dati e lo spostamento della distribuzione di probabilità del filtro/elenco.

Ad esempio, quando seleziono segmenti quantistici su un campione per l'addestramento e poi stimo la loro distribuzione (percentuale di risposte corrette ed errate all'obiettivo 0||1) su altri due campioni, il soddisfacimento del criterio di stabilità su 3 campioni si trova entro il 25%-30% - è chiaro che in questo caso il modello ha più possibilità di scegliere un predittore instabile, che smetterà di funzionare su uno dei siti.

Alla fine, tutto si riduce all'analisi di modelli semplici, cioè alla ricerca di motivi per considerarli tali, piuttosto che all'osservazione casuale della coda di una cometa in un telescopio.

Non capisco la parte evidenziata.

 
Maxim Dmitrievsky #:

Beh, un p-hacking più sofisticato :) c'è ancora una serie di test multipli e la selezione di intervalli di parametri TC. Non sono presi dal soffitto.

Stop. Non sei contrario al processo di ottimizzazione in sé, vero? Ottenere la curva desiderata sull'intervallo Sample non ha nulla a che fare con gli altri intervalli, per pura logica.

 
fxsaber #:

Wow. Non siete contrari al processo di ottimizzazione in sé, vero? L'ottenimento della curva desiderata sull'intervallo del campione non è logicamente collegato ad altri intervalli.

È collegato perché avete impostato i parametri in base alle vostre conoscenze o preferenze. Inizialmente sapete come ottenere una curva migliore attraverso quali parametri. Inoltre, potreste aver fatto trading su una storia precedente e aver usato questa esperienza per costruire un TS su una nuova storia. La profondità di questa terapia gestaltica può essere enorme :)

Non sono contrario all'ottimizzazione, scrivo solo quali possono essere le insidie.
 
Andrey Dik #:

Per quanto tempo il sistema rimane redditizio?

Non capisco bene la domanda. L'OOS sinistro è di un anno. Dovrebbe essere aumentato all'indietro?

Ho riscontrato un simile comportamento del sistema, quando sull'OOS di destra c'è una brusca prugna, non credo che sia direttamente collegata a una brusca inversione di 180 gradi dei modelli di mercato trovati (indicherebbe ragioni di natura mistica, l'uso di pratiche voodoo e in generale qualsiasi cosa piuttosto che problemi reali come la riqualificazione o l'aggiustamento, perché è almeno strano quando una brusca prugna si verifica sempre dopo la fine della formazione). Di solito questo è dovuto ad alcuni errori nel codice che causano falsi positivi (o falsi negativi) come ha detto Max sopra, la cui correzione porta a un comportamento casuale sulla destra dell'OOS nel caso peggiore (overtraining) o a un graduale affievolimento della redditività nel caso migliore (affievolimento dei pattern trovati e/o loro graduale cambiamento).

Presumo che un'indicazione dell'assenza di bug nel codice sia il fatto che il codice faccia esattamente ciò che era stato previsto prima della programmazione. In questo senso, tutto va bene.

E nel caso generale, una CT con errori nel codice è ancora una CT. Solo che non è esattamente quello che l'autore intendeva originariamente.