Discussione sull’articolo "Approccio brute force per la ricerca di pattern (Parte VI): Ottimizzazione ciclica" - pagina 3

 
fxsaber #:

Ma cercare specificamente la bellezza di Sharpe, R^2 o il criterio in questo articolo sembra discutibile. Forse mi sbaglio.

Molto giusto
 
mytarmailS #:
Molto giusto

Molto giusto che qualcosa sembra discutibile )))) anche così, ma tutto questo è un rantolo, mentre qualcuno è molto giusto o sbagliato ho già trasformato tutto in un prodotto. Cos'è questa terminologia, molto sbagliata..... Queste curve sono solo un modo per avvicinare la deviazione standard all'aspettativa matematica, forza gente..... Lavorare con un campione limitato vi costringerà a farlo perché è l'unico modo per aumentare la fiducia in quel campione.

 
Evgeniy Ilin #:

Molto giusto che qualcosa sia visto come dubbio ))) anche così, ma è tutto sciocchezze, mentre qualcuno è molto giusto o sbagliato ho già trasformato tutto in un prodotto.

Il fatto di trasformare qualcosa in un prodotto non significa che faccia qualcosa di utile.

Al resto risponderò più tardi.

 
mytarmailS #:

Risponderò al resto più tardi.

Armeggiare con il TC per adattarlo a una bella curva di profitto è un sovrallenamento, anche se si dispone di OOS.

Conoscete l'errore dei test multipli?


Date un'occhiata a questi materiali


P-hacking e riqualificazione dei backtest " Mathematical Investor (mathinvestor.org)

Come l'overtraining sulla storia in finanza porta a false scoperte " The Math Investor (mathinvestor.org)

Il backtest history overtraining e l'errore di probabilità post-hoc " L'investitore matematico (mathinvestor.org)

backtest-prob.pdf (davidhbailey.com)

AI in finanza: come iniziare finalmente a credere ai backtest [3/3] | di Alex Honchar | Verso la scienza dei dati

Demistificare la probabilità di overfitting dei backtest: una guida passo-passo con codice Python e aiuti visivi | di Francesco Landolfi | Python in Plain English


E allora vi renderete conto che state semplicemente facendo overtraining, indipendentemente dal criterio che utilizzate:

unmodo per avvicinare la deviazione standard all'aspettativa matematica o alla pendenza della retta di regressione o alla massimizzazione del profitto o a Sharpe o.....


Cosa fare:

L'errore dei test multipli dimostra che anche a caso è possibile costruire un TS che mostri una curva piacevole sia nel test che nella traccia.


È necessario

1) Sviluppare un sistema di simulazioni, intervalli di confidenza e prendere la curva come risultato non di un calcolo di TS commerciale come quello che avete, ma per esempio 50 simulazioni di TS in ambienti diversi, la media di queste 50 simulazioni da prendere come risultato della funzione di fitness che dovrebbe essere massimizzata/minimizzata.


2) Durante la ricerca della curva migliore (dal punto 1 ) da parte dell'algoritmo di ottimizzazione, ogni iterazione dovrebbe essere correlata a test multipli.

Il problema dei test multipli nella pratica / Habr (habr.com)


Ecco come funziona...

 
mytarmailS #:

Modificare il TC per adattarlo a una bella curva di profitto è sovrallenamento, anche se si dispone di OOS.

Conoscete l'errore dei test multipli?


Leggete questi materiali


P-hacking e backtest di riqualificazione " Mathinvestor (mathinvestor.org)

Come il sovrallenamento storico in finanza porta a false scoperte " The Math Investor (mathinvestor.org)

L'overtraining dei test storici e l'errore di probabilità post-hoc " L'investitore matematico (mathinvestor.org)

backtest-prob.pdf (davidhbailey.com)

AI in finanza: come iniziare finalmente a credere ai backtest [3/3] | di Alex Honchar | Verso la scienza dei dati

Demistificare la probabilità di overfitting dei backtest: una guida passo-passo con codice Python e aiuti visivi | di Francesco Landolfi | Python in Plain English


E allora vi renderete conto che state semplicemente facendo overtraining, indipendentemente dal criterio che utilizzate:

unmodo per avvicinare la deviazione standard all'aspettativa matematica o alla pendenza della retta di regressione o alla massimizzazione del profitto o a Sharpe o....


Cosa fare:

L'errore dei test multipli dimostra che anche a caso è possibile costruire un TS che mostri una curva piacevole sia sul test che sulla traccia.


Ed è necessario

1) Sviluppare un sistema di simulazioni, intervalli di confidenza e prendere la curvatura come risultato non di un solo calcolo di TS di trading come avete fatto voi, ma per esempio 50 simulazioni di TS in ambienti diversi, la media di queste 50 simulazioni da prendere come risultato della funzione di fitness che dovrebbe essere massimizzata/minimizzata.


2) Durante la ricerca della curva migliore (dal punto 1 ) da parte dell'algoritmo di ottimizzazione, ogni iterazione dovrebbe essere correlata a test multipli.

Problema dei test multipli in pratica / Habr (habr.com)


Ecco come funziona...

L'ho già sentito dire. Tutto ciò che è bello è riqualificare. Sì, certo, è una funzione di fitness e stiamo cercando la cosa sbagliata. Non ho una rete neurale, se non altro. I problemi sono comprensibili. È solo un problema di campionamento limitato, te lo dico in breve: non stai prestando attenzione a quello che dico. Mi hai tirato addosso cento e cinquecento articoli, come se avessimo il tempo di stare seduti a leggere per dimostrarti qualcosa. Quello che offri è comprensibile, ma mettere tutto insieme in un prodotto e dare alla gente che conterà tutto fino alla pensione e non al fatto che otterrai il tuo agognato graal.... Le risorse sono limitate e il tempo è limitato, personalmente per me, se avete più tempo per l'amor di Dio andate più a fondo. Ho sentito molte cose, non ho letto articoli, ma questi problemi sono evidenti e senza articoli, per una persona che pensa.

 
Evgeniy Ilin #:

L'ho già sentito dire. Tutto ciò che è bello è riqualificare. Sì, certo, è una funzione di fitness e stiamo cercando la cosa sbagliata, i criteri di ricerca sono sbagliati. Funzione di fitness... Non ho una rete neurale, se non altro. I problemi sono comprensibili. È solo un problema di campionamento limitato, te lo dico in breve: non stai prestando attenzione a quello che dico. Mi hai tirato addosso cento e cinquecento articoli, come se avessimo il tempo di stare seduti a leggere per dimostrarti qualcosa. Quello che offri è comprensibile, ma mettere tutto insieme in un prodotto e dare alla gente che conterà tutto fino alla pensione e non il fatto che otterrai il tuo agognato graal.... Le risorse sono limitate e il tempo è limitato, personalmente per me, se avete più tempo per l'amor di Dio andate più a fondo. Ho sentito molte cose, non ho letto articoli, ma questi problemi sono evidenti e senza articoli, per una persona che pensa.

A giudicare dalla tua risposta, non capisci un bel niente...
Ho sprecato il mio tempo. Non lo farò più.
 
mytarmailS #:
A giudicare dalla tua risposta non capisci un accidente....
Ho sprecato il mio tempo. Non lo farò più

Beh, vedo che non capisci un accidente, quindi chi ha ragione? Il tuo giudizio è solo il tuo giudizio e niente di più. Per esempio, vedo che hai letto articoli intelligenti e stai riversando qui i link fingendo di essere un mega trader, ma in realtà nessuno li leggerà. Ho visto persone come lei, che conoscono un sacco di parole intelligenti, ma non servono a nulla. Bisogna capire e ricavare formule, fare ricerche, avere una propria esperienza e una propria posizione. Sono stato coinvolto nelle scommesse cripto e sportive e so tutto, non ho nulla da fare per leggere i vostri articoli. Tutto ciò di cui ho bisogno lo deduco da solo, prendo un taccuino e scrivo le formule.

 
mytarmailS #:

Devi

1) Sviluppare un sistema di simulazioni, intervalli di confidenza e prendere la curva come risultato non di un solo calcolo di TS di trading come avete fatto voi, ma per esempio di 50 simulazioni di TS in ambienti diversi, la media di queste 50 simulazioni da prendere come risultato della funzione fitness, che dovrebbe essere massimizzata/minimizzata.


2) Durante la ricerca della curva migliore (dal punto 1 ) da parte dell'algoritmo di ottimizzazione, ogni iterazione dovrebbe essere correlata a test multipli.

Ci sono esempi in cui qualcuno ha utilizzato questo approccio e lo ha portato a un risultato pratico? Domanda senza giri di parole, davvero interessante.

 
Kristian Kafarov #:

Ci sono esempi in cui qualcuno ha utilizzato questo approccio e lo ha portato a un risultato pratico? La domanda è senza dubbio interessante.

Io l'ho fatto e lo faccio.
E non solo io, tutti questi approcci sono ampiamente conosciuti e utilizzati nella scienza, nella medicina, ecc.

Se si vogliono cifre relative al mercato, diciamo che quello che suggerisce l'autore dell'articolo è il solito adattamento primitivo alla storia (retraining) che funziona su nuovi dati quasi mai...
In un linguaggio normale tutto questo è scritto in 15 righe di codice, ma l'autore ci spende mesi perché, come dice lui stesso, "il tempo è prezioso per lui" e chiama orgogliosamente "prodotto" questa inutile sciocchezza.

E quello che ho cercato di descrivere funziona almeno dieci volte meglio dell'adattamento primitivo.
 
mytarmailS #:
L'ho fatto e lo sto applicando.

Sarebbe interessante vedere esempi concreti. È chiaro che molti si limitano ad applicare (anche se con successo) e a tacere. Ma qualcuno dovrebbe avere descrizioni dettagliate di ciò che ha fatto, di ciò che ha ottenuto e di come ha fatto ulteriori scambi.