Valutare l'efficacia dei filtri nella costruzione di un ATC - pagina 4

 
-Aleks-:

La diminuzione degli scambi porterà certamente a cambiamenti negli indicatori di valutazione della strategia (set), questo è il problema di quanto possono essere cambiati.

Per esempio, senza il filtro, l'ottimizzazione per l'intera gamma di parametri di base dà un profitto medio di 100k e il 35% di perdite (depositi in perdita) con una media di 500 operazioni. Con il filtro applicato, il profitto medio è di 10k e il 5% di perdite con una media di 250 operazioni - il profitto è diminuito di 10 volte, e la percentuale di risultati negativi solo di 7, mentre il numero di operazioni è diminuito di 2 volte - è buono o cattivo? Qual è la priorità più alta?

In statistica esiste una cosa come il confronto tra campioni.

Supponiamo che si faccia un esperimento. Si tratta di studiare l'effetto di qualche fattore. In questo caso è l'effetto di un filtro.

Si confrontano due campioni. Il primo campione è l'insieme iniziale dei risultati di tutte le transazioni, il secondo campione sono i risultati filtrati.

L'ipotesi nulla è che il filtro non abbia funzionato, l'ipotesi alternativa è che il filtro abbia filtrato qualcosa.

Alex, imho, manca il passo iniziale della stima - disegnare le distribuzioni dei risultati di tutte le offerte e cercare gli outlier e poi rimuoverli. Altrimenti un indicatore come "profitto medio" non è rappresentativo.
 

Dennis Kirichenko:

Alex, imho, manca il passo iniziale nella stima - costruire le distribuzioni dei risultati di tutte le offerte e cercare i valori anomali, e poi rimuoverli. Altrimenti un indicatore come "profitto medio" non è rappresentativo.

Come propone di cercare queste variazioni? Non ho ancora capito bene di cosa si tratta, ma sospetto che si tratti di normalizzazione dei dati? Se si tratta semplicemente di vagliare i risultati illogici, che non si inseriscono nel quadro della teoria della strategia, allora si presume che questo passo sia già stato fatto, ma se si tratta di escludere i risultati più importanti, allora è necessario avere una giustificazione per la loro esclusione.

Mentre io, al contrario, cerco di non escludere varianti poco attraenti, ma accettabili, l'idea è che il mercato è volatile (di regola, la varietà del suo comportamento può essere vista su diversi strumenti).

 
-Aleks-:

Come propone di cercare questi outlier? Non ho ancora capito bene di cosa si tratta, ma sospetto che riguardi la normalizzazione dei dati? Se si tratta solo di setacciare i risultati illogici che non si adattano al quadro della teoria della strategia, allora è implicito che questo passo è già stato fatto, ma se si tratta di escludere risultati molto importanti, allora è necessaria una giustificazione per la loro esclusione...

Quindi c'è una procedura statistica. Sì, giusto - ci sbarazziamo di elementi della popolazione, i cui valori erano troppo grandi o piccoli.
...Mentre al contrario, sto cercando di non escludere opzioni poco attraenti, ma accettabili, l'idea è che il mercato è volatile (di regola la varietà del suo comportamento può essere vista su diversi strumenti).
Sì, volatile. Ma questa è un'altra domanda. L'idea qui è semplice: dobbiamo valutare se il filtro ha influenzato o meno la performance della strategia.

Imho, metodologicamente è più corretto non cercare alcuni indicatori per descrivere i risultati dell'ottimizzazione e poi giocare con loro ma confrontare 2 campioni - prima e dopo :-)

E i campioni possono essere composti da qualsiasi criterio di risultato. Ho scritto sopra sui risultati degli accordi. Ma puoi prenderne anche altri... A proposito, è un compito interessante...
 
Dennis Kirichenko:
Quindi c'è una procedura statistica. Sì, giusto - sbarazzarsi degli elementi della popolazione, i cui valori erano troppo grandi o piccoli. Sì, è variabile. Ma questa è un'altra domanda. L'idea qui è semplice: dobbiamo valutare se il filtro ha influenzato o meno la performance della strategia.

Quindi in realtà lo faccio facendo la media di tutti gli indicatori - in questo modo gli outlier sono livellati, giusto? Faccio una convoluzione dei risultati dell'ottimizzazione (con una suddivisione in due attributi - ma è per chiarezza - uno di loro può essere rimosso - cioè una delle opzioni sarà ovviamente peggiore) e confronto la convoluzione (ci sono valori massimi e minimi di alcuni indicatori e la loro struttura come percentuale di outlier - e non hai ancora guardato il file) solo per livellare l'effetto delle emissioni. Inoltre, in aggregato faccio un confronto di 13 coppie di valute separatamente comprando e vendendo. Come risultato confronto 13*2*2=52 risultati medi di ottimizzazione. Se il filtro funziona globalmente, dovrebbe funzionare per tutte le coppie, cioè dovrebbe esserci un trend positivo.

Dennis Kirichenko:

Penso che sia metodologicamente più corretto non cercare alcuni indicatori per descrivere i risultati di ottimizzazione e poi giocare con loro, ma confrontare due campioni - prima e dopo :-)

E i campioni possono essere composti da qualsiasi indicatore di risultato. Ho scritto sopra sui risultati degli accordi. Ma puoi prenderne anche altri... A proposito, è un compito interessante...

I campioni non sono tutto, ma una parte - quale attributo prendere per selezionare questa parte?

Se è davvero interessante, sono pronto a postare per un'analisi dettagliata i risultati dell'ottimizzazione - per esempio una coppia senza filtri e con filtri - dati comparabili.



 
Так я это и делаю фактически путем усреднения всех показателей - таким образом выбросы нивелируются, разве нет? 
No. Le emissioni sono prese in considerazione. E possono influenzare notevolmente la media. Questo è fondamentalmente sbagliato.

Poi, è importante vedere la forma della distribuzione del campione. Se sarà molto diverso dal normale, per esempio avendo un paio di picchi, non è buono... quindi questo è tutto, in poche parole...

I campioni non sono tutti, ma una parte di essi - quale attributo dovrebbe essere usato per distinguere questa parte?

Se è davvero interessante, sono pronto a postare per un'analisi dettagliata i risultati dell'ottimizzazione - per esempio una coppia senza filtri e con filtri - dati comparabili.

Campionamento qui perché, per definizione, non c'è un'intera popolazione generale. In breve, qui, è quello che è - vediamo solo una parte del fenomeno (storia del trading).

Sì, si può guardare.

Alex, prima hai bisogno di 2 campioni(risultati di ottimizzazione):

1) questi sono passaggi senza filtro;

2) questi sono passaggi con filtro (solo qui i parametri del filtro non dovrebbero essere ottimizzati, ma dovrebbero essere fissati).
 
Dennis Kirichenko:
No. Gli outlier sono presi in considerazione. E possono influenzare notevolmente la media. E questo è fondamentalmente sbagliato.

E se le emissioni non sono accidentali?

Dennis Kirichenko:

Sì, si può vedere.

Alex, prima hai bisogno di 2 campioni(risultati di ottimizzazione):

1) questi sono passaggi senza filtro;

2) questi sono passaggi con filtro (solo qui i parametri del filtro non dovrebbero essere ottimizzati, ma dovrebbero essere fissati).

Il file contiene i risultati dell'ottimizzazione senza filtro e con le posizioni delle variabili del filtro 7 - divisi in fogli separati, quindi non ci dovrebbero essere problemi con il loro parsing, e le diverse impostazioni daranno anche una risposta alla domanda quanto filtrare.

Scelto la peggiore opzione - coppia EURUSD M15 per il 2013-2015 - solo acquisto.

Senza filtraggio:

Senza filtro

Con filtro - i limiti dell'interruttore del filtro in 7 posizioni sono distinguibili sul grafico:

 

Dennis Kirichenko, ci sono abbastanza dati o il tuo interesse è svanito?

 
-Aleks-:

Dennis Kirichenko, ci sono abbastanza dati o il tuo interesse è svanito?

Lo guarderò un giorno, mi dispiace, sono stato molto occupato...
 
Dennis Kirichenko:
Gli darò un'occhiata l'altro giorno, scusate, sono stato molto occupato...

Bene, penso che sarà interessante e informativo!

 
Guardiamo la colonna "Utile netto", 1° foglio Standart (anche se Standard è probabilmente più corretto).

Calcoliamo prima le statistiche descrittive. In particolare, voglio sapere se ci sono degli outlier.





Ci sono degli outlier. Si tratta degli scambi più in perdita con la perdita che supera i 58.351,76.

Istogramma.



L'idea è quella di rimuovere le emissioni e analizzarle ulteriormente. Ma qui ci sono un bel po' di outlier. E rimuoverli è più che altro un trucco metodologico. Secondo la forma attuale, la distribuzione con outlier non sembra essere normale, il che significa che c'è qualche fattore che influenza il risultato più di altri.