L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 2255

 
elibrarius:
Una rara attivazione su Exam significa piuttosto che il mercato è cambiato e ciò che è successo spesso sul trayn ha smesso di accadere. E non significa necessariamente che non ci siano state nemmeno molte attivazioni del foglio.

Sì, sono d'accordo che c'è anche un effetto di cambiamento del mercato.

Guardiamo Treno.

La situazione è leggermente migliore, ma ci sono anche foglie con un numero raro di attivazioni.

Notate come avviene l'apprendimento - si costruisce un albero con un peso grande - successo condizionato, e poi un insieme con pesi piccoli, e poi di nuovo grande - una torta così, e se si rimuovono le vene con pesi piccoli, allora si ottiene uno spostamento di probabilità.

 
Aleksey Vyazmikin:

Sì, sono d'accordo che c'è anche un effetto di cambiamento del mercato.

Guardiamo Treno.

La situazione è leggermente migliore, ma lo sono anche le foglie con un numero sparso di attivazioni.

Notate come avviene l'apprendimento - si costruisce un albero con pesi grandi - successo condizionato, e poi un insieme con pesi piccoli, e poi di nuovo grandi - una torta così, e se si rimuovono le vene con pesi piccoli, e si ottiene uno spostamento di probabilità.

Mi chiedo cosa succederà se si addestra un nuovo modello su questo diagramma?

In generale l'idea è di addestrare il secondo modello sulle "viscere" del primo.

 
Maxim Dmitrievsky:

Perché stai armeggiando con il carburatore? Non stai migliorando nulla con questo.

Se si capisce qual è il problema, si può cercare una soluzione. Ovviamente tali alberi hanno degli svantaggi.

Ma sono d'accordo che non riesco a capire il codice di CatBoost per fare modifiche, ahimè.

Tuttavia c'è la possibilità di influenzare il modello, forse l'azzeramento degli esempi rari nelle foglie darà un effetto positivo, ma è auspicabile poi ricalcolare i coefficienti delle foglie - con esso è più complicato, ma globalmente risolvibile.

Maxim Dmitrievsky:

Prendiamo una semplice rete neurale senza foglie. Funzionerà sui nuovi dati così come sul boosting. Cosa vi dice questo?

Sono d'accordo che ci saranno effetti di sovrallenamento anche lì, ma di natura diversa - la questione è quale di questi effetti può essere più accuratamente rilevato e valutato e quale è più facile da affrontare.

Maxim Dmitrievsky:

C'è un eccellente strumento SHAP per la selezione e l'interpretazione delle caratteristiche, ma è in python. È stato fatto tutto per voi da molto tempo).

In effetti, la stragrande maggioranza di questi metodi parla solo di usare i predittori nei modelli, ma non fa alcuna valutazione dei predittori stessi. Avete bisogno di stime di predittori indipendenti dal modello - ci sto lavorando, ci sono modesti risultati positivi.

Naturalmente voglio giocare con soluzioni già pronte in python o R, ma dubito di poter gestire una nuova sintassi.

 
mytarmailS:

Mi chiedo cosa succede se si allena un nuovo modello su questo diagramma?

In realtà l'idea è di addestrare un secondo modello sulle "interiora" del primo modello.

Questo modello nell'esempio è da depositi antichi, ora ho 60k foglie nei modelli, che naturalmente è molto per formare un campione. Forse provare a ridurre significativamente il numero di alberi. Tuttavia, noto che ho valutato le foglie di CatBoost e sono molto deboli nelle loro caratteristiche individuali rispetto alle foglie di un albero genetico.

Sulle foglie (migliaia di foglie) dell'albero genetico che ho addestrato - le prestazioni metriche possono essere migliorate.

 
Aleksey Vyazmikin:

Se si capisce qual è il problema, si può cercare una soluzione. Ovviamente tali alberi hanno degli svantaggi.

Ma sono d'accordo che non riesco a capire il codice di CatBoost per fare modifiche, ahimè.

Tuttavia, c'è la possibilità di influenzare il modello, forse azzerare gli esempi rari nelle foglie avrà un effetto positivo, ma è auspicabile poi ripesare i coefficienti delle foglie - questo è più difficile, ma globalmente risolvibile.

Sono d'accordo che ci saranno effetti di sovrallenamento anche lì, ma di natura diversa - la questione è quale di questi effetti può essere più accuratamente identificato e valutato e quale è più facile da affrontare.

In effetti, la stragrande maggioranza di questi metodi parla solo dell'uso di predittori nei modelli, ma non fa alcuna valutazione degli stessi. Abbiamo bisogno di stime di predittori indipendenti dal modello - sto lavorando su questo, ci sono modesti risultati positivi.

Naturalmente voglio far girare soluzioni già pronte in python o R, ma ci sono dubbi che io possa gestire la nuova sintassi.

È l'effetto delle caratteristiche sul comportamento di un particolare modello che viene valutato lì

 
Aleksey Vyazmikin:

Se si capisce qual è il problema, si può cercare una soluzione. Ovviamente tali alberi hanno degli svantaggi.

Ma sono d'accordo che non riesco a capire il codice di CatBoost per fare modifiche, ahimè.

Tuttavia, c'è la possibilità di influenzare il modello, forse azzerare gli esempi rari nelle foglie avrà un effetto positivo, ma è auspicabile poi ripesare i coefficienti delle foglie - questo è più difficile, ma globalmente risolvibile.

Sono d'accordo che ci saranno effetti di sovrallenamento anche lì, ma di natura diversa - la questione è quale di questi effetti può essere più accuratamente identificato e valutato e quale è più facile da affrontare.

In effetti, la stragrande maggioranza di questi metodi parla solo dell'uso di predittori nei modelli, ma non fa alcuna valutazione degli stessi. Abbiamo bisogno di stime di predittori indipendenti dal modello - sto lavorando su questo, ci sono modesti risultati positivi.

Naturalmente voglio far girare soluzioni già pronte in Python o R, ma ci sono dubbi che io possa gestire la nuova sintassi.

Sono giunto alla conclusione che aggiungere 1 alla volta (o togliere 1 alla volta) è la cosa migliore. Ecco la mia ricerca. Immagino che l'abbiate già visto.

Сравнение разных методов оценки важности предикторов.
Сравнение разных методов оценки важности предикторов.
  • www.mql5.com
Провел сравнение разных методов оценки важности предикторов. Тесты проводил на данных титаника (36 фичей и 891 строки) при помощи случайного леса из 100 деревьев. Распечатка с результатами ниже. За
 
Maxim Dmitrievsky:

è l'impatto delle caratteristiche sul comportamento di un particolare modello che viene valutato

È quello che sto dicendo, la valutazione passa attraverso il modello risultante.

 
elibrarius:

Ha concluso che aggiungere 1 alla volta (o togliere 1 alla volta) è meglio. Ecco la mia ricerca. Probabilmente l'avete già visto.

Non l'ho mai visto prima - l'ho cercato - in generale sono d'accordo che il vero effetto può essere ottenuto attraverso la rimozione. CatBoost ha un metodo per rimuovere il predittore e una sorta di riponderazione del modello senza di esso, ma non l'ho trattato. Finora mi sono limitato ad aggiungere e rimuovere predittori, ma non solo uno, ma a gruppi.

 
Aleksey Vyazmikin:

È quello che sto dicendo, la valutazione passa attraverso il modello risultante.

e questo è un bene

si può vedere quali caratteristiche sono difettose nei nuovi dati

 

Non so... forse è la mia esperienza o forse è il mio bere...)

...ma credo che tu soffra di...)

Motivazione: