L'apprendimento automatico nel trading: teoria, modelli, pratica e algo-trading - pagina 1801

 
Aleksey Vyazmikin:

Ci deve essere qualche algoritmo, perché si scopre che per 15000 elementi di 3 combinazioni, abbiamo bisogno di mantenere l'array in memoria per 4 terabyte! E ancora di più, ho calcolato, se spendiamo 8 bit per elemento.

Allora ci rimane un'opzione in cui non immagazziniamo questo array in memoria, ma lo ricalcoliamo effettivamente dall'inizio alla riga (colonna) desiderata ad ogni chiamata. Invece di un enorme consumo di memoria, ci sarà un enorme consumo di tempo. È abbastanza standard per i problemi combinatori.

 
mytarmailS:

guardato...

Il file del saldo corrente non contiene prezzi, i prezzi che mi hai mandato prima non corrispondono alla dimensione del saldo corrente


L'appendice ha sia il bilancio che l'OHLCV in un unico file - forse è più comodo così.

Avevo controllato se c'era un errore nell'indicatore, quindi era così - devo ancora occuparmi degli indicatori separatamente - eh.

File:
Balans_OHLCV.zip  6871 kb
 
Aleksey Nikolayev:

Questo ci lascia la possibilità di non memorizzare l'array in memoria, ma di ricalcolarlo effettivamente dall'inizio fino alla riga (colonna) che vogliamo. Invece di un enorme consumo di memoria, ci sarà un enorme consumo di tempo. Questa è una situazione abbastanza standard per i problemi combinatori.

Se c'è una sequenza, ci deve essere una formula o un'altra soluzione più rapida che passare attraverso tutti i punti. L'overkill è altrettanto inefficiente da applicare.

Infatti questa è una funzione con punti noti...

Penso che si possano definire delle aree e costruire un tavolo sui loro confini. Supponiamo che ci sia un modello per ogni 10000 elementi, quindi contate da questo punto. È strano che tale compito non sia risolto.
 
Aleksey Vyazmikin:

Penso che sia possibile definire delle aree, e poi costruire una tabella basata sui loro confini. Supponiamo che ci sia un modello per ogni 10000 elementi, quindi contate da questo punto.

Beh, sì, si può memorizzare non l'intero array, ma una versione altamente diluita di esso e iniziare a contare dalla linea più vicina.

Ma cosa farete con così tante combinazioni?

 
Aleksey Nikolayev:

Beh, sì, puoi memorizzare una versione pesantemente diluita di un array, piuttosto che l'intero array, e leggere fino al posto giusto, iniziando dalla linea più vicina.

Ma cosa farete con così tante combinazioni?

Ogni combinazione sarà controllata per la storia e sarà dato un verdetto - spazzatura o riserva.

Idealmente, penso, sarebbe selezionato circa 1k foglie - monconi, che dovrebbe essere controllato per la somiglianza tra l'altro, lasciare unico, penso nel quartiere di 10k sarà lasciato. E da questi resti di raccogliere gruppi per il commercio (questo metodo ho già implementato).

Di conseguenza, se raccolgo più foglie efficaci di quelle che posso ottenere da un albero (molti alberi), allora questo metodo ha diritto alla vita, ma se non è così, allora il metodo dell'avidità è più efficace.

 

Potete raccomandare un forum per Python e l'apprendimento automatico dove si possono fare domande generalmente nerd?

 
Vladimir Karputov:

Puoi suggerire un forum per Python e l'apprendimento automatico dove si possono fare domande generalmente nerd?

www.cyberforum.ru

Non sono registrato, ma lo cerco spesso su Google. Le domande mostrano che è un forum di studenti, il forum è attivo - nuove discussioni ogni giorno

fai finta di essere uno studente, sembrerai uno dei tuoi :)

 
Aleksey Vyazmikin:

Ogni combinazione sarà controllata per la storia e sarà emesso un verdetto - spazzatura o riserva.

Idealmente, penso, circa 1k foglie - monconi, che dovrebbero essere controllati per la somiglianza tra loro, lasciare unico, penso che circa 10k rimarrà. E da questi resti di raccogliere gruppi per il commercio (questo metodo ho già implementato).

Di conseguenza, se raccolgo più foglie efficaci di quelle che posso ottenere dall'albero (molti alberi), allora questo metodo ha diritto alla vita, e se no, allora il metodo dell'avidità è più efficace.

L'overkill completo è una strada che non porta da nessuna parte. Controllate il pacchetto rBayesianOptimization. Per il tuo problema può essere d'aiuto.

Per quanto riguarda le combinazioni, vedi il pacchetto pracma::combs(), randcombs(), perms(), randperm()/.

Buona fortuna

 
Vladimir Perervenko:

Un eccesso totale è una strada che non porta da nessuna parte. Vedere il pacchetto rBayesianOptimization. Può essere d'aiuto per il tuo problema.

Per le combinazioni, vedere il pacchetto pracma::combs(), randcombs(), perms(), randperm()/.

Buona fortuna

Perché è la strada verso il nulla? Per me si tratta di trovare un punto di riferimento rispetto al quale valutare i metodi di costruzione di modelli più veloci.

Grazie per il suggerimento di usare i pacchetti per R, ma non sono bravo a farlo, per niente.

Pensi anche che sia impossibile ottenere il valore di una combinazione di set da un set senza un ciclo?

 
Aleksey Vyazmikin:

Perché la strada verso il nulla? Per me, si tratta di trovare un punto di riferimento rispetto al quale valutare i metodi di costruzione di modelli più veloci.

Grazie per il suggerimento di usare i pacchetti per R, ma non sono bravo a farlo, per niente.

Pensi anche che sia impossibile ottenere il valore di una combinazione di un insieme da un insieme senza ciclo?

Se è un sistema numerico, allora si può ottenere la combinazione di bit 01101101

si può facilmente ottenere la combinazione di bit 01101101 da 109 senza provare tutte le varianti.

Motivazione: