"New Neural" è un progetto di motore di rete neurale Open Source per la piattaforma MetaTrader 5. - pagina 36

[Vladimir]

TheXpert:

EMNIP, il cognitron rappresenta qualcosa di simile.

In attesa del seguito :)

Lo stesso del cognitron di Fukishima. HMAX e cognitron descrivono abbastanza da vicino la funzionalità dei diversi strati della corteccia visiva.

[Vladimir]

TheXpert:

Abbiamo bisogno di informazioni su

-Discesa del gradiente coniugato

-BFGS

Nel mio tempo ho studiato in dettaglio quasi tutti i metodi di addestramento delle reti a propagazione diretta. Sono sicuro che il metodo Levenberg-Marcadt è il migliore(https://en.wikipedia.org/wiki/Levenberg%E2%80%93Marquardt_algorithm) tra le discese a gradiente. Trova sempre minimi migliori di tutti i tipi di BACKPROP e RPROP e anche più velocemente. Quello che ho postato su BPNN (una specie di RPROP) è un gioco da ragazzi rispetto a LM. BFGS richiede più tempo e il risultato non è migliore di LM.

[Vladimir]

Ora cercherò di presentare la mia idea di costruire reti neurali per l'analisi dei modelli di prezzo. Chi ha letto le mie lezioni 2 e 3 capirà immediatamente. L'idea è quella di classificare i modelli di prezzo per comprare, vendere o tenere. Il prezzo in un certo periodo di tempo (diciamo 100 barre) è filtrato da uno strato di neuroni S1 semplici. I pesi d'ingresso di questi neuroni descrivono le caratteristiche dell'impulso dei filtri. Nell'esempio della corteccia visiva, questi pesi descrivevano segmenti rettilinei di varia pendenza e lunghezza nello spazio bidimensionale dell'immagine. Nelle quotazioni abbiamo anche uno spazio bidimensionale: tempo e prezzo. Possiamo assumere che i pesi del filtro S1 descrivano due segmenti rettilinei nello spazio tempo-prezzo: su e giù. L'angolo di pendenza dipende dalla lunghezza di ogni filtro. Queste lunghezze possono essere preselezionate, ad esempio 4, 8, 16, 32 barre. Ogni filtro è una linea retta, normalizzata in modo che la somma di tutti i valori sia zero e la somma dei quadrati sia 1 (o altra normalizzazione). Nello strato successivo, chiamiamolo S2, modelli più complessi sono formati da sezioni dello strato S1, e così via. L'output di quella trasformazione multistrato delle quotazioni, abbiamo un codice numerico che descrive il modello attuale, i codici dei modelli che sono simili tra loro ma allungati nel tempo e nel prezzo in modi diversi sono gli stessi. Questi codici sono alimentati agli input della Support Vector Machine (SVM) che è addestrata per identificare condizioni di acquisto, vendita o mantenimento su modelli storici. Il problema qui è determinare la forma dei filtri negli strati S1, S2, ecc. Ho scelto sezioni diritte e loro combinazioni per semplicità. A proposito, nel modello HMAX della corteccia visiva, tutte le forme dei filtri spaziali sono preselezionate sulla base di esperimenti biologici. Dobbiamo trovare un algoritmo per rilevare automaticamente questi filtri. Tali algoritmi sono già stati sviluppati per lo strato visivo V1 (von der Malsburg, Linsker, Miller, LISSOM, Olshausen). Possiamo prenderli in prestito per il nostro compito di classificare i modelli di prezzo.

[Alexey Topounov]

gpwr:
Nel mio tempo ho studiato in dettaglio quasi tutti i metodi di addestramento delle reti a propagazione diretta. Sono sicuro che della discesa del gradiente, il metodo Levenberg-Marcadt è il migliore(https://en.wikipedia.org/wiki/Levenberg%E2%80%93Marquardt_algorithm). Trova sempre minimi migliori di tutti i tipi di BACKPROP e RPROP e anche più velocemente. Quello che ho postato su BPNN (una specie di RPROP) è un gioco da ragazzi rispetto a LM. BFGS richiede più tempo e il risultato non è migliore di LM.

Sono d'accordo! In NeuroSolutions, per esempio, il metodo Levenberg-Marcadt converge dove gli altri metodi si fermano su minimi locali,

Tuttavia LM richiede risorse computazionali significative. Il tempo per passaggio è più lungo

[Mykola Demko]

gpwr:

...

Ogni filtro è una linea retta normalizzata in modo che la somma di tutti i valori sia zero e la somma dei quadrati sia 1 (o altra normalizzazione).

...

Ora non ho prove, ma la mia intuizione mi dice che questa doppia condizione è incoerente,

la somma è 0 e la somma dei quadrati è 1

sarà soddisfatta per un numero molto ristretto di scelte. Se mi sbaglio, per favore prendetemi a calci.

[Vladimir]

Urain:

Non ho prove in questo momento, ma il mio intuito mi dice che questa doppia condizione è contraddittoria,

la somma è 0 e la somma dei quadrati è 1

sarà eseguito per un numero molto ristretto di scelte. Se mi sbaglio, per favore prendetemi a calci.

No, non è contraddittorio. Per esempio, un filtro a 2 barre con valori -0,707 e +0,707 soddisfa le condizioni di normalizzazione. Il vantaggio della prima condizione (somma dei quadrati uguale a zero) è che non abbiamo bisogno di rimuovere la media dalle citazioni. La seconda condizione (somma dei quadrati uguale a zero) permette di limitare la somma di prezzo1*filtro1+prezzo2*filtro2 (questo è l'output del nostro filtro) entro un certo intervallo. Il problema ora è quello di definire valori di filtro (filtro1,filtro2,...,filtroN) di lunghezza N arbitraria. È possibile scegliere una linea retta allungata tra -filterMAX e +filterMAX, ma questa sarebbe una semplificazione. Con più precisione il filtro sarà simile alla componente principale delle citazioni (PCA). Ma questo non sarebbe efficiente. E' più prospettico se cercare la forma del filtro come componenti indipendenti di citazioni (ICA) imponendo una condizione di numero minimo di tali componenti (condizione di sparsità). Più tardi esporrò la lezione 4 dove spiegherò tutto.

[михаил потапыч]

TheXpert:

Capito. Ma legato specificamente a NN. Sarà legato a NN.

Ho paura che sarà qualcosa come "AWVREMGVTWNN" :) Temo che non sarà come "AWVREMGVTWNN" :), la cosa principale è ottenere il succo del discorso.

Meta Neuro Soluzione?

[Vladimir]

Meta Neuro Motore (MNE)

[---]

gpwr:
Meta Neuro Motore (MNE)

Meta EngiNeuro (MEN) (c)

che ci rende ingegneri :)

[Vladimir]

Fico. Mi piace.