Discussione sull’articolo "Reti neurali di terza generazione: Reti profonde"

 

Il nuovo articolo Reti neurali di terza generazione: Reti profonde è stato pubblicato:

Questo articolo è dedicato a una nuova direzione nell'apprendimento automatico: deep learning o, per essere precisi, reti neurali profonde. Questa è una breve rassegna delle reti neurali di seconda generazione, l'architettura delle loro connessioni e dei principali tipi, metodi e regole di apprendimento e i loro principali svantaggi. Segue la storia dello sviluppo della rete neurale di terza generazione, i loro principali tipi, peculiarità e metodi di allenamento. Sono condotti esperimenti pratici sulla costruzione e l'addestramento di una rete neurale profonda avviata dai pesi di un autoencoder impilato con dati reali. Tutte le fasi, dalla selezione dei dati di input alla derivazione metrica sono discusse in dettaglio. L'ultima parte dell'articolo contiene un'implementazione software di una rete neurale profonda in un Expert Advisor con un indicatore integrato basato su MQL4 / R.

A differenza della regola di apprendimento di Hebb, in cui un certo numero di neuroni di uscita può attivarsi contemporaneamente, qui i neuroni di uscita competono l'uno contro l'altro. Un neurone di uscita con valore massimo di somma pesata è il "vincitore" e "il vincitore prende tutto". Le uscite di altri neuroni di uscita sono impostate su inattive. Durante l'apprendimento, solo i pesi del "vincitore" vengono modificati mirando aumentando la vicinanza all'istanza di input corrente.

Ci sono molti algoritmi di apprendimento che affrontano diversi problemi. La backpropagation, uno degli algoritmi moderni più efficienti, è uno di questi. Il principio alla base è che il cambiamento di peso sinaptico avviene tenendo conto del gradiente locale della funzione di errore.

La differenza tra le risposte reali e corrette di una rete neurale valutata a livello di output viene riprodotta - verso il flusso di segnali (Fig.5). In questo modo ogni neurone può definire il contributo del suo peso in rapporto all'errore cumulativo della rete. La regola di apprendimento più semplice è il metodo di discesa più ripido, cioè la variazione del peso sinaptico proporzionale al suo contributo all'errore cumulativo.

Fig. 6. Il modello di diffusione dei dati e degli errori in una rete durante l'apprendimento attraverso la retropropagazione


Autore: Vladimir Perervenko

Motivazione: