Discussione sull’articolo "Reti neurali di terza generazione: Reti profonde" - pagina 4
Ti stai perdendo delle opportunità di trading:
- App di trading gratuite
- Oltre 8.000 segnali per il copy trading
- Notizie economiche per esplorare i mercati finanziari
Registrazione
Accedi
Accetti la politica del sito e le condizioni d’uso
Se non hai un account, registrati
vlad1949:
... lo sviluppo di un solitario (probabilmente un programmatore di talento) non è ancora stato portato alla realizzazione pratica.
Lo è. La prima versione è pubblicata su code.google.com. Il progetto si chiama libvmr.
Per ora è stato sviluppato solo su Java. Più tardi lo porterò su altri linguaggi, compreso mql5.
vlad1949:
...
Ecco un suggerimento: discutere l'argomento di Reshetov nel suo blog o in un thread separato (se lo organizza).
Opinioni e considerazioni sull'argomento dell'articolo - "Deep Neural Networks" - sono benvenute qui.
È anche possibile parlare di deep learning.
Ad esempio, per migliorare la classificazione, ad esempio delle immagini, è possibile addestrare gli autoencoder utilizzando l'invarianza. Ad esempio, dobbiamo distinguere tra immagini di due classi. Si tratti di grafici di strumenti finanziari con immagini dei relativi indicatori. La prima classe è un grafico prima che le quotazioni crescano verso l'alto. La seconda classe è il grafico prima della crescita delle quotazioni verso il basso. In questo caso, quando si addestrano gli autoencoder, è necessario fornire agli ingressi immagini invariate per la prima classe e immagini inverse, cioè negative, per la seconda classe.
Inoltre, gli autoencoder già pronti addestrati con l'algoritmo di back propagation possono essere assemblati in una cascata e un neurone già addestrato con VMR può essere posizionato in uscita.
Reshetov:
Se hai ragione, il tuo intelletto "profondo" che ha superato il test di Turing dovrebbe già asservire Internet e governare il mondo.
Francamente, sono stufo di vederti così supponente.
Se hai ragione, il tuo intelletto "profondo", che ha superato il test di Turing, dovrebbe già asservire Internet e governare il mondo.
Andryukha, non fare troppo rumore. Altrimenti gli inservienti sentiranno parlare di Turing, si sveglieranno e la conquista del dominio del mondo avrà fine.
Onestamente, sono stufo di vederti così supponente...
Prendi un sedativo e starai bene. Dopo la schiavitù intellettuale, avrai un decimo dell'universo, se non ti arrabbi troppo.
Già dopo aver scritto questo articolo mi sono imbattuto in una bozza di un libro di uno dei principali ricercatori nel campo del "Deep Learning" Yoshua Bengio et al. http://www. iro.umontreal.ca/~bengioy/dlbook/
Ci sono molte nozioni matematiche, ma allo stesso tempo vengono fornite definizioni chiare e concetti di base sull'argomento, da quelli più elementari a quelli più avanzati.
Di seguito sono riportati alcuni estratti della traduzione libera.
Nella sezione 10." Gli autori ritengono che, mentre l'apprendimento guidato dall'insegnante è stato il cavallo di battaglia dei recenti successi industriali del deep learning, un elemento chiave dei futuri progressi potrebbe essere l'apprendimento non supervisionato di rappresentazioni (immagini?) senza insegnante ). L'idea è che alcune rappresentazioni possano essere più utili (ad esempio per classificare oggetti da immagini o fonemi dal parlato) di altre. Come si è detto, ciò comporta l'apprendimento di rappresentazioni per selezionare le migliori in modo sistematico, cioè ottimizzando la caratteristica che rappresenta l'oggetto. Ottimizzando la caratteristica che rappresenta i dati grezzi le loro rappresentazioniиrappresentazioni.
In questo lavoro, abbiamo esaminato alcuni degli elementi di base per l'apprendimento non supervisionatodelle rappresentazioni ( AutoEncoder e RBM) e ricette di grande successo per combinarli per formare rappresentazioni profonde (Stacked AutoEncoder e Stacked RBM) addestrate con un pre-training non supervisionatodi tipo greedy layerwise .
Successivamente, quando si addestrano le reti profonde con un insegnante (fine tuning), si addestrano lerappresentazioni con l'obiettivo di selezionare quellache meglio si adatta al compito di predire il target rappresentato dagli ingressi.
E se invece di un compito, avessimo molti compiti che potrebbero avere rappresentazioni comunio parte diesse? (questo è l'apprendimento multi-task ).
"Apprendimento per trasferimento e adattamento al dominio
Il trasferimento della conoscenza e l'adattamento al dominio si riferiscono alla situazione in cui ciò che è stato
appreso inalcune condizioni (ad esempio, la distribuzione P1) viene utilizzato per migliorare la generalizzazione in altre condizioni (ad esempio, la distribuzione P2 ).
Nel caso del trasferimento di conoscenza, consideriamo che icompiti sono diversi, ma molti dei
fattori che spiegano la distribuzione P1 sono rilevanti per i cambiamenti che devono essere colti per apprendere P2. Questo è generalmente inteso nelcontesto dell' apprendimento supervisionato, in cui gli inputы sono gli stessi stessoыGli input sono gli stessi, ma l'obiettivo può essere diversodi natura, per esempio, apprendere lecategorie visive che sonodiverse nelprimo e nelsecondocaso . Se nel primo campione (preso da P1) ci sono molti più dati , può essere utile apprendere rappresentazioni utili per una rapida generalizzazione quando si elaborano gli esempi di P2.
Ad esempio, molte categorie visive hanno concetticomuni di basso livello(bordi eformevisive), effetti di cambiamenti geometrici, cambiamenti di illuminazione, ecc.
In generale, il trasferimento di conoscenza, l'apprendimento multi-task e l'adattamentoal dominio possono essere ottenuti attraverso l'apprendimento di rappresentazioni quando ci sono caratteristiche che possono essere utili per diverse impostazioni o compiti, cioè ci sono fattori comuni di base.
Nel caso dell'adattamento al dominio, si considera che il compito da risolvere sia lo stesso, ma che gli insiemi di input siano diversi. Ad esempio, se prevediamo il sentiment (positivo onegativo) relativo aicommenti testualisu Internet, il primo campione potrebbe essere un riferimento ai commentidei consumatori su libri, video emusica, mentre il secondo insieme potrebbe riferirsi allatelevisione o adaltriprodotti.
Mentre l'apprendimento multitask è generalmente considerato nel contesto dell'apprendimento con un insegnante, la nozione più generale di apprendimento di trasferimento si applica all'apprendimento non supervisionato e all'apprendimento per rinforzo.
Una forma estrema di apprendimento di trasferimento è l'apprendimento one-shot o addirittura zero-shot , in cui viene fornitouno o nessun esempio di un nuovo compito.
In breve, due importanti conclusioni.
Per l'apprendimento profondo delle reti neurali con pre-training, non ha senso parlare dell'importanza dei singoli predittori. Ciò che è importante è la struttura interna dell'insieme. In questo modo sarà possibile estrarre le rappresentazioni profonde (immagini)nella fase di addestramento senza insegnante e nella fase di addestramento con insegnante per determinare la loro corrispondenza al compito da svolgere.
Un effetto collaterale positivo del pre-addestramento è che vengono estratte rappresentazioni che sono adatte alla rete neurale per risolvere un altro compito, non quello che le abbiamo insegnato nella seconda fase.
Più precisamente. Se si legge attentamente l' articolo , si noterà che abbiamo addestrato la rete neurale a classificare gli ingressi presentando segnali ZigZag. Di conseguenza, i risultati di accuratezza non sono impressionanti. Ma i risultati di del saldo totale ottenuti utilizzando i segnali previsti dalla rete neurale addestrata sono superiori a quelli ottenuti utilizzando i segnali ZigZag! Per valutare l'efficienza della previsione, ho introdotto un coefficiente K. Si tratta dell'aumento medio di punti piccoli per una barra del grafico. Ad esempio, per lo ZZ è pari a 17, mentre per le previsioni della rete va da 25 a 35 a seconda dello strumento (su TF M30).
Si tratta di un trasferimento diconoscenza ( transfer learning ): quando si apprende su un insieme di dati si ottengono soluzioni per diversi compiti.
Si tratta di un argomento estremamente promettente e in via di sviluppo.
Per concludere il lavoro iniziato nell'articolo, nel prossimo post fornirò un esempio di ottimizzazione dei parametri DN SAE utilizzando un algoritmo evolutivo (genetico).
Non ho considerato l'uso del DN SRBM. Nella mia pratica non ha dato risultati stabili.
Il successo
Già dopo aver scritto questo articolo mi sono imbattuto nella bozza di un libro di uno dei principali ricercatori nel campo del "Deep Learning" Yoshua Bengio et al. http://www. iro.umontreal.ca/~bengioy/dlbook/
Ci sono molte nozioni matematiche, ma allo stesso tempo vengono fornite definizioni chiare e concetti di base sull'argomento, da quelli più elementari a quelli più avanzati.
Sarò sincero, quando ho letto l'articolo, l'impressione che ne ho ricavato è stata un po' strana e confusa, ma l'ho considerato un approccio del tipo "ammucchia tutto". Poi ho letto il libro sul link. Ahimè, quasi tutto ciò che viene presentato in questo lavoro sono idee masticate da tempo, presentate da qualcuno come qualcosa di nuovo e sorprendente. E ora il matematico e l'ingegnere ricercatore che sono in me dicono solo una cosa: questo argomento è stato progettato per spremere denaro dai bilanci statali, ahimè.
Tra l'altro, nel libro non c'è matematica (una parte di essa, non copiata da un libro di testo). Solo alcuni incantesimi sotto forma di formule.... Non vedo prospettive scientifiche generali, almeno fino a quando non apparirà qualche idea veramente nuova in questa direzione. Ma questo richiede, prima di tutto, una ricerca teorica (che nessuno sta facendo), non una magia pratica. Finora, a quanto pare, i ragazzi non hanno capito bene cosa vogliono.
Quindi volete vietare l'uso applicato della CS e mettere in guardia i nerd teorici?
Anche senza i nerd è chiaro che solo il segnale più chiaro trapelerà attraverso gli autoencoder o le MB, e tutto il resto verrà spalmato e diventerà invisibile.
Quindi volete vietare le applicazioni di CS e mettere i nerd teorici contro di essa?
No, certo che no. Sto solo combattendo i tentativi di sostituire la scienza, non importa se applicata o teorica, con lo sciamanesimo al meglio delle mie possibilità. E questo è esattamente ciò che sta accadendo nel campo della NS, che in realtà è bloccato sia in ambito applicato che teorico da circa un decennio.
E qual è il problema per la scienza? Chi vieta di teorizzare l'apprendimento automatico?
Un altro aspetto importante è che tutte queste teorizzazioni possono essere smentite in un attimo, perché esistono archivi aperti con esempi di aree applicate e pacchetti di ricerca già pronti come R o Weka, con l'aiuto dei quali chiunque può facilmente confutare qualsiasi ipotesi teorica.
È proprio per la mancanza di problemi che l'apprendimento automatico si è sviluppato in pantaloni corti, quando esistevano solo teorie scarne, ma i risultati pratici nel campo della generalizzabilità degli algoritmi non erano al di sopra dello zoccolo duro. Non appena le risorse computazionali sono diventate generalmente disponibili, gli scienziati delle applicazioni hanno spinto i nerd teorici fuori dal campo.
Qual è il problema per la scienza? Chi vieta di teorizzare sull'apprendimento automatico?
Un'altra nota dolente è che tutte queste teorizzazioni possono essere smentite in un attimo, perché esistono archivi aperti con esempi di campi applicati e pacchetti di ricerca già pronti come R o Weka, con l'aiuto dei quali chiunque può facilmente smentire qualsiasi ipotesi teorica.
È proprio per la mancanza di problemi che l'apprendimento automatico è cresciuto in pantaloni corti, quando esistevano solo teorie scarne, ma i risultati pratici nel campo della generalizzabilità degli algoritmi non erano al di sopra dello zoccolo duro. Non appena le risorse computazionali sono diventate generalmente disponibili, gli scienziati delle applicazioni hanno spinto i nerd della teoria fuori dal campo.
Dove siamo in disaccordo? Il fatto che gli scienziati applicati abbiano allontanato i nerd è naturalmente una buona cosa. Inoltre, con la disponibilità di risorse computazionali, molti problemi che prima dovevano essere affrontati teoricamente sono diventati risolvibili. Ma questo non significa che le risorse informatiche risolveranno tutti i problemi. La via estensiva non è eterna e le sue possibilità stanno già volgendo al termine. Quindi prima o poi dovremo tornare alla botanica.