Discussion de l'article "Réseaux de neurones de troisième génération : Réseaux profonds" - page 4
Vous manquez des opportunités de trading :
- Applications de trading gratuites
- Plus de 8 000 signaux à copier
- Actualités économiques pour explorer les marchés financiers
Inscription
Se connecter
Vous acceptez la politique du site Web et les conditions d'utilisation
Si vous n'avez pas de compte, veuillez vous inscrire
vlad1949:
... le développement d'un solitaire (probablement un programmeur talentueux) n'a pas encore été mis en pratique.
C'est le cas. La première version est publiée sur code.google.com. Le projet s'appelle libvmr.
Pour l'instant, il ne fonctionne qu'en Java. Plus tard, je le porterai à d'autres langages, y compris mql5.
vlad1949:
...
Voici une suggestion : Discutez du sujet de Reshetov dans son blog ou dans un fil de discussion séparé (s'il l'organise).
Les opinions et considérations sur le sujet de l'article - "Deep Neural Networks" - sont les bienvenues ici.
Il est également possible d'utiliser l'apprentissage profond.
Par exemple, afin d'améliorer la classification, disons pour les images, former des autoencodeurs en utilisant l'invariance. Par exemple, nous devons faire la distinction entre des images de deux classes. Prenons des graphiques d'instruments financiers avec des images de ces indicateurs. La première classe est un graphique avant la croissance des cours à la hausse. La seconde classe est le graphique précédant la croissance des cours à la baisse. Dans ce cas, lors de l'apprentissage des autoencodeurs, il est nécessaire de fournir des images inchangées aux entrées pour la première classe, et des images inverses, c'est-à-dire négatives, pour la seconde classe.
En outre, des autoencodeurs déjà prêts, formés à l'aide de l'algorithme de rétropropagation, peuvent être assemblés en cascade et un neurone déjà formé à l'aide de la VMR peut être placé à la sortie.
Reshetov:
Si vous avez raison, votre intellect "profond" qui a passé le test de Turing devrait déjà asservir l'internet et dominer le monde.
Franchement, j'en ai marre que tu aies des opinions aussi tranchées.
Si vous avez raison, votre intellect "profond", qui a passé le test de Turing, devrait déjà asservir Internet et dominer le monde.
Andryukha, ne faites pas trop de bruit. Sinon, les aides-soignants entendront parler de Turing, se réveilleront et la domination du monde prendra fin.
Honnêtement, j'en ai marre que tu aies des opinions aussi tranchées...
Prends un sédatif et tout ira bien. Après l'asservissement intellectuel, tu auras un dixième de l'univers, si tu ne râles pas trop fort.
Après avoir écrit cet article, je suis tombé sur un projet de livre rédigé par l'un des principaux chercheurs dans le domaine de l'apprentissage profond (Deep Learning), Yoshua Bengio et al. http://www.iro.umontreal.ca/~bengioy/dlbook/.
Il y a beaucoup de mathématiques, mais en même temps des définitions claires et des concepts de base sur le sujet, du plus simple au plus avancé, sont donnés.
Voici quelques extraits de la traduction libre.
Dans la section 10. " Unsupervised and Transfer Learning" , les auteurs estiment que si l'apprentissage guidé par un enseignant a été le cheval de bataille des récents succès industriels de l'apprentissage profond, un élément clé des futures avancées pourrait être l'apprentissage non supervisé de représentations (images ?) sans enseignant .). L'idée est que certaines représentations peuvent être plus utiles que d'autres (par exemple pour classer des objets à partir d'images ou des phonèmes à partir de la parole). Comme cela est expliqué dans ce document, il s'agit d'apprendre des représentations afin de sélectionner les meilleures de manière systématique, c'est-à-dire en optimisant la caractéristique qui représente l'objet. En optimisant la caractéristique qui représente les données brutes leurs représentationsиreprésentations.
Dans le présent document, nous avons passé en revue certains des éléments de base de l'apprentissage non supervisédes représentations ( AutoEncoder et RBM) et des recettes très efficaces pour les combiner afin de former des représentations profondes (Stacked AutoEncoder et Stacked RBM) entraînées par un préapprentissage non superviséavide au niveau de la couche .
Par la suite, lors de l' entraînement des réseaux profonds avec un enseignant (réglage fin), nous entraînons lesreprésentations dans le but de sélectionner cellequi correspond le mieux à la tâche de prédiction de la cible représentée par les entrées.
Et si, au lieu d'une tâche, nous avions plusieurs tâches qui pourraient avoir des représentations communesou une partie d'entre elles? (il s'agit de l'apprentissage multitâche )
"Apprentissage par transfert et adaptation au domaine "
Letransfert de connaissances et l'adaptation au domaine se réfèrent à la situation où ce qui a été
appris danscertainesconditions (c'est-à-dire la distribution P1) est utilisé pour améliorer la généralisation dans d'autres conditions (disons la distribution P2 ).
Dans le cas du transfert de connaissances, nous considérons que lestâches sont différentes, mais que bon nombre des
facteurs qui expliquent la distribution P1 sont pertinents pour les changements qui doivent être saisis pour apprendre P2. Ceci est généralement compris dans lecontexte de l' apprentissage supervisé, dans lequel les entréesы sont les mêmes mêmeыLes intrants sont les mêmes, mais l'objectif peut être différentde nature, par exemple, apprendre lescatégories visuelles qui sontdifférentes dans lepremier et lesecondcas . S'il y a beaucoup plus de données dans le premier échantillon (tiré de P1), il peut être utile d'apprendre des représentations qui sont utiles pour une généralisation rapide lors du traitement des exemples de P2 .
Par exemple, de nombreuses catégories visuelles ont des conceptscommuns de bas niveau(arêtes etformesvisuelles), des effets de changements géométriques, des changements d'éclairage, etc.
En général, le transfert de connaissances, l'apprentissage multitâche et l'adaptation audomaine peuvent être réalisés par l'apprentissage de représentations lorsqu'il existe des caractéristiques qui peuvent être utiles pour différents contextes ou tâches, c'est-à-dire qu'il existe des facteurs sous-jacents communs.
Dans le cas de l'adaptation au domaine, nous considérons que la tâche à résoudre est la même mais que les ensembles d'entrée sont différents. Par exemple, si nous prédisons le sentiment (positif ounégatif) lié aux commentaires textuelssur l'internet, le premier échantillon peut être une référence aux commentaires desconsommateurs sur les livres, les vidéos et lamusique, tandis que le second ensemble peut se référer à latélévision ou àd'autresproduits.
Si l'apprentissage multitâche est généralement considéré dans le contexte de l'apprentissage avec un enseignant, la notion plus générale d'apprentissage par transfert s'applique à l'apprentissage non supervisé et à l'apprentissage par renforcement.
Une forme extrême d'apprentissage par transfert est l'apprentissage en une seule fois ou même l'apprentissage en zéro fois , oùun seul ou aucun exemple d'une nouvelle tâche n'est donné.
En bref, deux conclusions importantes.
Pour l'apprentissage profond des réseaux neuronaux avec pré-entraînement, il est inutile de parler de l'importance des prédicteurs individuels. Ce qui est important, c'est la structure interne de l'ensemble. Cela permettra d'extraire des représentations profondes (images)au stade de l'apprentissage sans professeur, et au stade de l'apprentissage avec professeur pour déterminer dans quelle mesure elles correspondent à la tâche à accomplir.
Un effet secondaire positif du pré-entraînement est l'extraction de représentations qui conviennent bien au réseau neuronal pour résoudre une autre tâche, et non celle que nous lui avons enseignée lors de la deuxième étape.
Plus précisément, Si vous lisezattentivement l' article , vous remarquerez que nous avons entraîné le réseau neuronal à classer les entrées en présentant des signaux ZigZag. Par conséquent, les résultats en matière de précision ne sont pas impressionnants. Mais les résultats de du solde total obtenus en utilisant les signaux prédits par le réseau neuronal entraîné sont plus élevés que ceux obtenus en utilisant les signaux ZigZag ! Pour évaluer l'efficacité de la prédiction, j'ai introduit un coefficient K. Il s'agit de l'augmentation moyenne des petits points par barre du graphique. Par exemple, pour ZZ il est égal à 17, alors que pour les prédictions du réseau il est de 25 à 35 selon l'instrument (sur TF M30).
Ils'agit d'un transfert deconnaissances ( apprentissage par transfert ) - lorsque l'on apprend sur un ensemble de données, on obtient des solutions pour plusieurs tâches différentes.
Il s'agit d'un sujet extrêmement prometteur et en plein développement.
Pour terminer le travail commencé dans l'article, je donnerai dans le prochain billet un exemple d'optimisation des paramètres DN SAE à l'aide d'un algorithme évolutif (génétique).
Je n'ai pas envisagé l'utilisation du DN SRBM. Elle n'a pas donné de résultats stables dans ma pratique.
Succès
Après avoir écrit cet article, je suis tombé sur un projet de livre rédigé par l'un des principaux chercheurs dans le domaine de l'apprentissage profond (Deep Learning), Yoshua Bengio et al. http://www.iro.umontreal.ca/~bengioy/dlbook/.
Beaucoup de mathématiques, mais en même temps des définitions claires et des concepts de base sur le sujet, de basique à avancé, sont donnés.
Je vais être honnête, lorsque j'ai lu l'article, l'impression que j'ai eue était un peu étrange et trouble, mais j'ai considéré qu'il s'agissait d'une approche consistant à "tout empiler". Puis j'ai lu le livre sur le lien. Hélas, presque tout ce qui est présenté dans cet ouvrage est constitué d'idées longuement mâchées, présentées par quelqu'un comme quelque chose de nouveau et de surprenant. Le mathématicien et l'ingénieur de recherche qui sont en moi n'ont qu'une chose à dire : ce sujet est conçu pour soutirer de l'argent aux budgets des États, hélas.
D'ailleurs, il n'y a pas de mathématiques (certaines propres, pas copiées d'un manuel) dans le livre. Quelques sorts sous forme de formules seulement.... Je ne vois pas de perspectives scientifiques générales, du moins jusqu'à ce qu'une idée vraiment nouvelle apparaisse dans cette direction. Mais cela nécessite avant tout de la recherche théorique (que personne ne fait), pas de la magie pratique. Jusqu'à présent, les gens ne comprennent apparemment pas vraiment ce qu'ils veulent.
Vous voulez donc interdire l'utilisation appliquée de la SC et vous en remettre aux intellos de la théorie ?
Même sans les intellos, il est clair que seul le signal le plus clair passera à travers les autoencodeurs ou le MB, et que tout le reste sera brouillé et deviendra invisible.
Vous voulez donc interdire les candidatures en CS et monter les intellos théoriciens contre elles ?
Non, bien sûr. Je ne fais que lutter contre les tentatives de remplacer la science, qu'elle soit appliquée ou théorique, par le chamanisme, du mieux que je peux. Et c'est exactement ce qui se passe dans le domaine des sciences naturelles, qui est en fait bloqué à la fois dans l'application et la théorie depuis une dizaine d'années maintenant.
Et quel est le problème pour la science ? Qui interdit de théoriser sur l'apprentissage automatique ?
Une autre compote est que toutes ces théories peuvent être réfutées en un rien de temps, car il existe des référentiels ouverts contenant des échantillons de domaines appliqués et des progiciels de recherche prêts à l'emploi comme R ou Weka, à l'aide desquels n'importe qui peut facilement réfuter n'importe quelle hypothèse théorique.
C'est en raison de l'absence de problèmes que l'apprentissage automatique s'est développé à partir de pantalons courts, lorsqu'il n'y avait que des théories nues, mais que les résultats pratiques dans le domaine de la généralisation des algorithmes ne dépassaient pas le niveau du socle. Dès que les ressources informatiques sont devenues accessibles à tous, les spécialistes des applications ont évincé les théoriciens du domaine.
Quel est le problème pour la science ? Qui interdit de théoriser sur l'apprentissage automatique ?
Une autre compote est que toutes ces théories peuvent être réfutées en un rien de temps, car il existe des référentiels ouverts contenant des échantillons de domaines appliqués et des progiciels de recherche prêts à l'emploi tels que R ou Weka, à l'aide desquels n'importe qui peut facilement réfuter n'importe quelle hypothèse théorique.
C'est en raison de l'absence de problèmes que l'apprentissage automatique s'est développé à partir de pantalons courts, lorsqu'il n'y avait que des théories nues, mais que les résultats pratiques dans le domaine de la généralisation des algorithmes ne dépassaient pas le niveau du socle. Dès que les ressources informatiques sont devenues accessibles à tous, les spécialistes des applications ont évincé les théoriciens.
Sur quel point sommes-nous en désaccord ? Le fait que les scientifiques appliqués déplacent les intellos est naturellement une bonne chose. En outre, avec la disponibilité des ressources informatiques, de nombreux problèmes qui devaient auparavant être envisagés de manière théorique ont pu être résolus. Mais cela ne signifie pas que les ressources informatiques résoudront tous les problèmes. La méthode extensive n'est pas éternelle et ses possibilités arrivent déjà à leur terme. Tôt ou tard, nous devrons donc revenir au botanisme.