Discussão do artigo "Redes Neurais de Terceira Geração: Redes Profundas" - página 4
Você está perdendo oportunidades de negociação:
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Registro
Login
Você concorda com a política do site e com os termos de uso
Se você não tem uma conta, por favor registre-se
vlad1949:
... o desenvolvimento de um solitário (provavelmente um programador talentoso) ainda não foi levado à prática.
E é. A primeira versão foi publicada em code.google.com. O projeto é chamado libvmr.
Até o momento, só funciona em Java. Mais tarde, eu o portarei para outras linguagens, incluindo mql5.
vlad1949:
...
Aqui vai uma sugestão: discuta o tópico de Reshetov em seu blog ou em um tópico separado (se ele o organizar).
Opiniões e considerações sobre o tópico do artigo - "Redes neurais profundas" - são bem-vindas aqui.
Também é possível falar sobre aprendizagem profunda.
Por exemplo, para melhorar a classificação, digamos, de imagens, treine autoencoders usando invariância. Por exemplo, precisamos distinguir entre imagens de duas classes. Que sejam gráficos de instrumentos financeiros com imagens desses indicadores. A primeira classe é um gráfico antes do crescimento das cotações para cima. A segunda classe é o gráfico antes do crescimento das cotações para baixo. Nesse caso, ao treinar os autoencoders, é necessário fornecer imagens inalteradas às entradas para a primeira classe e imagens inversas, ou seja, negativas, para a segunda classe.
Além disso, os autoencoders já prontos treinados usando o algoritmo de retropropagação podem ser montados em uma cascata e um neurônio já treinado usando VMR pode ser colocado na saída.
Reshetov:
Se você estiver certo, seu intelecto "profundo" que passou no teste de Turing já deveria escravizar a Internet e dominar o mundo.
Francamente, estou farto de sua opinião.
Se você estiver certo, seu intelecto "profundo", que passou no teste de Turing, já deve escravizar a Internet e dominar o mundo.
Andryukha, não faça muito barulho. Ou os enfermeiros ouvirão falar de Turing, acordarão e, então, a conquista do domínio mundial chegará ao fim.
Sinceramente, estou farto de sua opinião.
Tome um sedativo e você ficará bem. Após a escravidão intelectual, você terá um décimo do universo, se não se enfurecer muito.
Já depois de escrever este artigo, encontrei um rascunho de um livro de um dos principais pesquisadores no campo da "Aprendizagem profunda" , Yoshua Bengio et al. http://www. iro.umontreal.ca/~bengioy/dlbook/
Há muita matemática, mas ao mesmo tempo são fornecidas definições claras e conceitos básicos sobre o tópico, do básico ao avançado.
Abaixo estão alguns trechos da tradução livre.
Na seção 10. " Aprendizagem não supervisionada e de transferência" , os autores acreditam que, embora a aprendizagem orientada por professores tenha sido o carro-chefe dos recentes sucessos industriais da aprendizagem profunda, um elemento-chave dos avanços futuros pode ser a aprendizagem não supervisionada de representações (imagens? sem um professor ). A ideia é que algumas representações podem ser mais úteis (por exemplo, na classificação de objetos a partir de imagens ou fonemas a partir da fala) do que outras. Conforme argumentado, isso envolve o aprendizado de representações para selecionar as melhores de forma sistemática, ou seja, otimizando o recurso que representa a informação. Ao otimizar o recurso que representa os dados brutos suas representaçõesиrepresentações.
Neste artigo, revisamos alguns dos blocos básicos de construção para o aprendizado não supervisionadode representações ( AutoEncoder e RBM) e receitas muito bem-sucedidas para combiná-los para formar representações profundas (Stacked AutoEncoder e Stacked RBM) treinadas com pré-treinamento não supervisionado em camadasgulosas .
Posteriormente, ao treinar redes profundas com um professor (ajuste fino), treinamos asrepresentações com o objetivo de selecionar umaque melhor se adapte à tarefa de prever o alvo representado pelas entradas.
E se, em vez de uma tarefa, tivermos muitas tarefas que poderiam ter representações comunsou parte delas? (isso é aprendizagem multitarefa, )
"Aprendizagem por transferência e adaptação de domínio "
Atransferência de conhecimento e a adaptação de domínio referem-se à situação em que o que foi
aprendido emalgumascondições (ou seja, a distribuição P1) é usado para melhorar a generalização em outras condições (por exemplo, a distribuição P2 )
No caso da transferência de conhecimento, consideramos que astarefas são diferentes, mas muitos dos
fatores que explicam a distribuição P1 são relevantes para as mudanças que devem ser capturadas para aprender P2. Isso é geralmente entendido nocontexto do aprendizado supervisionado, no qual as entradasы são os mesmos iguaisыAs entradas são as mesmas, mas o objetivo pode ser diferentede natureza, por exemplo, aprender sobrecategorias visuais que sãodiferentes noprimeiro e nosegundo casos. Se houver muito mais dados na primeira amostra (tirada de P1), pode ser útil aprender representações que sejam úteis para uma rápida generalização ao processar exemplos de P2.
Por exemplo, muitas categorias visuais têm conceitoscomuns de baixo nível(bordas eformasvisuais), efeitos de mudanças geométricas, mudanças na iluminação, etc.
Em geral, a transferência de conhecimento, a aprendizagem multitarefa e a adaptação dedomínio podem ser obtidas por meio derepresentações de aprendizagem quando há recursos que podem ser úteis para diferentes configurações ou tarefas, ou seja, há fatores subjacentes comuns.
No caso da adaptação de domínio, consideramos que a tarefa a ser resolvida é a mesma, mas os conjuntos de entrada são diferentes. Por exemplo, se prevermos o sentimento (positivo ounegativo) relacionado acomentários de textona Internet, a primeira amostra pode ser uma referência a comentáriosde consumidores sobre livros, vídeos emúsica, enquanto o segundo conjunto pode se referir àtelevisão ou aoutrosprodutos.
Embora a aprendizagem multitarefa seja geralmente considerada no contexto da aprendizagem com um professor, a noção mais geral de aprendizagem por transferência se aplica à aprendizagem não supervisionada e à aprendizagem por reforço.
Uma forma extrema de aprendizagem por transferência é a aprendizagem de uma única vez ou até mesmo a aprendizagem de zero vez , em queum ou nenhum exemplo de uma nova tarefa é dado.
Resumidamente, duas conclusões importantes.
Para a aprendizagem profunda de redes neurais com pré-treinamento, não faz sentido falar sobre a importância de preditores individuais. O que é importante é a estrutura interna do conjunto. Isso possibilitará a extração de representações profundas (imagens)no estágio de treinamento sem um professor e no estágio de treinamento com um professor para determinar o quanto elas correspondem à tarefa em questão.
Um efeito colateral positivo do pré-treinamento é que são extraídas representações que são adequadas para a rede neural resolver outra tarefa, não a que ensinamos no segundo estágio.
Mais especificamente. Se você ler o artigo com atenção, perceberá que treinamos a rede neural para classificar as entradas apresentando sinais de ZigZag. Como resultado, os resultados de Precisão não são impressionantes. Mas os resultados de do saldo total obtidos usando os sinais previstos da rede neural treinada são maiores do que os obtidos usando os sinais ZigZag! Para avaliar a eficiência da previsão, introduzi um coeficiente K. Esse é o aumento médio em pontos pequenos por uma barra do gráfico. Por exemplo, para o ZZ , ele é igual a 17, enquanto que para as previsões da rede é de 25 a 35, dependendo do instrumento (no TF M30).
Isso é transferênciade conhecimento ( aprendizagem por transferência ) - ao aprender com um conjunto de dados, obtemos soluções para várias tarefas diferentes .
Esse é um tópico extremamente promissor e em desenvolvimento.
Para concluir o trabalho iniciado no artigo, na próxima postagem darei um exemplo de otimização dos parâmetros do DN SAE usando um algoritmo evolucionário (genético).
Não considerei o uso do DN SRBM. Ele não apresentou resultados estáveis em minha prática.
Sucesso
Já depois de escrever este artigo, deparei-me com o rascunho de um livro de um dos principais pesquisadores da área de "Aprendizagem profunda" , Yoshua Bengio et al. http://www. iro.umontreal.ca/~bengioy/dlbook/
Há muita matemática, mas ao mesmo tempo são fornecidas definições claras e conceitos básicos sobre o tópico, do básico ao avançado.
Vou ser sincero, quando li o artigo, a impressão que tive foi um pouco estranha e nebulosa, mas considerei que era uma abordagem do tipo "empilhar tudo". Depois, li o livro no link. Infelizmente, quase tudo o que é apresentado nesse trabalho são ideias há muito mastigadas, apresentadas por alguém como algo novo e surpreendente. E agora o matemático e o engenheiro de pesquisa que há em mim dizem apenas uma coisa: esse assunto foi criado para espremer dinheiro dos orçamentos do estado, infelizmente.
A propósito, não há matemática (alguma própria, não copiada de um livro didático) no livro. Apenas alguns feitiços na forma de fórmulas.... Não vejo perspectivas científicas em geral, pelo menos até que alguma ideia realmente nova apareça nessa direção. Mas isso requer, antes de tudo, pesquisa teórica (que ninguém está fazendo), não magia prática. Até agora, os caras aparentemente não entendem realmente o que querem.
Então, você quer proibir o uso aplicado do CS e colocar os nerds teóricos nele?
Mesmo sem os nerds, está claro que somente o sinal mais claro vazará por meio de codificadores automáticos ou MB, e todo o resto será borrado e se tornará invisível.
Então você quer proibir os aplicativos de CS e colocar os nerds teóricos contra eles?
Não, é claro que não. Estou apenas lutando contra as tentativas de substituir a ciência, seja ela aplicada ou teórica, pelo xamanismo da melhor forma possível. E é exatamente isso que está acontecendo no campo da NS, que, na verdade, está preso tanto à aplicação quanto à teoria há cerca de uma década.
E qual é o problema para a ciência? Quem proíbe a teorização sobre o aprendizado de máquina?
Outro argumento é que toda essa teorização pode ser refutada em pouco tempo, porque há repositórios abertos com amostras de áreas aplicadas e há pacotes de pesquisa prontos, como o R ou o Weka, com a ajuda dos quais qualquer pessoa pode refutar facilmente qualquer hipótese teórica.
É a falta de problemas que fez com que o aprendizado de máquina crescesse a partir de calças curtas, quando havia apenas teorias simples, mas os resultados práticos no campo da generalização de algoritmos não estavam acima do plinto. Assim que os recursos computacionais se tornaram disponíveis de modo geral, os cientistas de aplicativos expulsaram os nerds teóricos do campo.
Qual é o problema para a ciência? Quem proíbe a teorização sobre o aprendizado de máquina?
Outro argumento é que toda essa teorização pode ser refutada em pouco tempo, porque há repositórios abertos com amostras de campos aplicados e há pacotes de pesquisa prontos, como o R ou o Weka, com a ajuda dos quais qualquer pessoa pode refutar facilmente qualquer hipótese teórica.
É a falta de problemas que fez com que o aprendizado de máquina crescesse a partir de calças curtas, quando havia apenas teorias simples, mas os resultados práticos no campo da generalização de algoritmos não estavam acima do plinto. Assim que os recursos computacionais se tornaram disponíveis de modo geral, os cientistas de aplicativos expulsaram os nerds da teoria do campo.
Em que ponto discordamos? O fato de os cientistas aplicados expulsarem os nerds é naturalmente uma coisa boa. Além disso, com a disponibilidade de recursos computacionais, muitos problemas que antes precisavam ser pensados teoricamente se tornaram solucionáveis. Mas isso não significa que os recursos de computação resolverão todos os problemas. A forma extensiva não é eterna, e suas possibilidades já estão chegando ao fim. Portanto, mais cedo ou mais tarde, teremos que voltar ao botanismo.