I will assume a basic understanding of neural networks and backpropagation. If you’d like to brush up, this lecture will give you the basics of neural networks and this one will explain how these principles are applied in modern deep learning systems. Self-attention The fundamental operation of any transformer architecture is the self-attention...
Olá a todos, eu não postei o vídeo diretamente no tópico do fórum, mas postei no meu blog. AVISO de linguagem não-normativa para aqueles que estão realmente interessados no mercado...
Оказывается пьяным меня смотреть ещё интересней. ВНИМАНИЕ в видео используется не нормативная лексика так что уберите детей от экрана телевизора. Ну и говорим собственно о рынке
Olá a todos, eu não postei o vídeo diretamente no tópico do fórum, mas postei no meu blog. AVISO de linguagem não-normativa para aqueles que estão realmente interessados no mercado...
O que eu não posso criar não entendo, foi o que Feynman disse.
A multiplicação é melhor do que a adição, o sinal é levado em conta. Geralmente o trabalho de dizer argumento e resultado é algo) uma única função de contabilidade.
Consultas, chaves e valores não entendem bem como estão organizados.
A principal diferença é o processamento pseudo-paralelo e o acesso aos dados treinados e ao produto escalar dos vetores de entrada e saída de resultados chamados autoconsciência. E depois a matriz destes produtos escalares é usada no treino. E não são os pesos.
Não consegui encontrar nenhuma informação sobre memória longa no artigo.
Em geral, são criadas matrizes adicionais que corrigem o resultado.
O que eu não posso criar, não entendo, foi o que Feynman disse.
A multiplicação é melhor do que a adição, o sinal é levado em conta. Geralmente o trabalho de dizer argumento e resultado é algo) uma única função de contabilidade.
Consultas, chaves e valores não entendem bem como estão organizados.
A principal diferença é o processamento pseudo-paralelo e o acesso aos dados treinados e ao produto escalar dos vetores de entrada e saída de resultados chamados autoconsciência. E depois a matriz destes produtos escalares é usada no treino. E não são os pesos.
Não consegui encontrar nenhuma informação sobre memória longa no artigo.
Em geral, são criadas matrizes adicionais que corrigem o resultado.
Eu não pretendo entender corretamente))))
é outro algoritmo (como o mais legal agora), não há nenhuma definição de memória longa e curta como na lstm.
o longo e o curto é apenas para ver como funciona uma célula da lstm
este é um algoritmo diferente (como o mais legal agora), não há definição de memória longa e curta como em lstm, eu acho
sobre longo e curto é só para ver como funciona uma célula da lstm
Ahh. Bem, então há auto-consciência e recursos em tempos como os entendidos. Em geral, o dimensionamento da arquitetura de rede simplesmente melhora o seu desempenho até certo limite. Aqui eu entendo a complicação de uma rede através de combinações de várias lógicas e depois escaloná-la))). E consequentemente
O gargalo na aprendizagem do transformador é a matriz dos produtos escalares de auto-consciencialização. Para o comprimento da sequência t , é uma matriz densa contendo t elementos quadrados . Na precisão padrão de 32 bits e com t= 1000 um lote de 16 dessas matrizes leva cerca de 250MB de memória. Como precisamos de pelo menos quatro deles (antes e depois do softmax, mais seus gradientes) para uma única operação de auto-imagem, isso nos limita a um máximo de doze camadas em uma GPU padrão e BREAKS 12 GB.
terá que fazer muita pesquisa e pensar antes de entender...
você pode ter que comprar vitaminas do cérebro, beber menos)
Eu ainda não descobri). Mas não é tão difícil como parece.
Por isso voltamos ao fluxograma habitual, tens de o inventar primeiro para teres uma compreensão do nível de imagem...
como -
primeiro o classificador(ele faz isto e aquilo)
então conectamos o classificador à saída (ele faz isto e aquilo)
então conte algo ( faz isto e aquilo )
A saída está novamente ligada ao rodízio
etc...
Se você ler diretamente as notícias complicadas onde você nem sabe os termos, o que você vai conseguir?
Você tem que entender o princípio básico do algoritmo, especialmente no nível do esquema de blocos, como eu salientei. Então você vai entender o que é o quê e o que é o quê, e quando você entender, você vai entender o quê e como você pode melhorá-lo.
Como é organizada a memória?
depende de onde
se você entender, estou à espera de uma explicação :)
http://peterbloem.nl/blog/transformers
Olá a todos, eu não postei o vídeo diretamente no tópico do fórum, mas postei no meu blog. AVISO de linguagem não-normativa para aqueles que estão realmente interessados no mercado...
https://www.mql5.com/ru/blogs/post/739164
Olá a todos, eu não postei o vídeo diretamente no tópico do fórum, mas postei no meu blog. AVISO de linguagem não-normativa para aqueles que estão realmente interessados no mercado...
https://www.mql5.com/ru/blogs/post/739164
Só vaguei pela floresta antes, nunca usei a HH-ki.....
Nem eu... Portanto, estou a falar de um diagrama de blocos, para que pelo menos ao nível das imagens se compreenda como funciona.
Sim, eu também... É por isso que estou a falar do diagrama de blocos, para que pelo menos ao nível das imagens para entender como as coisas funcionam.
Passei dois dias a tentar perceber o que é uma camada coesa.
e acontece que é apenas um autocodificador primitivo.
Vladimir escreveu sobre eles em artigosdepende de onde
se você entender, estou ansioso para explicá-lo :)
http://peterbloem.nl/blog/transformers
O que eu não posso criar não entendo, foi o que Feynman disse.
A multiplicação é melhor do que a adição, o sinal é levado em conta. Geralmente o trabalho de dizer argumento e resultado é algo) uma única função de contabilidade.
Consultas, chaves e valores não entendem bem como estão organizados.
A principal diferença é o processamento pseudo-paralelo e o acesso aos dados treinados e ao produto escalar dos vetores de entrada e saída de resultados chamados autoconsciência. E depois a matriz destes produtos escalares é usada no treino. E não são os pesos.
Não consegui encontrar nenhuma informação sobre memória longa no artigo.
Em geral, são criadas matrizes adicionais que corrigem o resultado.
Não pretendo entendê-lo corretamente ))))
O que eu não posso criar, não entendo, foi o que Feynman disse.
A multiplicação é melhor do que a adição, o sinal é levado em conta. Geralmente o trabalho de dizer argumento e resultado é algo) uma única função de contabilidade.
Consultas, chaves e valores não entendem bem como estão organizados.
A principal diferença é o processamento pseudo-paralelo e o acesso aos dados treinados e ao produto escalar dos vetores de entrada e saída de resultados chamados autoconsciência. E depois a matriz destes produtos escalares é usada no treino. E não são os pesos.
Não consegui encontrar nenhuma informação sobre memória longa no artigo.
Em geral, são criadas matrizes adicionais que corrigem o resultado.
Eu não pretendo entender corretamente))))
é outro algoritmo (como o mais legal agora), não há nenhuma definição de memória longa e curta como na lstm.
o longo e o curto é apenas para ver como funciona uma célula da lstm
Eu passei dois dias tentando descobrir o que é uma camada de coesão (VQ)
e acontece que é apenas um autocodificador primitivo.
Vladimir escreveu sobre eles em artigosVladimir escreveu especificamente sobre a VQ ? ou apenas ?
E a memória? Como é que funciona lá? É fixo ou funciona numa janela (como um indicador), estático ou está a ser reeducado?
Será que é possível fazer o mesmo com andaimes?
tenho um milhão de perguntas))))
este é um algoritmo diferente (como o mais legal agora), não há definição de memória longa e curta como em lstm, eu acho
sobre longo e curto é só para ver como funciona uma célula da lstm
Ahh. Bem, então há auto-consciência e recursos em tempos como os entendidos. Em geral, o dimensionamento da arquitetura de rede simplesmente melhora o seu desempenho até certo limite. Aqui eu entendo a complicação de uma rede através de combinações de várias lógicas e depois escaloná-la))). E consequentemente
O gargalo na aprendizagem do transformador é a matriz dos produtos escalares de auto-consciencialização. Para o comprimento da sequência t , é uma matriz densa contendo t elementos quadrados . Na precisão padrão de 32 bits e com t= 1000 um lote de 16 dessas matrizes leva cerca de 250MB de memória. Como precisamos de pelo menos quatro deles (antes e depois do softmax, mais seus gradientes) para uma única operação de auto-imagem, isso nos limita a um máximo de doze camadas em uma GPU padrão e BREAKS 12 GB.
terá que fazer muita pesquisa e pensar antes de entender...
você pode ter que comprar vitaminas do cérebro, beber menos)
Eu ainda não descobri). Mas não é tão difícil como parece.
Por isso voltamos ao fluxograma habitual, tens de o inventar primeiro para teres uma compreensão do nível de imagem...
como -
primeiro o classificador(ele faz isto e aquilo)
então conectamos o classificador à saída (ele faz isto e aquilo)
então conte algo ( faz isto e aquilo )
A saída está novamente ligada ao rodízio
etc...
Se você ler diretamente as notícias complicadas onde você nem sabe os termos, o que você vai conseguir?
Você tem que entender o princípio básico do algoritmo, especialmente no nível do esquema de blocos, como eu salientei. Então você vai entender o que é o quê e o que é o quê, e quando você entender, você vai entender o quê e como você pode melhorá-lo.