Discusión sobre el artículo "Teoría de categorías en MQL5 (Parte 20): Autoatención y transformador"
MetaQuotes:
E leído tu teoría .y ponerlo en práctica.no sería de tanto riesgo si avanzamos dentro de akellas caracteriscas cuando entendemos bien lo escrito.sin llevar a otros campos el buen concepto..
Artículo publicado Teoría de categorías en MQL5 (Parte 20): Autoatención y transformador:
Autor: Stephen Njuki
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Artículo publicado Teoría de categorías en MQL5 (Parte 20): Autoatención y transformador:
Hoy nos apartaremos un poco de nuestros temas habituales y veremos parte del algoritmo de ChatGPT. ¿Tiene alguna similitud o concepto tomado de las transformaciones naturales? Intentaremos responder estas y otras preguntas usando nuestro código en formato de clase de señal.
Creo que sería negligente por mi parte continuar con esta serie de artículos sobre teoría de categorías y transformaciones naturales sin tocar ChatGPT. A estas alturas, todo el mundo está familiarizado de una forma u otra con ChatGPT y una amplia variedad de plataformas de inteligencia artificial similares y, con suerte, el lector ya habrá apreciado cómo las redes neuronales basadas en transformadores simplifican nuestra investigación y ahorran tiempo que antes se dedicaba a tareas rutinarias. Por lo tanto, en este artículo me desviaré de mis temas habituales y trataré de responder a la pregunta sobre si las transformaciones naturales de la teoría de categorías son de alguna manera clave para los algoritmos de los transformadores generativos preentrenados (Generative Pretrained Transformer, GPT) utilizados por OpenAI.
Además de buscar sinónimos para el concepto de “transformación”, creo que también sería interesante observar los elementos del código del algoritmo GPT en MQL5 y probarlos en la clasificación preliminar de una serie de precios para los mercados con instrumentos financieros.
El transformador presentado en el artículo "Todo lo que necesita es atención" (versión en ruso) supuso una innovación en las redes neuronales utilizadas para traducir el lenguaje hablado (por ejemplo, del italiano al francés). Proporcionó una manera de deshacerse de la recurrencia (recurrence) y las convoluciones (convolutions) ¿Cómo? Usando autoatención (Self-Attention). Muchas plataformas de inteligencia artificial actuales suponen desarrollos de las ideas contenidas en el artículo.
El algoritmo real utilizado por OpenAI es, por supuesto, un secreto, pero aun así se cree que utiliza representación vectorial de palabras, codificación posicional (positional encoding), autoatención y redes neuronales de conexión directa como parte de la pila del transformador de descodificación (decode-only transformer). Nada de esto ha sido confirmado, así que no confíen en mi palabra. Para ser claros, todo esto se refiere a la parte de la traducción de palabra/idioma del algoritmo. De hecho, como la mayoría de los datos de entrada a ChatGPT son texto, juega un papel clave en el algoritmo, pero ChatGPT puede hacer bastante más que solo trabajar con textos. Por ejemplo, si descargamos un archivo Excel, no solo podrá abrirlo para leer su contenido, sino también dibujar gráficos e incluso sacar conclusiones de las estadísticas presentadas. Aquí no presentaremos el algoritmo ChatGPT en su totalidad, solo veremos fragmentos de cómo podría ser su aspecto.
Autor: Stephen Njuki