Обсуждение статьи "Теория категорий в MQL5 (Часть 20): Самовнимание и трансформер"

[MetaQuotes]

Опубликована статья Теория категорий в MQL5 (Часть 20): Самовнимание и трансформер:

Немного отвлечемся от наших постоянных тем и рассмотрим часть алгоритма ChatGPT. Есть ли у него какие-то сходства или понятия, заимствованные из естественных преобразований? Попытаемся ответить на эти и другие вопросы, используя наш код в формате класса сигнала.

Я думаю, было бы упущением продолжать серию статей о теории категорий и естественных трансформациях и при этом не затронуть ChatGPT. К настоящему времени все в той или иной форме знакомы с ChatGPT и множеством других платформ искусственного интеллекта и, я надеюсь, оценили, насколько нейронные сети на основе трансформеров упрощают наши исследования и экономят время, которое раньше уходило на рутинные задачи. Поэтому в этой статье я отвлекусь от своих привычных тем и попытаюсь ответить на вопрос, являются ли естественные преобразования теории категорий каким-либо образом ключевыми для алгоритмов генеративных предварительно обученных трансформеров (Generative Pretrained Transformer, GPT), используемых OpenAI.

Помимо поиска синонимов к понятию "преобразование" (трансформация), я думаю, было бы также интересно посмотреть на элементы кода алгоритма GPT в MQL5 и протестировать их при предварительной классификации ряда цен на финансовые инструменты.

Трансформер, представленный в статье "Всё, что вам нужно — это внимание" (русская версия) представлял собой новое слово в нейронных сетях, используемых для перевода разговорной речи (например, с итальянского на французский). Он предоставлял способ избавиться от рекуррентности (recurrence) и сверток (convolutions). Каким образом? С помощью самовнимания (Self-Attention). Многие нынешние платформы искусственного интеллекта являются развитием идей, заложенных в статье.

Фактический алгоритм, используемый OpenAI, конечно, находится в секрете, но, тем не менее, предполагается, что он использует векторное представление слов, позиционное кодирование (positional encoding), самовнимание и нейронную сеть с прямой связью, как часть стека декодирующего трансформера (decode-only transformer). Ничего из этого не подтверждено, поэтому не стоит верить мне на слово. Чтобы внести ясность, всё это относится к части алгоритма, связанной с переводом слов/языка. Действительно, поскольку большая часть входных данных в ChatGPT представляет собой текст, он играет ключевую роль в алгоритме, но ChatGPT умеет не только работать с текстом. Например, если мы загрузим файл Excel, он может не только открыть его, чтобы прочитать его содержимое, но и построить графики и даже сделать выводы по представленной статистике. Алгоритм ChatGPT здесь не представлен полностью. Мы увидим лишь фрагменты того, как он может выглядеть.

Автор: Stephen Njuki