Обсуждение статьи "Нейросети в трейдинге: Оптимизация Transformer для прогнозирования временных рядов (LSEAttention)"

[MetaQuotes]

Опубликована статья Нейросети в трейдинге: Оптимизация Transformer для прогнозирования временных рядов (LSEAttention):

Фреймворк LSEAttention предлагает пути совершенствования архитектуры Transformer, и был разработан специально для долгосрочного прогнозирования многомерных временных рядов. Предложенные авторами метода подходы позволяют решить проблемы энтропийного коллапса и нестабильности обучения, характерные для ванильного Transformer.

В компьютерном зрении и обработке естественного языка матрицы внимания могут испытывать энтропию или коллапс рангов. Эта проблема усугубляется при прогнозировании временных рядов из-за частых колебаний, присущих временным данным, что приводит к значительному снижению производительности модели. Фундаментальные причины коллапса энтропии остаются недостаточно изученными, что требует дальнейшего изучения его основных механизмов и влияния на производительность модели. Указанные проблемы пытаются решить авторы работы "LSEAttention is All You Need for Time Series Forecasting".

Для чистоты эксперимента мы полностью повторяем алгоритм обучения модели HypDiff. Для обучения используем ту же обучающую выборку. Однако на это раз мы не осуществляем итерационного её обновления. Да, это может отрицательно сказаться на результатах обучения, но позволит нам корректно сравнить работу модели до и после оптимизации алгоритма.

Для проверки результатов обучения модели используются реальные исторические данные за первый квартал 2024 года. Результаты тестирования представлены ниже.

Надо сказать, что результаты работы модели на тестовой выборке до и после модификации довольно близки. За период тестирования обновленная модель совершила 24 сделки. Отклонение об базовой модели в 1 сделку на уровне погрешности. Обе модели сделали 13 прибыльных сделок. Единственное  видимое улучшение — отсутствие просадки в феврале месяце.

Автор: Dmitriy Gizlyk