Обсуждение статьи "Нейросети в трейдинге: Повышение эффективности Transformer путем снижения резкости (Окончание)"

MetaQuotes 2024.11.19 12:49

Опубликована статья Нейросети в трейдинге: Повышение эффективности Transformer путем снижения резкости (Окончание):

SAMformer предлагает решение ключевых проблем Transformer в долгосрочном прогнозировании временных рядов, включая сложность обучения и слабое обобщение на малых выборках. Его неглубокая архитектура и оптимизация с учетом резкости обеспечивают избегание плохих локальных минимумов. В данной статье мы продолжим реализацию подходов с использованием MQL5 и оценим их практическую ценность.

Обучение всех 3 моделей мы осуществляли одномоментно. А результаты тестирования отбученной политики Актера представлены ниже. Тестирование модели осуществлялось на реальных исторических данных за январь 2024 года с сохранением прочих параметров, используемых при обучении модели.

Но вначале стоит сказать несколько слов об обучении моделей. Прежде всего, SAM оптимизация предполагает сглаживание ландшафта функции потерь. А это, в свою очередь, позволяет рассматривать возможность использования большей скорости обучения. И если ранее при обучении моделей в основном использовалась скорость обучения на уровне 3.0e-04, то в данном случае мы увеличили её до 1.0e-03.

Кроме того, использования только одного слоя внимания позволило сократить количество обучаемых параметров, а вместе с тем и компенсировать затраты на повторное прохождение прямого прохода при выполнении алгоритма SAM оптимизации параметров.