Обсуждение статьи "Нейросети в трейдинге: Параметроэффективный Transformer с сегментированным вниманием (PSformer)"

Новый комментарий
 

Опубликована статья Нейросети в трейдинге: Параметроэффективный Transformer с сегментированным вниманием (PSformer):

Предлагаем познакомиться с новым фреймворком PSformer, который адаптирует архитектуру ванильного Transformer для решения задач прогнозирования многомерных временных рядов. В основе фреймворка лежат две ключевые инновации: механизм совместного использования параметров (PS) и внимание к пространственно-временным сегментам (SegAtt).

Авторы работы "PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting" исследуют инновационные разработки модели на основе Transformer для решения задач прогнозирования многомерных временных рядов с учетом концепции совместного использования параметров.

Они предлагают модель энкодера на основе архитектуры Transformer с двухуровневой структурой внимания по сегментам, где каждый уровень модели включает блок с общими параметрами. Этот блок содержит три полносвязных слоя с остаточным соединением, что позволяет поддерживать общее число параметров на низком уровне, обеспечивая эффективный обмен информацией между частями модели. Для фокусировки внимания на сегментах применяется метод патчинга, который разделяет ряды переменных на отдельные патчи. Затем патчи, находящиеся в одинаковом положении по разным переменным, объединяются в сегменты. В итоге, каждый сегмент является пространственным расширением патча одной переменной, что позволяет разделить многомерный временной ряд на несколько сегментов.

Внимание внутри каждого сегмента направлено на улучшение выявления локальных пространственно-временных связей, а интеграция информации между сегментами способствует повышению общей точности прогнозов. Внедрение метода оптимизации SAM позволяет авторам фреймворка дополнительно уменьшить переобучение, не теряя в эффективности обучения. Обширные эксперименты, проведенные создателями PSformer на данных для долгосрочного прогнозирования временных рядов, демонстрируют высокую эффективность предложенной архитектуры. PSformer показывает конкурентоспособные результаты по сравнению с передовыми моделями, достигая лучших показателей в 6 из 8 ключевых задач прогнозирования временных рядов.

Автор: Dmitriy Gizlyk

 

I observed that the second parameter 'SecondInput' is unused, as CNeuronBaseOCL's feedForward method with two parameters internally calls the single-parameter version. Can you verify if this is a bug?

class CNeuronBaseOCL  :  public CObject

{

...

virtual bool      feedForward(CNeuronBaseOCL *NeuronOCL);     

virtual bool      feedForward(CNeuronBaseOCL *NeuronOCL, CBufferFloat *SecondInput) { return feedForward(NeuronOCL); }  

..

}

  

Actor.feedForward((CBufferFloat*)GetPointer(bAccount), 1, false, GetPointer(Encoder),LatentLayer)；  ？？

Encoder.feedForward((CBufferFloat*)GetPointer(bState), 1, false, GetPointer(bAccount))； ？？

Новый комментарий