Обсуждение статьи "Нейросети в трейдинге: Единая архитектура взаимодействия рыночных признаков и торгового контекста (OneTrans)"

[MetaQuotes]

Опубликована статья Нейросети в трейдинге: Единая архитектура взаимодействия рыночных признаков и торгового контекста (OneTrans):

В статье рассматривается архитектура фреймворка OneTrans, предложенного для эффективной работы с длинными последовательностями событий, и анализируются ключевые инженерные решения, лежащие в его основе. Особое внимание уделяется механизмам оптимизации вычислений внимания — пирамидальной схеме обработки токенов, использованию кэширования Key/Value и современных алгоритмов ускорения внимания, таких как FlashAttention-2.

Современные архитектуры глубокого обучения открывают возможность более тесной интеграции этих двух уровней. Вместо раздельного анализа рыночных данных и торгового контекста их можно объединить внутри единой модели представления признаков. В такой постановке нейронная сеть получает на вход не только последовательность наблюдений рынка, но и информацию о текущем состоянии торговой системы. Баланс счёта, структура открытых позиций, параметры риска и временные характеристики торговой среды становятся полноценными элементами исходных данных модели.

Особенно перспективным инструментом для решения подобных задач являются архитектуры на основе механизма внимания. Трансформеры позволяют рассматривать исходные данные как набор взаимосвязанных элементов, между которыми модель самостоятельно выявляет зависимости в процессе обучения. Благодаря этому различные типы признаков могут взаимодействовать друг с другом непосредственно внутри модели. Такой подход даёт возможность анализировать не только последовательность рыночных наблюдений, но и контекст, в котором принимается торговое решение.

Интересным шагом в этом направлении стала работа "OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender", в которой предложена архитектура, объединяющая моделирование последовательностей и взаимодействие признаков внутри единого Transformer-backbone. В исходной постановке задача относится к области рекомендательных систем, где необходимо одновременно анализировать последовательность действий пользователя и набор статических характеристик объектов. Авторы показывают, что представление всех входных данных в виде единого набора токенов позволяет эффективно моделировать сложные зависимости между различными типами признаков.

Автор: Dmitriy Gizlyk