Обсуждение статьи "Нейросети — это просто (Часть 78): Детектор объектов на основе Трансформера (DFFT)"

[MetaQuotes]

Опубликована статья Нейросети — это просто (Часть 78): Детектор объектов на основе Трансформера (DFFT):

В данной статье я предлагаю посмотреть на вопрос построения торговой стратегии с другой стороны. Мы не будем прогнозировать будущее ценовое движение, а попробуем построить торговую систему на основе анализа исторических данных.

Метод Decoder-Free Fully Transformer-based (DFFT) — эффективный детектор объектов, полностью основанный на Трансформерах без декодера. Магистраль Трансформера ориентирована на обнаружение объектов. Извлекает их в четырех масштабах и отправляет на следующий одноуровневый модуль прогнозирования плотности, предназначенный только для кодировщика. Модуль прогнозирования сначала агрегирует многомасштабный объект в единую карту объектов с помощью кодировщика Scale-Aggregated Encoder.

Затем авторы метода предлагают использовать кодировщик Task-Aligned Encoder для одновременного согласования функций для задач классификации и регрессии.

Ориентированная на обнаружение магистраль трансформера (Detection-Оriented Тransformer — DOT) предназначена для извлечения многомасштабных признаков со строгой семантикой. Она иерархически укладывает один модуль Эмбединга и четыре этапа DOT. Новый модуль семантически расширенного внимания агрегирует низкоуровневую семантическую информацию каждых двух последовательных этапов DOT. 

При обработке карт признаков с высоким разрешением при плотном прогнозировании обычные блоки-трансформера снижают вычислительные затраты, заменяя слой Self-Attention с несколькими головками (MSA) слоем локального пространственного внимания и смещенного оконного многоголового Self-Attention (SW-MSA). Однако такая структура снижает производительностью обнаружения, так как извлекает только многомасштабные объекты с ограниченной низкоуровневой семантикой.

Автор: Dmitriy Gizlyk