Обсуждение статьи "Нейросети — это просто (Часть 62): Использование Трансформера решений в иерархических моделях"

[MetaQuotes]

Опубликована статья Нейросети — это просто (Часть 62): Использование Трансформера решений в иерархических моделях:

В последних статьях мы познакомились с несколькими вариантами использования метода Decision Transformer. Который позволяет анализировать не только текущее состояние, но и траекторию предшествующих состояний и, совершенных в них, действий. В данной статье я предлагаю Вам познакомиться с вариантом использования данного метода в иерархических моделях.

Тут я должен сказать, что процесс сбора обучающей выборки на историческом периоде в первые 7 месяцев 2023 года оказался довольно трудоемким. Я столкнулся с проблемой, что даже при малом горизонте сэмплирования действий Агента большинство проходов не удовлетворяли требования положительного баланса.

 

Для выбора оптимального горизонта планирования в режиме оптимизации количества итераций на один проход было вынесено с оптимизируемые параметры.

После сбора обучающей выборки и обучения модели локальной политики я параллельно запустил обучение планировщика и модели функции стоимости. Такой подход мне позволил значительно сократить время на обучение моделей.

Автор: Dmitriy Gizlyk

[Fahad Raza]

Его цель - способствовать более глубокому пониманию трансформаторов решений в иерархических архитектурах, особенно для тех, кто заинтересован в их использовании в робототехнике и автономных системах.