Обсуждение статьи "Нейросети — это просто (Часть 39): Go-Explore — иной подход к исследованию"
Добрый день Дмитрий. Спасибо Вам за такую замечательную серию статей. Пробовал все ваши советники, но вот с последними возникла проблема.
Советник с 36 статьи (который с самой большой нейросетью) у меня проходит тест в тестере, но видеокарта не грузится во время теста и советник не пытается торговать. График баланса не меняется. Ошибок в логе тестера нет. В папке Common\Files появляются файлы размером 1 kb.
Советники из статей 37, 38 не тестируются совсем. Тест запускается но прогресса нет. При этом видеокарта грузится на 100%. И так пока процесс МТ5 не убьёшь в диспетчере. Файлы в Common\Files не создаются. Ошибок в тестере нет.
Советник из этой статьи Faza1 проходит тест тоже корректно без ошибок в логе, но файл GoExploer.bd тоже создаётся размером 1kb.
Подскажите пожалуйста куда копать? Другие советники из данной серии статей (которые на график кидаются) работают нормально и считаются видеокартой. Видеокарта RTX 3060 c 12Gb.
Советник из этой статьи Faza1 проходит тест тоже корректно без ошибок в логе, но файл GoExploer.bd тоже создаётся размером 1kb.
На демо конкретно минусует. Доливает на каждом открытии нового бара. Не пойму, как он в тестере на плюс выходил.
Какой период обучения? Короткий период обучения позволяет только увидеть может ли модель обучаться. Но не такого опыта недостаточно для интерполяции его на будущие состояния системы.
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Вы принимаете политику сайта и условия использования
Опубликована статья Нейросети — это просто (Часть 39): Go-Explore — иной подход к исследованию:
Продолжаем тему исследования окружающей среды в моделях обучения с подкреплением. И данной статье мы рассмотрим ещё один алгоритм Go-Explore, который позволяет эффективно исследовать окружающую среду на стадии обучения модели.
Основная идея Go-Explore заключается в том, чтобы запоминать и возвращаться к перспективным состояниям. И является фундаментальной для эффективной эксплуатации в условиях небольшого количества наград. Эта идея настолько гибкая и обширная, что может быть реализована различными способами.
В отличие от большинства алгоритмов обучения с подкреплением, Go-Explore сосредоточен не на прямом решении целевой задачи, а на нахождении релевантных состояний и действий в пространстве состояний, которые могут привести к достижению целевого состояния. Для этого алгоритм имеет две основные фазы: поиск и переиспользование.
Первая фаза состоит в том, чтобы пройти через все состояния в пространстве состояний, и записать каждое посещенное состояние в "карту" состояний. После этого алгоритм начинает изучать каждое посещенное состояние более подробно и собирать информацию о действиях, которые могут привести к другим интересным состояниям.
Вторая фаза заключается в переиспользовании ранее изученных состояний и действий для нахождения новых решений. Алгоритм сохраняет наиболее успешные траектории и использует их для генерации новых состояний, которые могут привести к еще более успешным решениям.
Автор: Dmitriy Gizlyk