Обсуждение статьи "Нейросети — это просто (Часть 40): Подходы к использованию Go-Explore на большом объеме данных"

 

Опубликована статья Нейросети — это просто (Часть 40): Подходы к использованию Go-Explore на большом объеме данных:

В данной статье обсуждается применение алгоритма Go-Explore на протяжении длительного периода обучения, так как стратегия случайного выбора действий может не привести к прибыльному проходу с увеличением времени обучения.

С увеличением периода обучения алгоритма Go-Explore возникают определенные сложности, которые могут затруднить его использование. Некоторые из них включают:

  1. Проблема проклятия размерности: с увеличением периода обучения количество состояний, которые может посетить агент, растет экспоненциально, что усложняет задачу поиска оптимальной стратегии.

  2. Изменение окружающей среды: при увеличении периода обучения могут возникнуть изменения в окружающей среде, которые могут повлиять на результаты обучения агента. Это может привести к тому, что ранее успешная стратегия станет неэффективной или даже невозможной.

  3. Сложность выбора действий: при увеличении периода обучения агенту может потребоваться учитывать более широкий контекст задачи для принятия обоснованных решений. Это может усложнить задачу выбора оптимального действия и требовать более сложных методов оптимизации алгоритма.

  4. Увеличение времени обучения: при увеличении периода обучения время, необходимое для сбора достаточного количества данных и обучения модели, также возрастает. Это может снизить эффективность и быстроту обучения агента.

С увеличением периода обучения может возникнуть проблема увеличения размерности пространства состояний, которое нужно исследовать. Это может привести к проблеме "проклятия размерности", когда количество возможных состояний растет экспоненциально при увеличении размерности. Это затрудняет исследование пространства состояний и может привести к тому, что алгоритм будет тратить слишком много времени на исследование нерелевантных состояний.

Для проверки качества и эффективности обученной модели мы проводим ее тестирование на обучающей и тестовой выборках. Важно отметить, что наша модель смогла заработать прибыль на исторических данных за первую неделю мая 2023 года, которые не были включены в обучающую выборку, но непосредственно следовали за ней.

Тестовая выборка (май 2023) Тестовая выборка (май 2023)



Автор: Dmitriy Gizlyk

 
Здравствуйте. Faza2 не компилируется, пока в папку не переместил Unsupervised c другого советника. Может быть поэтому ошибка остается в районе 0.18 ?
 

Всем доброго времени суток. Подскажите у кого либо получилось обучить данную нейронную сеть? Если да, то как вы это сделали?

Я собрал данные фазой 1 за тот же период что и  у автора статьи (4 месяца). Получился файл bd размером 1,2 Гб примерно (190 000 признаков). Далее начал тренировать фазой 2. В фазе 2 стоит по умолчанию 100 000 итераций. Я пробовал запускать фазу 2 несколько раз. Ещё пробовал ставить 1 000 000  и 10 000 000 итераций. При всех этих попытках ошибка которую показывает фаза 2 колеблется в пределах 1,6 ... 1,8 и не падает. Либо растёт до 0,3 (с другими файлами  bd). Когда запускаешь фазу 3 (в тестере) то он не путается торговать. Он просто тупо открывает сделку и держит её пока не закончится время теста. Пробовал фазу 3 запускать в тестере в режиме оптимизации. Пробовал делать 200, 500, 1000 проходов. Это особо ни на что не влияет. Единственное что советник либо чуть  раньше либо чуть позже открывает сделку и держит её до конца теста, из-зи чего может в редких случаях закрыться в небольшой плюс. Но он не сам закрывает сделку, а его закрывает тестер тк время вышло. Ещё пробовал менять  в файле NeuroNet.mqh параметр #define  lr 3.0e-4f на  1.0e-4f или  2.0e-4f но это тоже не даёт результата. Что я делаю не так?

Объясните кто нибудь пожалуйста как вы её тренируете? Если можно подробно.

При какой ошибке вы переходите на фазу 3 ?

Сколько итераций вы вы делаете фазой 2 ?

Что вы делаете если ошибка на фазе 2 не снижается?

При каком количестве итераций вы что либо начинаете менять? Что именно меняете?

То что на фазе 3 советник просто открывает сделку и не пытается торговать это нормально? Есть ли смысл при этом его тренировать фазой 3 в режиме оптимизации?



 
Виктор, у меня все то же, что и у вас. Вам удалось запустить фазу 2 без перемещения папки Unsupervised?  
 
У меня с компиляцией проблем нет в данном советнике. Всё компилируется нормально. Я просто поверх (с заменой файлов на новые) скидывал со всех статей архивы подряд.