Обсуждение статьи "Нейросети — это просто (Часть 35): Модуль внутреннего любопытства (Intrinsic Curiosity Module)"

 

Опубликована статья Нейросети — это просто (Часть 35): Модуль внутреннего любопытства (Intrinsic Curiosity Module):

Продолжаем изучение алгоритмов обучения с подкреплением. Все ранее рассмотренные нами алгоритмы требовали создания политики вознаграждения таким образом, чтобы агент мог оценить каждое свое действие на каждом переходе из одного состояния системы в другое. Но такой подход довольно искусственный. На практике же между действием и вознаграждением существует некоторый временной лаг. В данной статье я предлагаю Вам познакомиться с алгоритмом обучения модели, способным работать с различными временными задержками от действия до вознаграждения.

Для обучения советника все модели были созданы с помощью инструмента NetCreator. Надо добавить, что для работы советника в тестере стратегий файлы моделей должны находиться в общем каталоге терминалом «Terminal\Common\Files», так как каждый агент работает в собственной «песочнице» и обмен данными возможен только через общую папку терминалов.

Обучение в тестере стратегий занимает немного больше времени, по сравнению с используемым ранее подходом виртуального обучения. По этой причине я сократил период обучения модели до 10 месяцев. В остальном параметры тестирования остались без изменений. Как обычно я использовал EURUSD на таймфрейме H1. Параметры индикаторов использовались по умолчанию.

Честно говоря, я ожидал, что процесс обучения начнется со слива депозита. Но при первом проходе модель продемонстрировала результат близкий к «0». А при повторном проходе была получена даже прибыль. Модель совершила 330 трейдов с результативностью более 98% прибыльных операций.

Результат тестирования модели Результат тестирования модели

Автор: Dmitriy Gizlyk

 

Линия баланса странная. Похоже, что в течении года только открывались сделки и в конце тестирования они все были закрыты. Все сделки на продажу и Евро весь год в падении. Пересиживали прибыли и убытки почти год).

 
elibrarius #:

Линия баланса странная. Похоже, что в течении года только открывались сделки и в конце тестирования они все были закрыты. Все сделки на продажу и Евро весь год в падении. Пересиживали прибыли и убытки почти год).

Согласен. Но это лишь демонстрация технологии. Для нормальной работы модели требуется более длительное обучение. Выложенные скриншоты относятся всего лишь ко 2 эпохе обучение. Что крайне мало.

 

Hi Thank you for your awesome article.

I am eager to do some testing, but I have difficulty in creating the models even you mentioned " To train the Expert Advisor, all models were created using the    NetCreator   tool .  "

What should I do? thanks.

Нейросети — это просто (Часть 25): Практикум Transfer Learning
Нейросети — это просто (Часть 25): Практикум Transfer Learning
  • www.mql5.com
В последних двух статьях мы создали инструмент, позволяющий создавать и редактировать модели нейронных сетей. И теперь пришло время оценить потенциальные возможности использования технологии Transfer Learning на практических примерах.
 

I don't know what damages the file

Please help 

Thanks

 

Very successful article. Could you possibly help me to create the models? neuron numbers, which layers, with which activation, with which outputs. Thank you in advance for your help.

 
В предыдущих статьях вы описывали создание моделей, слои и их характеристики. А как быть в этом случае?
 
Автор пропал. Может, кто из форумчан сумел запустить этого зверя? Поделитесь, будьте добры, информацией, какие слои создавать для моделей.
Причина обращения: