Обсуждение статьи "Нейросети — это просто (Часть 54): Использование случайного энкодера для эффективного исследования (RE3)"

[MetaQuotes]

Опубликована статья Нейросети — это просто (Часть 54): Использование случайного энкодера для эффективного исследования (RE3):

Каждый раз, при рассмотрении методов обучения с подкреплением, мы сталкиваемся с вопросом эффективного исследования окружающей среды. Решение данного вопроса часто приводит к усложнению алгоритма и обучению дополнительных моделей. В данной статье мы рассмотрим альтернативный подход к решению данной проблемы.

Основная цель метода Random Encoders for Efficient Exploration (RE3) лежит в минимизации количества обучаемых моделей. В своей работе авторы метода RE3 обращают внимание, что в области обработки изображения только сверточные сети способны выделять отдельные признаки и характеристики объекта. Именно сверточные сети помогут понизить размерность многомерного пространства, выделить характерные особенности и справиться с масштабированием исходного объекта.

И тут вполне резонен вопрос: о какой минимизации обучаемых моделей идет вопрос если мы дополнительно обращаемся к сверточным сетям?

В этом аспекте ключевым является слово "обучаемых". Авторы метода обратили внимание на тот факт, что даже инициализированный случайными параметрами сверточный кодировщик эффективно улавливает информацию о близости двух состояний. Ниже представлена визуализация k-ближайших состояний, найденных путем измерения расстояний в пространстве представления случайно инициализированного кодировщика (Random Encoder) и в пространстве истинного состояния (True State), из авторской статьи.

Автор: Dmitriy Gizlyk

[Ivan Butko]

Не читал статью, но 5 сделок за 5 месяцев - это уже как минимум странный результат для современной технологии

[JimReaper]

@Dmitriy Gizlyk Dmtry__1.PNG (1916×320) (mql5.com)

Dmtry__1.PNG (1916×320) (mql5.com)

I was able to make 600+ trades for those 5 months by modifying the reward funtion and added some neurons,


Dmtry__1.PNG (1916×320) (mql5.com)

Thanks a lot! We love you! From the Philippines! <3

Dmtry__1.PNG (1916×320) (mql5.com)