Обсуждение статьи "Нейросети — это просто (Часть 7): Адаптивные методы оптимизации" - страница 2

Новый комментарий
 

TempData.Add((double)((buy || sell) ? 0 : 1));//Undef

А тут нельзя Undefine как в предыдущем коде вместо 0 записать 0.5 чтоб уменьшить количество неопределенных?

 

Отличная и превосходная работа Дмитрий! Ваши усилия в этом деле огромны.

И спасибо, что поделились.

Одно небольшое замечание:

Я попробовал скрипт, обратное распространение выполняется перед фидфорвардом.

Я бы посоветовал сначала выполнить фидфорвард, а затем уже отследить правильный результат.

Если правильные результаты будут передаваться в обратном направлении после того, как сеть узнает, что она думает, вы можете увидеть уменьшение количества отсутствующих фракталов. До 70% результатов могут быть уточнены.


также,

если сделать это:

TempData.Add((double)((!buy && !sell) ? 0.5 : 0));

может привести к преждевременному обучению сети, поэтому этого следует избегать.

Для обучения сети,

мы можем начать с оптимизатора Адама и скорости обучения0.001 и перебрать все эпохи.

(или)

Чтобы найти лучшую скорость обучения, мы можем использовать LR Range Test (LRRT).


Скажем, если настройки по умолчанию не работают, лучшим методом для поиска хорошей скорости обучения будет тест диапазона скорости обучения.

  1. Начните с очень маленькой скорости обучения (например,1e-7).

  2. В каждой обучающей партии постепенно увеличивайте скорость обучения по экспоненте.

  3. Записывайте потери при обучении на каждом шаге.

  4. Постройте график зависимости потерь от скорости обучения.

  5. Посмотрите на график. Потери будут уменьшаться, затем сглаживаться, а потом внезапно взлетать вверх. (следующая скорость обучения будет оптимальной после этого скачка вверх).

Нам нужна самая быстрая скорость обучения, при которой убыток все еще последовательно уменьшается.

Еще раз спасибо

12
Новый комментарий