Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 605

 
elibrarius:
Хотелось бы автоматически определять число нейронов в сети. Какие есть формулы для расчета?

где-то читал что вн. слой должен быть в 2 раза меньше входного, максимум 2 слоя, больше уже нет смысла

это для МЛП

 
toxic:

На платной лучше, идите к Герчику или сразу к Перепёлкину, если серьёзно решили вложиться в образование.


перчик больше не преподает, он набрал достаоточно лохов и открыл дц

 
Maxim Dmitrievsky:

где-то читал что вн. слой должен быть в 2 раза меньше входного, максимум 2 слоя, больше уже нет смысла

это для МЛП

Абсолютная чушь. М.б. и меньше и больше, и нейронов и слоев - это от задачи зависит. У Хайкина (он у вас кажется есть) описано как и почему.
 
Yuriy Asaulenko:
Абсолютная чушь. М.б. и меньше и больше - это от задачи зависит. У Хайкина (он у вас кажется есть) описано как и почему.

у него не видел такой инфы, мб невнимательно читал

 
Maxim Dmitrievsky:

у него не видел такой инфы, мб невнимательно читал

2-й слой как правило больше входного, т.к. он начинает извлекать признаки, и таких признаков может быть оч. много, даже если у вас классификация типа да/нет.

У Хайкина это точно есть, и гораздо лучше чем у меня написано.))

 
Yuriy Asaulenko:
Абсолютная чушь. М.б. и меньше и больше, и нейронов и слоев - это от задачи зависит. У Хайкина (он у вас кажется есть) описано как и почему.

Я и вариант про число входов / 2 видел и другие.
Как же все таки автоматически посчитать оптимальный вариант?

 
elibrarius:

Я и вариант про число входов / 2 видел и другие.
Как же все таки автоматически посчитать оптимальный вариант?

Могу ошибаться, но по моему - никак. Выбирается из общих соображений, а потом по результатам обучения в слои добавляются/исключаются нейроны, или даже вводятся-исключаются дополнительные слои.
 
Yuriy Asaulenko:

2-й слой как правило больше входного, т.к. он начинает извлекать признаки, и таких признаков может быть оч. много, даже если у вас классификация типа да/нет.

У Хайкина это точно есть, и гораздо лучше чем у меня написано.))


Эмпирическое правило состоит в том, что размер этого [скрытого] слоя находится где-то между размером входного слоя ... и размером выходного слоя ....

Чтобы вычислить количество скрытых узлов, мы используем общее правило: (Количество входов + выходов) x 2/3

Это наиболее часто встречающиеся рекомендации.. а вообще есть методы определения, надо читать в гугле, но там все сложно

НС не извлекает никакие признаки, признаки подаются на вход. Она либо понижает размерность, либо зазубривает все комбинации (с увеличением кол-ва нейронов)

 

Цитатка про выбор числа слоев:

Сеть с тремя слоями (numLayers=3: один входной, один скрытый и один выходной) обычно достаточна в подавляющем большинстве случаев. В соответствии с теоремой Цыбенко, сеть с одним скрытым слоем способна аппроксимировать любую непрерывную многомерную функцию с любой желаемой степенью точности. Сеть с двумя скрытыми слоями способна аппроксимировать любую дискретную многомерную функцию.

Интересно анализ баров отностися к непрерывной или дискретной функции?

 
Maxim Dmitrievsky:
НС не извлекает никакие признаки, признаки подаются на вход. Она либо понижает размерность, либо зазубривает все комбинации (с увеличением кол-ва нейронов)
Воот! Потому завышение числа нейронов тоже вредно. Будет не обобщение а запоминание вместе с шумом.
Причина обращения: