Нейронные сети. Вопросы экспертам. - страница 9

 
LeoV писал(а) >>

До каких пор её тренируем? До минимальной ошибки? Нужно понимать, что это будет переобучение 100%. Не до минимальной ошибки? Тогда до какой? Какой будет при этом профит? И почему до именно этой ошибки? Если уменьшить немного ошибку профит увеличится или уменьшиться? А если увеличить ошибку?

Ну вот как-то так.....))))

До минимальной ошибки. Чтобы "переобучения" (слово совершенно не отражающее смысл явления) не было, количество нейронов в сети должно быть минимально возможным. После обучения существует такие процедуры, как анализ влияния отдельных входов сети и удаление слабовлиящих, и такая процедура, как сокращение количества нейронов. Как бы так образно ... чтобы в этом электронном мозге не оставалась пустых мест не затронутых обучением.

 
LeoV >>:
Ну это же не ответы, нужно понимать))). Это просто размышления "на тему" вобщем. Хорошо, берём НШ(не трейдер) или Солюшн, не важно, делаем сеть(не важно какую) и начинаем тренировать. До каких пор её тренируем? До минимальной ошибки? Нужно понимать, что это будет переобучение 100%. Не до минимальной ошибки? Тогда до какой? Какой будет при этом профит? И почему до именно этой ошибки? Если уменьшить немного ошибку профит увеличится или уменьшиться? А если увеличить ошибку?

Как не ответ. Ответ.

joo писал(а) >>

Вот скажем Вас интересует, чтобы ТС выдавала как можно больший профит и как можно чаще, то есть пытаетесь увеличить процент прибыльных сделок и конечно МО.

От сети, обученной по этому принципу, можно ожидать, что и на ООС будет профит. Нужно применять среднекоренную ошибку, которая акцентирует сеть на закономерностях, способствующих этим целям. Т.е. сеть заостряется на конкретных закономерностях, приводящим к каким то последствиям.

Если же использовать среднеквадратичную ошибку, происходит "усреднение" закономерностей, а не акцентирование.

Нужно обучать до минимальной среднекоренной ошибки. А переобучение будет, если использовать среднеквадратичную ошибку (не для аппроксимации). Для аппроксимации, чем меньше среднеквадратичная ошибка, тем лучше.

Конечно, на Ваши вопросы навряд ли кто нибудь даст конкретные ответы, даже если захочет. Я лишь попытался показать, что выбор фитнес функции является чуть ли не более важной задачей, которая определит ответы на наши вопросы, чем подбор входных значений для сетки. А как правило, ограничиваются мучительными и долгими переборами входных данных......

зы и Integer опередил немного пока писал. С ним согласен.

 
Integer писал(а) >>

До минимальной ошибки. Чтобы "переобучения" (слово совершенно не отражающее смысл явления) не было, количество нейронов в сети должно быть минимально возможным. После обучения существует такие процедуры, как анализ влияния отдельных входов сети и удаление слабовлиящих, и такая процедура, как сокращение количества нейронов. Как бы так образно ... чтобы в этом электронном мозге не оставалась пустых мест не затронутых обучением.

А что вы понимаете под словом "переобучение"?

 
joo писал(а) >>

Я с вами согласен, точно так же как и с Integer. Но вы сами написали -

joo писал(а) >> на Ваши вопросы навряд ли кто нибудь даст конкретные ответы
))))
 
LeoV писал(а) >>

А что вы понимаете под словом "переобучение"?

В контексте применения и обучения нейросетей вообще его не понимаю, не отражает оно смысла явления. Как пишут про нейросети, например здесь (и не только) - http://www.exponenta.ru/soft/others/mvs/stud3/3.asp:

Слишком малое число примеров может вызвать "переобученность" сети, когда она хорошо функционирует на примерах обучающей выборки, но плохо - на тестовых примерах, подчиненных тому же статистическому распределению.

Понимаю как обучение сети на меньшем количестве примеров, чем она может вместить в себя. Получается зазубренность и замешательство, если ситуация не похожа в точности на зазубренный опыт. "Зазубренный" - от слова "зубрить" - знать наизусть, но не понимать и не уметь применить информацию.

 
LeoV >>:

Я с вами согласен, точно так же как и с Integer. Но вы сами написали -

))))

Ну, всё таки, я имел ввиду в конкретных циферах навряд ли. :)

 
Integer писал(а) >>

В контексте применения и обучения нейросетей вообще его не понимаю, не отражает оно смысла явления. Как пишут про нейросети, например здесь (и не только) - http://www.exponenta.ru/soft/others/mvs/stud3/3.asp:

Понимаю как обучение сети на меньшем количестве примеров, чем она может вместить в себя. Получается зазубренность и замешательство, если ситуация не похожа в точности на зазубренный опыт. "Зазубренный" - от слова "зубрить" - знать наизусть, но не понимать и не уметь применить информацию.

Термин "переобучение", на мой взгляд, в большей степени относится к применению нейросетей на финрынках. Мы знаем, что рынок со временем меняется, патерны меняются и в будущем рынок не будет точно таким же как в прошлом. Так вот когда сеть обучается, она слишком хорошо выучивает рынок и уже не в состоянии адекватно работать в будущем - на рынке, который изменился. Это и есть "переобучение". Конечно же, уменьшение числа нейронов это один из методов избежать "переобучения". Но в одиночку он не работает.

 
LeoV >>:

Ну это же не ответы, нужно понимать))). Это просто размышления "на тему" вобщем. Хорошо, берём НШ(не трейдер) или Солюшн, не важно(для "академических целей"), делаем сеть(не важно какую) и начинаем тренировать. До каких пор её тренируем? До минимальной ошибки? Нужно понимать, что это будет переобучение 100%. Не до минимальной ошибки? Тогда до какой? Какой будет при этом профит? И почему до именно этой ошибки? Если уменьшить немного ошибку профит увеличится или уменьшиться? А если увеличить ошибку?

Ну вот как-то так.....))))

Сеть тренируется до минимальной ошибки на тестовой выборке, корректируя веса по обучающей.

 
StatBars писал(а) >>

Сеть тренируется до минимальной ошибки на тестовой выборке, корректируя веса по обучающей.

Это понятно. Чем меньше ошибка тем больше профит? Или какая взаимосвязь?(я об этом)

 
Integer >>:

До минимальной ошибки. Чтобы "переобучения" (слово совершенно не отражающее смысл явления) не было, количество нейронов в сети должно быть минимально возможным. После обучения существует такие процедуры, как анализ влияния отдельных входов сети и удаление слабовлиящих, и такая процедура, как сокращение количества нейронов. Как бы так образно ... чтобы в этом электронном мозге не оставалась пустых мест не затронутых обучением.

Количество нейронов не всегда играет решающую роль, хотя подобрать их количество(которое в большинстве случаев минимальное без потери точности) приводит к уменьшению ошибки.

Влияние входов и удаление не нужных зачастую может дать больший эффект, чем подбор нейронов в слое.

Причина обращения: