Нейро сети - страница 5

 
gpwr писал(а) >> мы друг друга не понимаем.

На самом деле вы всё правильно написали. Мы просто разошлись в определениях.

gpwr писал(а) >> В во всех учебниках написано что обучение сети с учителем происходит путём разбиения данных на обучающую выборку и тестируемую. Сеть обучается путём минимизации ошибки на обучающей выборке при этом наблюдается ошибка на тестируемой выборке (out-of-sample test or verification). Oбучениe останавливается когда ошибка на тестируемой выборке перестаёт уменьшаться (показано пунктирной линией внизу). Причём ошибка на обучающей выборке может продолжать уменьшаться как показана на этом рисунке

За всеми этими исследованиями многие забывают о самом главном - о профите. Поэтому есть одно "но", которое в учебниках не написано. Это то, что достижение минимальной ошибки на OOS не даёт гарантий получения профита. Почему? Потому что минимальная ошибка и прибыль это всё-таки разные вещи. Они могут быть никак не связанны. Почему? Потому что сети не обязательно безошибочно повторять рынок на OOS и реале - ей достаточно в определённые моменты времени дать правильные сигналы бай или селл - то есть превысить некий порог срабатывания. Между этими моментами времени(сигналами) сеть может себя вести как угодно - главное не превысить этот порог. Поэтому при большой ошибке на OOS и профит может быть большим.

muallch писал(а) >>

Сначала out-of-sample есть - для настройки сетки. А потом его не будет - впереди реальное будущее, его надо предсказать. По какому критерию останавливать обучение - определенная ошибка или количество прогонов обучения? Или еще что-то?

И конечно же вопрос будущего он однозначно открыт, так как даже OOS - это всё таки известное нам будущее на котором мы можем контролировать профит, а мы торгуем в будущем, которое нам неизвестно и там главное не получить минимальную ошибку, а получить максимальный профит. А какая там будет ошибка - это пох.
 
muallch писал(а) >>

Сначала out-of-sample есть - для настройки сетки. А потом его не будет - впереди реальное будущее, его надо предсказать. По какому критерию останавливать обучение - определенная ошибка или количество прогонов обучения? Или еще что-то?

Например 100 эпох без обновления минимума ошибки на контрольной выборке.

 
LeoV писал(а) >>

И конечно же вопрос будущего он однозначно открыт, так как даже OOS - это всё таки известное нам будущее на котором мы можем контролировать профит, а мы торгуем в будущем, которое нам неизвестно и там главное не получить минимальную ошибку, а получить максимальный профит. А какая будет ошибка - это пох.

Скорее всего Вы так рассуждаете из-за того что ни разу не получали действительно стабильных результатов. Ошибка и Профит взаимосвязаны, в принципе для каждой задачи можно определить какую ошибку нужно достичь, для получения приемлемых показателей ТС...
 
StatBars писал(а) >>
Скорее всего Вы так рассуждаете из-за того что ни разу не получали действительно стабильных результатов. Ошибка и Профит взаимосвязаны, в принципе для каждой задачи можно определить какую ошибку нужно достичь, для получения приемлемых показателей ТС...

Что значит для вас "действительно стабильный результат"?

 
StatBars писал(а) >> Ошибка и Профит взаимосвязаны

Они могут быть взаимосвязаны, а могут быть и нет - это большой вопрос. Но однозначно то, что минимальная ошибка на OOS не означает и не ведёт к максимальному профиту на реале. Как и максимальный профит на реале не означает минимальной ошибки на нём.

 
gpwr >>:

Вы неправильно поняли суть моих рассуждений. Я не говорил о взаимосвязи между "недоученной" сети и результатами торговли. Это везде написано что сеть нужно обучать до тех пор пока ошибка на тестируемой выборке не перестанет уменьшаться. Я с ятим согласен, и не хочу спорить на эту тему. Суть моих рассуждений была в том чтобы показать как параллельная структура сети ведёт к сложностям её оптимизации и как нелинейная модель на основе степенного ряда способна достичь той же цели как и нейронная сеть, но с намного более простым математическим аппаратом и быстрым процессом обучения ведущим к однозначному результату.

Эх, сколько тут уже успели высказать ;-). Добавлю свои 5 копеек.

Вы тоже неправильно меня поняли. Я не имел в виду "недоученность" сети. Я имел в виду, что не нужно ждать от сетки чудес. Она не панацея, и если и будет давать процент выигрыша, то оооочень маленький, и вот для того чтобы его повысить, нам и нужны комитеты. Конфигурацию сети для комитета и структуру входных/выходных данных можно долго и упорно искать. Имхо, Вы слишком быстро сбросили сетки со счетов, фактически не попробовав и 10% того, что стоило бы (сужу просто по времени начала работы непосредственно над вашим проектом). В силу математического образования у Вас есть варианты, чем попробовать сетку заменить ;-). Пожалуйста, пробуйте. Но мне кажется, критикуя сетку, Вы заостряете свое внимание не на тех моментах. В частности, какая разница, какой именно синапс обучится на какой входной фактор в конкретном экземпляре сети? Вам это надо знать? На самом деле - нет. Эта внутренняя неопределенность сетки распределения сигналов по нейронам предполагается "бай дизайн". Но если Вы обучите десяток сеток и сделаете им прореживание, то увидите, что рисунок взаимосвязей - тот самый нелинейный ряд о котором Вы упоминали - сложился сам собой, причем близкой или равной одному и тому же. Если конструировать аналог вручную, то Вам как математику, виднее какими приемами прийдется воспользоваться и насколько они трудоемки, чтобы выявить в потоке входных данных те зависимости, которые выявила сеть, и только после выявления этих зависимостей Вы сможете создать свой степенной ряд.

Про комитеты я хотел бы сказать, что их выбирают не по простому принципу N сетей, а только, скажем 10 лучших сетей из сотни полученных. Если продолжать пример с собраниями людей, то там будут заслушиваться мнения только тех, кто более или менее умеет друг друга слушать. Кроме того, Вы забыли видимо, что у нас исходов не 2, а больше. Они на самом деле такие: успех, непроигрышь, проигрышь, неуспех. Так вот, вероятность нужно считать (намеренно упрощаю): непроигрышь(1)*непроигрышь(2)=0.4*0.4=0.02. Т.е. лучшей конфигурацией является не та, где максимальная вероятность прибыли, а та, где минимальная вероятность проигрыша. По аналогии, мы смотрим на показатель просадки. Бессмысленно брать супер прибыльные настройки, если просадка для них равна уже 50%, т.к. это практически гарантирует слив.

 

Повторюсь.

joo писал(а) >>

С учителем обучить сетку возможно только на уже известной нам функции, например на синусоиде. Здесь мы, без зазрения совести, можем скармливать сети следующую за

обучаемой точку в качестве учителя. С рынком такой фокус не пройдет.


Потому что, мы всегда знаем наперед, какая точка будет следующей в синусоиде. Мы знаем будущее синусоиды!

От того и вполне правомерно обучение на исторических (синусоидальных) данных, то есть, обучать с учителем.

Будущего же рынка нам знать не дано, поэтому обучение с учителем превращается в бессмысленный процесс.

 
LeoV писал(а) >>

Что значит для вас "действительно стабильный результат"?

Например эксперта оптимизируем на 2 месяцах истории причё всего 3 параметра, 80% положительных результатов прибыльны на все истории.

С сетями тоже самое...

 
LeoV писал(а) >>

Они могут быть взаимосвязаны, а могут быть и нет - это большой вопрос. Но однозначно то, что минимальная ошибка на OOS не означает и не ведёт к максимальному профиту на реале. Как и максимальный профит на реале не означает минимальной ошибки на нём.

Вообще Вы говорите о стабильности результатов, а не об ошибке, если сеть стабильно распознаёт что-то или предсказывает, и этого предсказания хватает для прибыли, то и на форварде и на реале будет прибыль.

Если ошибка удовлетворительно мала, то ведёт. Что значит удовлетворительно? Для каждой задачи это условие устанавливается отдельно, я знаю только эмперический способ.

 
joo писал(а) >>

Повторюсь.

Потому что, мы всегда знаем наперед, какая точка будет следующей в синусоиде. Мы знаем будущее синусоиды!

От того и вполне правомерно обучение на исторических (синусоидальных) данных, то есть, обучать с учителем.

Будущего же рынка нам знать не дано, поэтому обучение с учителем превращается в бессмысленный процесс.

Если знаем синусоиду и поэтому можем её прогнозировать с помощью сетей, то создайте формулу по сложнее, аналитическая запись Вам будет известна, таким образом его мы тоже сможем прогнозировать. Рынок та же формула, только ещё сложнее и она НАМ не известна...

Причина обращения: