Нейроторговцы, не проходите мимо :) нужен совет - страница 7

 
Summer:
..

Первый рисунок, если я правильно понял что на нем показано, соответствует идеологии Перетекающих Паттернов.

 
alexeymosc:

ИМХО - тестовая выборка для контроля обучения сети необходима.

Оно может и так, только из чего ее взять без потери времени?

Mathemat:

отрезок В неявно участвует в обучении, т.к. В определяет окончание обучения по минимуму ошибки)

В моем случае неприменимо за отсутствием обучения как такового. Можно разве что по результатам перенастроить сеть.

Figar0:

А почему пары?) Попробуйте какие-нибудь индексы, золотишко... Интересно что там получится.

Скорее всего в пределах спреда. попробую золото. Где взять нормальную историю для индексов? Склейка ведь не торгуется.

 

Все забываю спросить, а как у ТС будет выглядеть тест на периоде обучения? Интересно "насколько" она обучается этим МНК. Я понимаю, что МНК выдает максимально возможный результат исходя из того что ему подсунуто в систему уравнений (чувствую без суровой матричной алгебры там не обошлось:)). Просто как этот максимум будет выглядеть если его перенести на торговлю? Насколько там все гладко?

Возможно такую картинку сделать тоже хоть за месяц из 25 родного для нее периода обучения? То что выдает НС на периоде обучения тоже немаловажно и о многом говорит.

 
Figar0:

Все забываю спросить, а как у ТС будет выглядеть тест на периоде обучения?

https://www.mql5.com/ru/forum/132692/page2#454397

Вторая картинка, это за год на тестовой выборке.

 
TheXpert попробуйте, как тут уже говорилось, протестировать на данных из другого источника. И проверьте на заглядывание в будущее. Всё это очень похоже на самообман...
 
TheXpert:

Оно может и так, только из чего ее взять без потери времени?

В моем случае неприменимо за отсутствием обучения как такового. Можно разве что по результатам перенастроить сеть.

Скорее всего в пределах спреда. попробую золото. Где взять нормальную историю для индексов? Склейка ведь не торгуется.

У меня сейчас на демо-счете стоит несколько нейросетевых советников. Сети строю в статистическом пакете, к советникам подключаю ddl-ки.

Так вот, я прямо всем существом уже чувствую, что вопросы подбора: размера обучающей выборки, размера контрольной и способа ее формирования и размера периода торговли вне выборки - очень важны. Результаты получаются разные, в основном есть возможноть улучшить просадку. Хотя пока (тьфу-тьфу) система работает в плюс, но можно же сразу определиться с оптимальными параметрами и работать. Для этого надо, конечно, форвард-тесты сделать, время потратить, но я думаю, что результат того стоит.

 
Belford:

TheXpert попробуйте, как тут уже говорилось, протестировать на данных из другого источника.

Что это значит? На той же истории другого ДЦ?

И проверьте на заглядывание в будущее. Всё это очень похоже на самообман...

Тщательнейшим образом первым делом. Я бы даже сказал, что меня оскорбляют такие советы. И что именно похоже на самообман?

alexeymosc:

Так вот, я прямо всем существом уже чувствую, что вопросы подбора: размера обучающей выборки, размера контрольной и способа ее формирования и размера периода торговли вне выборки - очень важны. Результаты получаются разные, в основном есть возможноть улучшить просадку. Хотя пока (тьфу-тьфу) система работает в плюс, но можно же сразу определиться с оптимальными параметрами и работать. Для этого надо, конечно, форвард-тесты сделать, время потратить, но я думаю, что результат того стоит.

Рад за Вас, но по сути ничего. Может, поделитесь опытом?
 
TheXpert:

Что это значит? На той же истории другого ДЦ?

Тщательнейшим образом первым делом. Я бы даже сказал, что меня оскорбляют такие советы. И что именно похоже на самообман?

Рад за Вас, но по сути ничего. Может, поделитесь опытом?


Пару статей на обсуждаемую тему: http://www.google.com/url?sa=t&source=web&cd=1&ved=0CBwQFjAA&url=http%3A%2F%2Fmadis1.iss.ac.cn%2Fmadis.files%2Fpub-papers%2F2005%2Flncs-05-whuang-1.pdf&ei=oYOVTarTOYvzsgaEsuGzCA&usg=AFQjCNHZycjABySFlxSQ4sFAVgNK4FXrpQ&sig2=t1p0qXv35VTdnuhetNaTtQ

http://www.google.com/url?sa=t&source=web&cd=3&ved=0CCgQFjAC&url=http%3A%2F%2Fciteseerx.ist.psu.edu%2Fviewdoc%2Fdownload%3Fdoi%3D10.1.1.23.6904%26rep%3Drep1%26type%3Dpdf&rct=j&q=An%20Empirical%20Analysis%20of%20Data%20Requirements%20for%20Financial%20Forecasting%20with%20Neural%20Networks&ei=K4SVTdvoFsbDtAbl9dy7CA&usg=AFQjCNHAlj21APE3Nnc9MJQWI9EUYYR7Ug&sig2=Mbp5sVdyCDOhnG3lHkQiLw

Если изложить результаты исследований в кратце: не нужно брать очень большую выборку для обучения. Для Day1-таймфрейма подходит 1-3 года... Для часовых баров я беру до 1 года, для 15-минуток максимум полгода, для 5-минуток - квартал. Данные беру от торгового сервера, подгружаю Page Up-ом.

У вас два года для 15-минутного таймфрейма, это может быть излишним, хотя я читал, что Вы пробовали более короткие периоды. Думаю, не больше полугода - хватит.

Про тестовую (в русской литературе, а в английской - валидационную) выборку напишу попозже, на выходных хочу провести ряд экспериментов. Общие соображения: если тестовую выборку брать перед периодом торговли, нейросеть будет производить "тонкую подстройку" под этот период, обучаясь при этом на большем пространстве примеров. Плюс - так как тестовая выборка не смешана с обучающей, мы даем сети данные, которые она даже в приближенном виде еще не видела и эти данные, можно сказать, отражают актуальное состояние рынка. Если тестовую выборку смешать с обучающей, ошибка на ней получается, чаще всего, меньше, ибо сеть видит примеры, окружающие примеры тестовой выборки и значит алгоритм находит более глубокие минимумы ошибки - но не факт, что на новых данных будет достугнут хотя бы похожий результат. Это я лично получал и наблюдал неоднократно.

 
alexeymosc:

Если изложить результаты исследований в кратце: не нужно брать очень большую выборку для обучения.

Давайте отвлечемся от обучающей выборки, я не рассказывал полной схемы построения, с ней все в порядке.

Общие соображения: если тестовую выборку брать перед периодом торговли, нейросеть будет производить "тонкую подстройку" под этот период, обучаясь при этом на большем пространстве примеров. Плюс - так как тестовая выборка не смешана с обучающей, мы даем сети данные, которые она даже в приближенном виде еще не видела и эти данные, можно сказать, отражают актуальное состояние рынка.

И чем это отличается от расширения окна обучающей выборки? Вы говорите в контексте своей узкой реализации. У меня реализация принципиально отличается, поэтому я местами тупо не понимаю о чем речь.

Что значит смешана и не смешана? Чем достигается смешение? Какая "тонкая подстройка" если сеть этих данных в глаза не видела?

Если тестовую выборку смешать с обучающей, ошибка на ней получается, чаще всего, меньше, ибо сеть видит примеры, окружающие примеры тестовой выборки и значит алгоритм находит более глубокие минимумы ошибки - но не факт, что на новых данных будет достугнут хотя бы похожий результат. Это я лично получал и наблюдал неоднократно.

здесь я вообще в ступоре. может не стоит развивать это направление темы?
 
TheXpert:

Что это значит? На той же истории другого ДЦ?


Желательно на той же истории, но от разных поставщиков котировок.

Котировки ДЦ(и MetaQuotes тоже) брать не стоит, т.к. младшие таймфреймы, особенно 1999-2005 годы, очень плохого качества.

Эти котировки сглаживались, причём не скользящим окном, а сразу на всей истории. То есть происходит заглядывание в будущее, которое заложено уже в сами котировки. Нейронные сети это находят без проблем.
Причина обращения: