Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 628

 
Nikolay Demko:

Нет, я говорил что нельзя смешивать данные о рынке с результатами деятельности сети.

Другими словами ваша сеть обрабатывает котировки, а вы в неё пихаете данные о том удачна была прошлая сделка или нет, это неоднородные данные их нельзя смешивать.

И вообще хорошо сеть отработала или нет, это дело отдельного блока (я привык как в ГА называть её фитнес-функция, в НС используется название функция ошибки, но суть таже).

Предположим вы обучаете сеть бекпропом, получается у вас ошибка становится частью данных, масло маслянное. Надеюсь поняли о чём я.

Да, понял.. сначала я хочу обучать ее просто в оптимизаторе МТ5 - это даст возможность сразу же получать результаты сделок и эквити, и отдавать обратно в сетку, без танцев с бубнами

ну а насчет архитектуры - так можно будет переделать, но у меня пока нет других вариантов, потому что даже этот еще не "пощупал". То что он покажет хоть какие-то результаты это точно, а вот какие - вопрос :)

 
Maxim Dmitrievsky:

про это я все знаю, кросс-валидация это тоже подгонка но более изощренная

рекуррентки тоже циклятся сами на себя и иногда не могут обучиться

и не очень понял - Вы говорите что нельзя подавать выходы сети на входы, и тут же пишете заюзать рекуррентку.. :) а она только этим и занимается, что хавает свои ыходы

рекуррентка это, в простейшем случае, обычная MLP, которая поедает сама себя

По кросс-валидации согласен но есть более изощрённые методы. При этом кросс-валидация даёт приемлемые результаты не смотря на простоту метода.

Хотя если брать в целом то НС и есть подгонка. Универсальный апроксиматор, и пока мы находимся на той стадии развития науки о НС где достоверно не установлено как найти точку поле которого можно утверждать что НС выучила зависимость, а не подогналась под данные.

В этом проблема представления сложной функции одного переменного множеством простых функций от многих переменных.

И если вы решите эту задачу то вы фактически построите ИИ.

 
Nikolay Demko:

По кросс-валидации согласен но есть более изощьрённые методы.

Хотя если брать в целом то НС и есть подгонка. Универсальный апроксиматор, и пока мы находимся на той стадии развития науки о НС где достоверно не установлено как найти точку поле которого можно утверждать что НС выучила зависимость, а не подогналась под данные.

В этом проблема представления сложной функции одного переменного множеством простых функций от многих переменных.

И если вы решите эту задачу то вы фактически построите ИИ.

Это все слишком сложно что бы одновременно представить, тем более представить все связи в НС и как там что будет друг с другом взаимодействовать.

ИИ нам не нужен, а вот хоть какая-то рекация на изменения рынка не помешала бы, с некоторой "памятью"

 
Maxim Dmitrievsky:

Это все слишком сложно что бы одновременно представить, тем более представить все связи в НС и как там что будет друг с другом взаимодействовать.

ИИ нам не нужен, а вот хоть какая-то рекация на изменения рынка не помешала бы, с некоторой "памятью"

Если вам не нравятся котята, может вы просто не умеете их готовить ))

НС апроксимирует, и даже обобщит любые данные, главное чтоб в данных содержалось то что вы ищете.

Отсюда следует что не менее важно кроме выбора типа НС ещё и правильно приготовить ей данные.

Задача как видите взаимозависимая, какие данные нужно подавать зависит от типа НС, а какую НС выбрать зависит от данных которые вы ей приготовили.

Но эта задача хоть и замкнута решаема, напримет в ГА используется тоже самое, изначально алгоритм ничего не знает о данных, постепенным раздёргиваени задачи она сходится к робастному решению.

Так и тут, систематезируйте свои исследования, ведите журнал, и всё у вас получится.

 
Maxim Dmitrievsky:

Да, понял.. сначала я хочу обучать ее просто в оптимизаторе МТ5 - это даст возможность сразу же получать результаты сделок и эквити, и отдавать обратно в сетку, без танцев с бубнами

ну а насчет архитектуры - так можно будет переделать, но у меня пока нет других вариантов, потому что даже этот еще не "пощупал". То что он покажет хоть какие-то результаты это точно, а вот какие - вопрос :)

Максим, ну, не надо обучать сеть в оптимизаторе МТ. Обучалка НС и оптимизатор - это совершенно разные алгоритмы с совершенно разными критериями оптимальности.

Если Вы еще пользуете ту структуру НС, которую раньше рисовали, то она простовата-слабовата для рынка. Я уже писал, что у меня получилось только когда я дошел до структуры 15-20-15-10-5-1. И это только для одного типа сделок. И еще, абсолютно все делал методами, описанными Хайкиным, т.е., ничего нового, никаких наворотов.

Более простые структуры плохо обучались.

 
Yuriy Asaulenko:

Максим, ну, не надо обучать сеть в оптимизаторе МТ. Обучалка НС и оптимизатор - это совершенно разные алгоритмы с совершенно разными критериями оптимальности.

Если Вы еще пользуете ту структуру НС, которую раньше рисовали, то она простовата-слабовата для рынка. Я уже писал, что у меня получилось только когда я дошел до структуры 15-20-15-10-5-1. И это только для одного типа сделок. И еще, абсолютно все делал методами, описанными Хайкиным, т.е., ничего нового, никаких наворотов.

Более простые структуры плохо обучались.

а ничто не мешает допилить еще одну к этой. Суть то не в глубине сеточки а в том что бы сделать ее с фидбэками. Это моя блажь сейчас, типа художник и так вижу :) по классике не интересно

прикрутить все это к сетке с бэкпропом это надо заколебаться в конец.. луче по простому :)

потмоу что это сетка обучается пошагово.. сделала шаг - получила фидбэк, и так далее, пока вся совокупность действий и результатов не будет обобщена

можно просто взять поменьше истории и все будет нормъ, а масштабировать потом уже

 
Maxim Dmitrievsky:

а ничто не мешает допилить еще одну к этой. Суть то не в глубине сеточки а в том что бы сделать ее с фидбэками. Это моя блажь сейчас, типа художник и так вижу :) по классике не интересно

прикрутить все это к сетке с бэкпропом это надо заколебаться в конец.. луче по простому :)

потмоу что это сетка обучается пошагово.. сделала шаг - получила фидбэк, и так далее, пока вся совокупность действий и результатов не будет обобщена

Так, я писал, что через каждые N эпох останавливал БП, прогонял тесты и продолжал обучать БП дальше. Я понимаю, сутки обучения это долго, но этот разговор шел пару месяцев назад.

Но дело, конечно, художника.) Не стреляйте в пианиста, он играет как умеет.

ЗЫ На самом деле данных для обучения надо не много, а очень много. На малой объеме выборки НС ничего толкового не выделит.

 
Yuriy Asaulenko:

Так, я писал, что через каждые N эпох останавливал БП, прогонял тесты и продолжал обучать БП дальше. Я понимаю, сутки обучения это долго, но этот разговор шел пару месяцев назад.

Но дело, конечно, художника.) Не стреляйте в пианиста, он играет как умеет.

да тут больше слов, там переделать за 2 часа )) вечером сделаю сегодня мб

все чего нужно добиться - это чуть более устойчивых и понятных результатов на форварде, а так то все работает

 
Maxim Dmitrievsky:

да тут больше слов, там переделать за 2 часа )) вечером сделаю сегодня мб

все чего нужно добиться - это чуть более устойчивых и понятных результатов на форварде, а так то все работает

Я там дописал пред пост, но т.к. страница сменилась продублирую.

ЗЫ На самом деле данных для обучения надо не много, а очень много. На малой объеме выборки НС ничего толкового не выделит.

 
Nikolay Demko:

Я конечно прошу прощения за нападку, но Вы свое сообщение перечитайте. Выглядит достаточно неоднозначно.
А вообще Вы правы, но только относительно первого слоя нейросети. Если обратная связь идет на второй и последующие слои, либо вообще на параллельные слои сети, тогда Ваше высказывание потеряет силу.
В таком случае Максиму следует подумать об углублении сети и подводу обратной связи к скрытым слоям.

И что касается:

Задача как видите взаимозависимая, какие данные нужно подавать зависит от типа НС, а какую НС выбрать зависит от данных которые вы ей приготовили.
То же самое. МЛП давно не актуальны, давно в тренде глубокое обучение. И одна сеть вполне способна обработать разнородные данные, главное архитектура.
Причина обращения: