Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 460

 
Mihail Marchukajtes:

Что то ты всё вокруг да около ходишь...... Ты конкретно скажи, приведи пример... Тогда и разговор продолжить можно, а так....

Да нет у него аргументов, если он что-то и нашел, что посчитал ошибкой, и сказал об этом Решетову. А тот в свою очередь не признал это ошибкой,  значит аргументы слабенькие или неверные. Вот и молчит.


Аргументы в студию!

 
Вечное увиливание.  Аргументов в подтверждение своих слов нет.
 
Vizard_:

Мишек, ты то че молчишь? Братана своего поддержи)))

А ты че крякаешь тут, есть че по делу? люди хотя бы чем-то интересным занимаются

пиши ченить годное

 

Это какая-то очень старая версия, и я 100% согласен с Визардом что лучше это не использовать. Модель переобучается, и ещё когда в конце показывает оценку точности на outofsample данных - показывает её с ошибкой, сильно завышая. Я даже в этой теме форума выкладывал пример где модель в инфе после обучения показывала точность под 90% на новых данных, а подставив эти данные в полученную формулу и посчитав результат по формуле хотябы в экселе - в предсказаниях был полный рандом и точность всего 50%

Юрий потом довёл до ума это, добавил комитет из нескольких моделелей, ускорил и назвал всё jPrediction, создал сайт именно под эту модель. Сайта уже нет, попроси у Михаила последнюю версию и исходники.
Имхо вот эта модель получилась нормально, но учитывая медленность работы - в R есть вещи гораздо продуктивнее.

 
Dr. Trader:

Это какая-то очень старая версия, и я 100% согласен с Визардом что лучше это не использовать. Модель переобучается, и ещё когда в конце показывает оценку точности на outofsample данных - показывает её с ошибкой, сильно завышая. Я даже в этой теме форума выкладывал пример где модель в инфе после обучения показывала точность под 90% на новых данных, а подставив эти данные в полученную формулу и посчитав результат по формуле хотябы в экселе - в предсказаниях был полный рандом и точность всего 50%

Юрий потом довёл до ума это, добавил комитет из нескольких моделелей, ускорил и назвал всё jPrediction, создал сайт именно под эту модель. Сайта уже нет, попроси у Михаила последнюю версию и исходники.
Имхо вот эта модель получилась нормально, но учитывая медленность работы - в R есть вещи гораздо продуктивнее.

у меня есть, я тоже думаю что переобучается, просто ссыль на описалово скинул
 
Vizard_:

А че орешь тогда? Вроде не дурак. Визард всегда по делу пишет, даже когда стебется)))
Погремуху выкидывай, не трать на нее время. Инструменты и возможные их комбинации вчера озвучил.
На Мишека время не трать, он пишет одно подразумевает другое, а рез на оос третий...


да я шепчу.. ) не нашел других сообщений, удалили модераторы что-ли
 

Я то в поряде... Просто отлучался не надолго.... 

Действительно то что описанно на сайте гугла, это его старая версия.... НО!!!!!!!

Что обосновательно доказать что JPrediction переобучивается и работает не правильно давайте проведём эксперимент. Ведь всё познается в сравнении. Именно это я и хотел сделать.

Предположим есть датасет, обучаем его и даём этой модели поработать какоето время и посмотрим уже потом на результат...

Я тренирую Датасет на JPrediction, Вы тренируете этот же датасет на своих ИИ, выбираем интервал и смотрим какая модель проработает дольше и лучше.....

Именно это я и хотел сказать когда просил натренировать мой файл данных на Ваших ИИ.

А так.... не понятно по какому критерию все решили что предиктор переобучивается????? Откуда ты это взял, Визард. У тебя есть конкретные доказательства что Оптимизатор не работает???? Есть???? Приведи пример.....

Точно также я могу натренировать Ваш датасет, а вы потом у себя посмотрите, какая модель отработает лучше. Та что натренировали ВЫ или та что натренировал Я с помощью оптимизатора....

 
Vizard_:

Нет. Решетов не врубился, что нельзя было по известной формуле нормализацию жестко зашивать. Надо было сделать
крыжик для отключения. Случайная разбивка тож под вопросом ну и надо было хотя бы флаг воткнуть, но лучше откл и т.д...

А ну да, я про разбивку тоже писал. Так то для обычных данных ок, но конкретно для форекса нужно было какое-то подобие валк-форварда делать. Или хотя бы просто поделить на 2 части по времени - тренировать до конкретной даты, тестировать после даты.

А что с нормализацией не так? Для нейронки имхо вообще безразлично в каком диапазоне вход, правильно инициализированные веса всё переварят. Нормализация не мешает, но и особо не помогает.
Хотя интуиция говорит что если вход содержит позитивные и негативные числа, то лучше не сдвигать ноль. А R говорит что шкалировать предикторы нужно не в 0-1, а чтоб sd(x) = 1

 
Vizard_:

Нет. Решетов не врубился, что нельзя было по известной формуле нормализацию жестко зашивать. Надо было сделать
крыжик для отключения. Случайная разбивка тож под вопросом ну и надо было хотя бы флаг воткнуть, но лучше откл и т.д...


По поводу случайной разбивки готов поспорить. 

Когда мы делаем прогноз с помощью ИИ тогда ДА, последовательность данных имеет значение из прошлого в будущее, мы ведь делаем прогноз.

А когда речь идет о классификации, то последовательность данных не играет абсалютно никакой роли, потому как у нас есть область, которую нужно разделить и найти ту самую гиперплоскость которая будет делать это лучше всего в надежде что найденный закон будет действовать на протяжении ещё какогото времени.

Как и тот закон, который мы нашли при построении модели прогнозирования.......

 

Не говоря уж про то что из описания видно, что модель целенаправленно обучается тем примерам, которые её выучить сложнее всего, отбрасывая те которые учатся легко. Ну это я так... вычитал из описания.... если я правильно понял...

Там ещё при разбиении выборки на обучающую и тестовую делается типа того что два ближайших значения попадают в разные выборки. Я так понимаю если мы имеем два одинаковых вектора то они попадут в разные выбоки, один в обучающую, другой в тестовую... Как то так...

Причина обращения: