Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 302

 
Андрей:

Интересная ветка. Много флуда, но есть и толковые мысли. Спасибо.


+
 
Alexander Ivanov:
))) Главное общение и процесс. Вроде уже некоторые создают нейронные боты. Попробовать бы .

К сожалению очень высок порог входа в тему. Сама область МО уже достаточно старая и только количество различных ветвей и методов уже стремится к бесконечности.

И если раньше не занимался, то можно вообще утонуть в этом море информации.) А выхватывать кусками не хочется, все таки нужен какой-то системный подход к снаряду.

Но вот какой либо скомпонованной систематизирующей инфы пока не нашел.

 
СанСаныч Фоменко:


Для меня ошибка предсказания не является главной проблемой. Для меня главной проблемой является переобучение модели. Или у меня имеются пусть слабые доказательства, что модель НЕ переобучена, или модель вообще не нужна.

Много раз писал на этой ветке (и на других тоже) про диагностирование переобученности и инструменты борьбы с переобученностью. Если кратко, то это очистка входных предикторов от шума, а сама модель имеет второстепенное значение.

Все остальное меня не интересует, так как любой результат без соображений о переобученности - просто так получилось, сейчас, может быть завтра, а после завтра слив депо.

Ну так переобученность это когда расходится скор на лерне и тесте, если на тесте(вне обучающей выборки) у Вас хороший скор то всё ок. В каком то смысле оверфита вообще нельзя избежать, его только  можно снизить до приемлемого уровня.


PS: ув. Mihail Marchukajtes было предложено доказать крутизну классификатора Решетова, можете тоже попробовать, интересно сможет ли кто выжать с этих данных более 65% accuracy)))

 
toxic:

Ну так переобученность это когда расходится скор на лерне и тесте, если на тесте(вне обучающей выборки) у Вас хороший скор то всё ок. В каком то смысле оверфита вообще нельзя избежать, его только  можно снизить до приемлемого уровня.


PS: ув. Mihail Marchukajtes было предложено доказать крутизну классификатора Решетова, можете тоже попробовать, интересно сможет ли кто выжать с этих данных более 65% accuracy)))


Тестер - это некоторая финишная работа. А нужны доверительные интервалы результативности ТС. 
Yuriy Asaulenko:

К сожалению очень высок порог входа в тему. Сама область МО уже достаточно старая и только количество различных ветвей и методов уже стремится к бесконечности.

И если раньше не занимался, то можно вообще утонуть в этом море информации.) А выхватывать кусками не хочется, все таки нужен какой-то системный подход к снаряду.

Но вот какой либо скомпонованной систематизирующей инфы пока не нашел.


Это не так.

Системность - это использование ВСЕГДА: подготовки исходных данных, подгонки модели (моделей) и оценки этой модели.

В первом приближении это все дает rattle - можно увидеть и поиграть. Если взять мою статью, то трудозатраты минимальны (пару часов на все), так как в ней не только инструкция, но и данные для упраженний.

 
Yuriy Asaulenko:

К сожалению очень высок порог входа в тему. Сама область МО уже достаточно старая и только количество различных ветвей и методов уже стремится к бесконечности.

И если раньше не занимался, то можно вообще утонуть в этом море информации.) А выхватывать кусками не хочется, все таки нужен какой-то системный подход к снаряду.

Но вот какой либо скомпонованной систематизирующей инфы пока не нашел.

Наш мир устроен так, что прибыльности темы - монотонная функция высоты порога входа в тему. Чем выше порог входа(не обязательно концептуальной сложности, может и по баблу порог, социальным связям, географическому положению и тп.) тем потенциально прибыльней дело.


За что легко взяться многим, как правило мало стоит и не способно даже прокормить взрослого человека, не говоря о всяких излишествах.

 
toxic:

Наш мир устроен так, что прибыльности темы - монотонная функция высоты порога входа в тему. Чем выше порог входа(не обязательно концептуальной сложности, может и по баблу порог, социальным связям, географическому положению и тп.) тем потенциально прибыльней дело.

За что легко взяться многим, как правило мало стоит и не способно даже прокормить взрослого человека, не говоря о всяких излишествах.

Это безусловно так. Однако высокий порог входа увеличивает и разного рода риски. Не обязательно финансовые.
 
toxic:

За что легко взяться многим, как правило мало стоит и не способно даже прокормить взрослого человека....

++

а точнее вообще безперсективняк

 
Я вот так наблюдаю за веткой и понимаю что ее больше нет...
 
mytarmailS:
Я вот так наблюдаю за веткой и понимаю что ее больше нет...

Удивителен сам факт её существования)))

Тема такая о которой вредно говорить в слух, во всех подробностях, так что...

 
СанСаныч Фоменко:

Это не так.

Системность - это использование ВСЕГДА: подготовки исходных данных, подгонки модели (моделей) и оценки этой модели.

В первом приближении это все дает rattle - можно увидеть и поиграть. Если взять мою статью, то трудозатраты минимальны (пару часов на все), так как в ней не только инструкция, но и данные для упражнений.

Под системным подходом я, все таки, понимаю понимание того, что делаешь и, соответственно, возможность планирования и прогнозирования результатов своих действий.

Спасибо за статью. Т.к. ни с каким конкретным ПО незнаком, то для новичка самое оно - просто и понятно. Вот только не понял какой метод используется, регрессионный или классификационный?
Естественно, сразу начал примерять к своим системам. Если какой либо вопрос затруднит, то Бог с ним, выяснится по ходу пьесы.

1. я не использую свечи для входа выхода - только поток котировок, а свечи только на истории начиная с предыдущей свечи. На обучении еще ладно, пусть свечами учится, а вот как заставить Rattle глотать поток котировок внутри текущей свечи пока загадка. При этом поток свечи еще должен как-то анализироваться.

2.Что делать с перестраивающимися предикторами? Например с линиями регрессии и сигмами. Их даже в историю не подставишь (для обучения), нужны функции, вычисляющие их на лету, и убирающие следы предыдущих построений из истории.

3. Аналогично - мерцающие предикторы, которые существуют не всегда и строятся из определенных точек ряда, и в общем тоже могут перестраиваться по ходу пьесы.

4 Вопрос нормирования предикторов по п.2 и 3 - оно принципиально невозможно.

А история по предикторам должна вычисляться по ходу как обучения, так и работы.

Пока сплошные непонятки.

Причина обращения: