Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 175

 
Mihail Marchukajtes:
Объём в режиме реального времени а также дельту (количество покупателей продавцов) я беру по подписке с кластердельты, стоит 300 рублей в месяц, не так уж и дорого. А объёмы за день смотрю на СМЕ бесплатно. В разделе дневных билютеней, для фунта бюлетень номер 27 для евры 39. Записываю их в файл, индикатор читает фал и выводит на график.
Действительно не дорого. 
 
Mihail Marchukajtes:

Вот вы похаяли Решетова, так и не разобравшись в его работе, а ведь он сделал МЕГА крутую штуку, Рассказать почему????

Он решил одну из важных проблем при построении НС. Это выбор тех предиктов которые дают максимальное обобщение. У меня файл выгрузки насчитывает в себе порядка 40 предиктов, причём треть основные, остальное лаги от этих данных, но Модели оптимизатор строит использую всеголишь 4-5 предиктов. Причём всегда разные. Модели в которых использовалось более 5 предиктов как показывала практика работали не очень, много было значений "незнаю" видать такая модель ходит редко, но метко, и работает дольше, а с учётом того что я оптимизирую модель каждый день, это мне не нужно, ну а количество записей я делаю за последние 5 дней (в соотвествии с объёмом и ОИ) в итоге имею таблицу в 45 столбцов и 30 строк и этого вполне хватает чтобы зарабатывать (как показано на скрине) и не важно как сеть делит на плохие и хорошие, важно чтобы она делала это стабильно. Не редко приходится переворачивать ТС, потому как после тренировки она начинает СТАБИЛЬНО сливать, стоит перевернуть и вуаля, начинаем стабильно зарабатывать, так что как то так.... 

Я промолчу. Нет, я скажу: работу Решетова я не обливал грязью. Просто я не пользуюсь.

Меня реально добивают форумные склоки на пустом месте.
 
J.B:

А придется удивиться:) Работала хорошо на тот момент, про сейчас говорить не смею, так как подневолен, но "слышал от того кто слышал" про квантов с фонда где на входы CNN таки подают по 10к вектора, правда не знаю их недавних ретурнов, но в 2011 у них было на пол ярда$ 12%, что круто, хотя просели на 8% в серединке, но всё же...

Про "профитные модели" на 10 фичах без комментариев)) Всем кто реально стрижет маркет выгодны "гуру" убедительно рассуждающие про то что модели должны быть как можно проще, что бы не пере обучались, что на машках и ББ, можно построить "профитную модель" и тд.  большое им спасибо))

Бред. Намеки более чем странные. Если бы я не строил модели для себя с более чем пристрасным вниманием я бы и не писал тут. Все основано на практике.

Я просто не очень тонко и уже давно намекаю, что сорт спецов работающих в фондах весьма разнообразен. Человек не понимающий разницы в лосс-функкциях для разных задач, что он может делать? Кидаться красивыми словами в форум. По-моему, это все.

Ваши рассуждения не только бывают неверны, но еще и часто неподтверждены. 

Вы можете тут прилюдно сказать (не доказать) хотя бы, какие виды НС с какими свойствами позволяют обработать такое количество фичей безболезненно? Просить вас предоставить какой-то ресерч это я понимаю бесполезно вообще. 

 Может вы ошиблись темой? 
 
Alexey Burnakov:
такое количество фичей

Мне кажется что он имел ввиду просто ряд цен длинной 10000, т.е. фича всего одна (цена, или её приросты). Я так понимаю что для свёрточных сетей это в порядке нормы - подать длинный ряд цен, а дальше она сама при обучении найдёт там и паттерны, и индикаторы, и что угодно.

Но обычно если обучить нейронку на 10000 предикторах это ни к чему не приведёт, согласен.

 
Alexey Burnakov:
1) Бред. Намеки более чем странные. Если бы я не строил модели для себя с более чем пристрасным вниманием я бы и не писал тут. Все основано на практике.

Я просто не очень тонко и уже давно намекаю, что сорт спецов работающих в фондах весьма разнообразен. Человек не понимающий разницы в лосс-функкциях для разных задач, что он может делать? Кидаться красивыми словами в форум. По-моему, это все.

Ваши рассуждения не только бывают неверны, но еще и часто неподтверждены. 

2) Вы можете тут прилюдно сказать (не доказать) хотя бы, какие виды НС с какими свойствами позволяют обработать такое количество фичей безболезненно? Просить вас предоставить какой-то ресерч это я понимаю бесполезно вообще. 

3) Может вы ошиблись темой? 

1) Конечно, конечно… Вы правы, я просто путал народ, ну… выгодно мне это и всем разнообразным работникам хедж-фондов, так что не обижайтесь.

Ладно, раз Вы так ловко меня раскусили, то придется согласиться с Вами, на самом деле во всех хедж-фондах только и занимаются тем, что ищут «паттерны» на валютных парах по одиночке и сравнивают модели по R^2 и взаимной энтропии и потом "сливаем депозиты большими жахами" как и сказано в Вашем профиле, мы все такие, тут Вы правы, "разнообразие" только в том что молчим об этом, секретничаем, но с друг другом сплетничаем, хотя и стыдимся этого.

2) CNN? К тому же я разве утверждал что "фсё" это одна нейронка одного типа? Нет разве технологий сжатия размерностей(PCA, автоэнкодеры и тд и тп.), отбора признаков и тд? Вы хоть представляете сколько потоков данных идет только с насдака если подписаться на всё? А если не только насдак?

3) Вы правы, попытка дезинформации провалилась, пойду сливать агрегированное депо клиентов большими жахами и гадать что же не так, если по R^2 фсе сходится)))))

 

PS: Видел Ваше выступление на kaggle, значит иногда заглядываете в правильные места, конкурс винтона завершился, но есть датасет и Вы можете смоделировать, сабмитнуть предикшены и посмотреть попадаете ли Вы хотя бы в 10 ку первых, тогда и поговорим, а пока продолжайте  разоблачать меня, наша беседа веселит ещё как минимум парочку разнообразных моих коллег, а позитивные эмоции полученные естественным путем особенно важны для трейдера)))

 
мда... ветка тонет в негативе... печально..
 
J.B:
Что надо иметь в багаже чтобы заинтересовать вашу команду? Ну или команду типа вашей?
 

Коллеги! Давайте не ссориться! Я конечно не пример для подражания, но просматриваю с этого форума только эту ветку.

Машинное обучение хоть и дитя статистики, но с экспоненциальной скоростью наполняется эвристиками без достаточных оснований и тем более строгой теории, тобиш "у кого работает тот и прав", это сейчас по большей части алхимия и поэтому спорить в догмах и нюансах выдернутых из контекста не разумно, куда мудрей иметь силу вникнуть в чужие модели и возможно выдернуть из них что нибудь ценное для себя.

 
J.B:

1) Конечно, конечно… Вы правы, я просто путал народ, ну… выгодно мне это и всем разнообразным работникам хедж-фондов, так что не обижайтесь.

Ладно, раз Вы так ловко меня раскусили, то придется согласиться с Вами, на самом деле во всех хедж-фондах только и занимаются тем, что ищут «паттерны» на валютных парах по одиночке и сравнивают модели по R^2 и взаимной энтропии и потом "сливаем депозиты большими жахами" как и сказано в Вашем профиле, мы все такие, тут Вы правы, "разнообразие" только в том что молчим об этом, секретничаем, но с друг другом сплетничаем, хотя и стыдимся этого.

2) CNN? К тому же я разве утверждал что "фсё" это одна нейронка одного типа? Нет разве технологий сжатия размерностей(PCA, автоэнкодеры и тд и тп.), отбора признаков и тд? Вы хоть представляете сколько потоков данных идет только с насдака если подписаться на всё? А если не только насдак?

3) Вы правы, попытка дезинформации провалилась, пойду сливать агрегированное депо клиентов большими жахами и гадать что же не так, если по R^2 фсе сходится)))))

 

PS: Видел Ваше выступление на kaggle, значит иногда заглядываете в правильные места, конкурс винтона завершился, но есть датасет и Вы можете смоделировать, сабмитнуть предикшены и посмотреть попадаете ли Вы хотя бы в 10 ку первых, тогда и поговорим, а пока продолжайте  разоблачать меня, наша беседа веселит ещё как минимум парочку разнообразных моих коллег, а позитивные эмоции полученные естественным путем особенно важны для трейдера)))

1) no comments. Ахинея.

2) ну, так речь про сокращение размерности пошла, во-первых. Это шаги ДО обучения. А про свойства самой сети не услышал..

3) ахинея же. Что-то можете сказать про L1, L2 нормы для лосс-функкции?

На Kaggle то как раз регрессия делалась с фитнесс-функцией L1 weighted. И топовые места были заняты людьми, которые конструировали фичи на прошлых ценовых данных. 

А что вы можете добавить про полученные в ТОПе метрики качества на том соревновании? Или опять треп? Ржет как правило looser...
 
Комбинатор:
Что надо иметь в багаже чтобы заинтересовать вашу команду? Ну или команду типа вашей?
Ответил в личку.