Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1016
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Привел ссылку из-за таблицы: свежий взгляд на предикторы и как развитие мысли Александра про АКФ.
Свежий, вы серьезно? старо как .. мамонта. Чем это лучше фурье или другого разложения или коэф-тов авторегрессии и ее значений или цфильтров
ничем, ни что из приведенного не работает
Свежий, вы серьезно? старо как .. мамонта. Чем это лучше фурье или другого разложения или коэф-тов авторегрессии и ее значений или цфильтров
ничем, ни что из приведенного не работает
Свежо для этой ветки.
Получается, что пробовали?
Что конкретно? Для какой целевой?
Свежо для этой ветки.
Получается, что пробовали?
Что конкретно? Для какой целевой?
пробовал разные разложения, авторегрессию (от акф ничем не отличается почти) вместе с коэффициентами тоже.
Работает на хорошо коррелирующих рядах (2-й ряд берем за фичу, строим VAR например между инструментами, берем за предиктор обучаем модель). Ну как работает - пока корреляция не нарушается.
на 1-м инструменте работает так же как и многие другие предикторы, с оверфитом. Целевые разные автоматом подбираются.
Спасибо, интересует не сколько членство, которое как я понял сопряжено со значительными трудностями, а взглянуть на уровень, который вероятно не менее значителен.
"членство" это Вы верно сказали))) всякое членство как правило результат случайного знакомства и\или стечения обстоятельств, а там несколько продвинутых парней импровизировали свой "куклусклан" со своей культурой и ритулами, я там только пару месяцев, пока сверхценной инфы не намотал на ус, но сам факт, даже хотя бы условной закрытости экосистемы, большой плюс для подобных дисскусий и обмена запчастями для своих алготрейдерских инфраструктур, но не думаю что с такой дедовщинкой оно продержится долго, нада поискать ещё подобные групки, где не чмырят геков так жестко
Вы писали что в этой группе рассматривается унифицированное представление моделей МО, вот эти модели и хотелось бы посмотреть.
Да были высказаны такие мысли в слух и не только там я об этом слышал кстати, на элит-трейдере говорили припоминаю, может и здесь чето подобное слышал, предлагаю в личке обсудить если хотите как можно устаканить формат обмена моделями, у меня тоже есть мысли на этот счет, собственно каждый кодер знает как по своему это сделать, вопрос только в стандартах, что то типа паттерна fullstack C++ dll-грааля, который бы принимал сырые данные, а выдавал прогнозы и чтобы в пару строчек кода моржно подключить из пайтона шарпа и тп. кто где заморачивается.
Для сравнения готов так же показывать свои, скромные наработки, я обученные модели сериализирую в бинарный или текстовый формат и в виде исходного кода.
В личку всё кидайте ну или тему здесь создайте отдельную, в этой не нужно тут "глубокая" мусорка
Женя:
Вы писали что в этой группе рассматривается унифицированное представление моделей МО, вот эти модели и хотелось бы посмотреть.
Да были высказаны такие мысли в слух и не только там я об этом слышал кстати, на элит-трейдере говорили припоминаю, может и здесь чето подобное слышал, предлагаю в личке обсудить если хотите как можно устаканить формат обмена моделями, у меня тоже есть мысли на этот счет, собственно каждый кодер знает как по своему это сделать, вопрос только в стандартах, что то типа паттерна fullstack C++ dll-грааля, который бы принимал сырые данные, а выдавал прогнозы и чтобы в пару строчек кода моржно подключить из пайтона шарпа и тп. кто где заморачивается.
Есть PMML например.
https://ru.wikipedia.org/wiki/Язык_разметки_прогнозного_моделирования
Для R есть библиотека (называется тоже pmml) которая может конвертировать в этот формат большинство популярных моделей.
можно так:
1) обучить модель в R как обычно
2) сконвертировать модель в pmml
3) pmml модель сохранить в xml файл и делиться им
Когда-то хотел сделать скрипт для mql чтоб он мог читать xml файлы с pmml моделями, тогда встроить в советник предсказание обученной gbm из r можно парой строк кода (инклуд скрипта + pmml как ресурс). Но руки так и не дошли сделать это.
Это не подоходит если нужно саму модель сохранить в секрете, ведь в xml файле будут прописаны веса нейронки или ветви леса.
Для полной секретности устройства модели можно воспользоваться идеей с одного datascientist конкурса - они требуют предоставить файл с сотнями тысяч предсказаний. Дальше они используя этот файл могут интерполировать предсказания для получения прогноза рядом с имеющимися.
Есть PMML например.
https://ru.wikipedia.org/wiki/Язык_разметки_прогнозного_моделирования
Для R есть библиотека (называется тоже pmml) которая может конвертировать в этот формат большинство популярных моделей.
можно так:
1) обучить модель в R как обычно
2) сконвертировать модель в pmml
3) pmml модель сохранить в xml файл и делиться им
Когда-то хотел сделать скрипт для mql чтоб он мог читать xml файлы с pmml моделями, тогда встроить в советник предсказание обученной gbm из r можно парой строк кода (инклуд скрипта + pmml как ресурс). Но руки так и не дошли сделать это.
Это не подоходит если нужно саму модель сохранить в секрете, ведь в xml файле будут прописаны веса нейронки или ветви леса.
К сожалению секретность тут основное требование))) Идет речь о протоколе обмена обфусцированными С++ моделями принимающими на вход сырые данные с биржи а выдающие прогнозы, чтобы можно было взять такую с описанием её входов и выходов, поюзать к примеру месяц или на сколько она рассчитана без модификаций(дообучение и тп.) и сделать выводы(покупать, арендовать и тд)
Желательно что бы это была просто папка с файлами, разные бинарники в которых разобраться в деталях не рентабельно.
Для полной секретности устройства модели можно воспользоваться идеей с одного datascientist конкурса - они требуют предоставить файл с сотнями тысяч предсказаний. Дальше они используя этот файл могут интерполировать предсказания для получения прогноза рядом с имеющимися.
Если Вы про numerai то их подход не подойдет, в данном случае, под "моделью" имеются в виду полный комплекс преобразований сырых данных в прогноз, в первую очередь это признаки, у numerai студенческий конкурс для маркетинга ихней монетки(NMR), это не может быть как то связанно с реальными рынками, в последнюю очередь хедж-фонду понадобится отдавать на аутсорс чистую классификацию. Если Вы про другой конкурс то пожалуйста расскажите.
numerai, да.
Их способ не лишён смысла. Я пробовал своими моделями предсказывать сотни тысяч рандомных инпутов. Потом для прогноза "чёрным ящиком" - искал самую близкую по координатам точку, и её результат использовал как сам прогноз. Такой прототип сработал, но для реала можно и улучшить - найти 3 самые близкие точки, и какой-нибудь триангуляцией найти средний результат. Но это расчётозатратно, даже с opencl видюхой может уйти пара секунд на прогноз.
Вводится некий дополнительный параметр соответствующий состоянию процесса и от которого зависят параметры модели. Этот параметр тоже прогнозируется.
Это очень похоже на память в RNN (рекуррентные нейронные сети)
На вход модели подаются предикторы и ещё одно значение (память). Модель в прогнозе выдаёт два числа - сам таргет, и новое значение памяти, которое будет использовано вместе с предикторами в следующем пронозировании. Потому и рекуррентная сеть, что её выход будет использован как вход в в следующий раз, и так по кругу каждый раз.
RNN на форексе очень оверфитятся, это плохо, сделать всё по учебнику и поставить торговать нельзя.
Но для модели с всего парой параметров она имеет вполне хорошую точность, сравнимую с обычной нейронкой с большим скрытым слоем, это меня до сих пор поражает.
Это очень похоже на память в RNN (рекуррентные нейронные сети)
На вход модели подаются предикторы и ещё одно значение (память). Модель в прогнозе выдаёт два числа - сам таргет, и новое значение памяти, которое будет использовано вместе с предикторами в следующем пронозировании. Потому и рекуррентная сеть, что её выход будет использован как вход в в следующий раз, и так по кругу каждый раз.
RNN на форексе очень оверфитятся, это плохо, сделать всё по учебнику и поставить торговать нельзя.
Но для модели с всего парой параметров она имеет вполне хорошую точность, сравнимую с обычной нейронкой с большим скрытым слоем, это меня до сих пор поражает.
Спасибо, действительно похоже.