Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2830
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Есть полный перебор, а есть оптимизация. Она нужна для сокращения времени поиска оптимального решения. Поскольку это так, то это всегда компромисс. Можно оптимизировать методом стохастического градиента и получить результат лучше, чем через adam, но пожертвовав временем. И приходится выбирать. Для каких-то задач точность может оказаться важнее скорости, например повысить матожидание ТС.
Важный вопрос - что оптимизировать. Хотелось бы оптимизировать осмысленные критерии завязанные на прибыль, просадку, волатильность и тд.
Полный перебор - лучший способ оптимизации) Жаль не всегда применимый)
Важный вопрос - что оптимизировать. Хотелось бы оптимизировать осмысленные критерии завязанные на прибыль, просадку, волатильность и тд.
Полный перебор - лучший способ оптимизации) Жаль не всегда применимый)
я бы процитировал лозунг "бороться и искать - найти и перепрятать"
задавать как кастомную метрику любой критерий, в частности вот эти стандартные. Оптимизировать все равно по логлосс будет, но останавливаться будет по этим кастомным, что, наверное, имеет какой-то смысл
и действительно имеет, потому что останов в том же бустинге всегда по какому-то кастовому критерию типа accuracy
Подробно вопрос не изучал. Идея вроде несложная, но полно технических тонкостей в способах реализации.
Тут еще вопрос что иметь ввиду под поиском максимума в зашумленной функции..
Как я понял определение - "оптимизация зашумленной функции" это типа имееться в виду что просто функция сложной формы и в ней тяжело искать максимум, градиентные алгоритмы не применимы ну и выводы далее.. Те грубо говоря ниче страшного , применил алг. глобальной оптимизации и он пошел искать глобальный максимум...
А я вот смотрю по другому , я хочу найти максимум шумной функции но с удаленным шумом, те не глобальный максимум в шумной функции, а глобальный максимум в обезшумленой функции..
(это мой вопрос) И это уже не тривиально, ведь функция то неизвесна, и параметры шума тоже..
1. Вопрос Дика - совершенно правомерный и правильный вопрос. Я не использую НС, но я точно знаю, что любая функция в любом пакете R обязательно содержит ссылку на автора алгоритма, а для серьезных алгоритмов, ссылку на статью/книгу, в которой изложен алгоритм, реализованный на R. Так как Вы хорошо знакомы с НС, то, если бы Вы пользовались R, то могли поискать в R соответствующий тип НС и найти соответствующую ссылку, по которой описан соответствующий алгоритм, найти дискуссию по алгоритму, выяснить все нюансы профессионалов ... и ответить Дику на самом высоком профессиональном уровне, а не мямлить что-то неприличное.
2. R по названию: язык статистики и графики. Суть R раскрывает рубрикатор его справочного аппарата.
Здесь перечень тем, который покрывают пакеты R. Одной из тем является машинное обучение.
Здесь перечень пакетов, относящихся к МО.
Еще несколько лет назад можно было встретить конкурентов R среди других специализированных языков статистики. Например, SPPS, на сегодня не нашел. R остался единственным языком статистики, поддерживается и модерируется, имеет огромное число зеркал, включен в состав программного обеспечения Майкрософт.
3. Сравнение R с Питоном совершенно неправомерно.
R - специализированный язык. Питон - универсальный язык. Питон намного превосходит R по числу пользователей, но массовый пользователь Питона - это web дизайн. То, что в Питоне имеются пакеты статистики - это НЕ позволяет его отнести к языкам статистики. На таком основании к языкам статистики можно отнести С++, на котором реализованы пакеты, используемые как R так и на Питоне. За счет своего подробного рубрикатора и ссылок на алгоритмы предлагаемый функций R можно использовать для изучения теории и практики статистики, а Питон - нет.
А здесь я процитирую Прадо, но не дословно, т.к. забыл, что "Машинное обучение дает больше возможностей по сравнению с классической статистикой, в трейдинге"
и МО библы очень хорошо развиты для питона, хотя и остальные типа statsmodels тоже. Поэтому спорить с этими фактами и доказывать что-то друг другу бессмысленно.
В моем понимании, R для студентов и преподов и любителей. Чтобы можно было цитировать друг друга и хвастаться чем-нибудь. Для профессуры может какой-то, которая преподает. Питон для серьезных проектов и продакшна. Не слышал ни о каком крупном МО проекте на R в продакшне.А здесь я процитирую Прадо, но не дословно, т.к. забыл, что "Машинное обучение дает больше возможностей по сравнению с классической статистикой, в трейдинге"
и МО библы очень хорошо развиты для питона, хотя и остальные типа statsmodels тоже. Поэтому спорить с этими фактами и доказывать что-то друг другу бессмысленно.
В моем понимании, R для студентов и преподов и любителей. Чтобы можно было цитировать друг друга и хвастаться чем-нибудь. Для профессуры может какой-то, которая преподает. Питон для серьезных проектов и продакшна. Не слышал ни о каком крупном МО проекте на R в продакшне.Зачем Вы рассуждаете о том, как сами заявляете, не знаете?
Майкрософт приложила определенные усилия чтобы из R сделать инструмент для разработки крупных проектов большим числом разработчиков.
Вот список продуктов/сервисов Microsoft, которые нам позволят работать с R:Каким любителям, какой профессуре необходима экосистема Microsoft R Server?
А виртуальные машины VM, позволяющие объединить все и вся?
А облачный сервис Azura с его пакетами машинного обучения и инструментами для коллективной разработки?
R на сегодня - промышленная система, интегрированная Майкрософт в свои и в не свои разработки.
А Вы "для любителей"...
Зачем Вы рассуждаете о том, как сами заявляете, не знаете?
Майкрософт приложила определенные усилия чтобы из R сделать инструмент для разработки крупных проектов большим числом разработчиков.
Вот список продуктов/сервисов Microsoft, которые нам позволят работать с R:Каким любителям, какой профессуре необходима экосистема Microsoft R Server?
А виртуальные машины VM, позволяющие объединить все и вся?
А облачный сервис Azura с его пакетами машинного обучения и инструментами для коллективной разработки?
R на сегодня - промышленная система, интегрированная Майкрософт в свои и в не свои разработки.
А Вы "для любителей"...
понятно, что "там есть"
говорю исходя из опыта общения с внедренцами, в том числе крупными, по крайней мере в РФ
все делали на питоне
у микрософта и sdk есть по машинному обучению на C# и Asure, только никто ими не пользуется
вот вы сделали большой проект на R, положили на сервер. А кто его обслуживать будет? а никто, потому что нет спецов в таком количестве и никто не хочет учить R из-за одной статистики
а для питона любого студента за палку колбасы найми и все будет
"никто" - от слова НИКТО не пишет на R, ни под каким предлогом. Потому что есть питон.
а вы гоните трейдунов писать на R, чтобы они потом что? потратили время на бесполезный язык
Тут еще вопрос что иметь ввиду под поиском максимума в зашумленной функции..
Как я понял определение - "оптимизация зашумленной функции" это типа имееться в виду что просто функция сложной формы и в ней тяжело искать максимум, градиентные алгоритмы не применимы ну и выводы далее.. Те грубо говоря ниче страшного , применил алг. глобальной оптимизации и он пошел искать глобальный максимум...
А я вот смотрю по другому , я хочу найти максимум шумной функции но с удаленным шумом, те не глобальный максимум в шумной функции, а глобальный максимум в обезшумленой функции..
(это мой вопрос) И это уже не тривиально, ведь функция то неизвесна, и параметры шума тоже..
Правильно там ответили что нужна априорная информация о шуме. Более того, нужно чёткая матмодель шума - аддитивная, мультипликативная или ещё какая-нибудь. Без модели фильтр не сделать. Ну и эта модель должна быть похожей на реальные данные.
Возможно, стоит посмотреть в сторону методов обработки геоданных, где работают с двух-трёхмерными данными. Ну или что-то вроде преобразования Фурье, как в картинках в jpg, или вейвлеты - как в новом варианте jpg, или многомерные сплайны и тд.
я бы процитировал лозунг "бороться и искать - найти и перепрятать"
задавать как кастомную метрику любой критерий, в частности вот эти стандартные. Оптимизировать все равно по логлосс будет, но останавливаться будет по этим кастомным, что, наверное, имеет какой-то смысл
и действительно имеет, потому что останов в том же бустинге всегда по какому-то кастовому критерию типа accuracy
Пока, наверно, только как-то так. Можно ещё обрезку деревьев делать по кастомному критерию.
понятно, что "там есть"
говорю исходя из опыта общения с внедренцами, в том числе крупными, по крайней мере в РФ
все делали на питоне
у микрософта и sdk есть по машинному обучению на C# и Asure, только никто ими не пользуется
вот вы сделали большой проект на R, положили на сервер. А кто его обслуживать будет? а никто, потому что нет спецов в таком количестве и никто не хочет учить R из-за одной статистики
а для питона любого студента за палку колбасы найми и все будет
"никто" - от слова НИКТО не пишет на R, ни под каким предлогом. Потому что есть питон.
а вы гоните трейдунов писать на R, чтобы они потом что? потратили время на бесполезный язык
РФ плохой пример, ибо крайне дремуч в смысле матстата. Наш форум полон технарей, но представления о матстате у большинства крайне убогие. В институтах профессора учат матстату в екселе) Это всё крайне плохо характеризует нашу научно-техническую школу - серьёзные решения ещё со времён СССР гораздо чаще закупаются в готовом виде за границей, а не разрабатываются в стране.
Правильно там ответили что нужна априорная информация о шуме. Более того, нужно чёткая матмодель шума - аддитивная, мультипликативная или ещё какая-нибудь. Без модели фильтр не сделать. Ну и эта модель должна быть похожей на реальные данные.
Возможно, стоит посмотреть в сторону методов обработки геоданных, где работают с двух-трёхмерными данными. Ну или что-то вроде преобразования Фурье, как в картинках в jpg, или вейвлеты - как в новом варианте jpg, или многомерные сплайны и тд.
Да модель то я сделать могу без проблем, любое разложение, хоть РСА и вперед..
Но как с данными быть?, их же нет, это же неизвесная функция, да еще и многомерная..
ВСЕ Данные это раскиданные точки результатов поиска АО (это если их сохранять)
Это же не тайм серия, там ни структуры, ни порядка