Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3602

[Удален]  
Aleksey Vyazmikin #:

Ну, для меня не содержательна формулировка " Понять очень просто - перестает работать :) " - по каким критериям понять? Выше же показал, что работать может, а может не работать на длительном участке времени такое смещение вероятности...

Всё я читаю. Просто уже много раз писал, что этого всего недостаточно - нужны какие то дополнительные критерии, чем просто проверка на истории.

Что конкретно обcуждается: способы исправления меток или сетования что что-то не работает?

 
Maxim Dmitrievsky #:

Что конкретно обcуждается: способы исправления меток или сетования что что-то не работает?

Предложенный Вами способ переразметки в целом понятен. Только уточню, какой период выборки берётся для анализа кластеров (участвует ли в процессе этом отложенная выборка), и как он берётся - сплошняком или рандомно?

В то же время отмечу, что я не считаю этот процесс "исправлением", так как нет сравнения с какой либо эталонной разметкой.

Относительно сетования - это как раз важнейший вопрос для меня - способ контроля изменения вероятности с минимальным запаздыванием.

[Удален]  
Aleksey Vyazmikin #:

Предложенный Вами способ переразметки в целом понятен. Только уточню, какой период выборки берётся для анализа кластеров (участвует ли в процессе этом отложенная выборка), и как он берётся - сплошняком или рандомно?

В то же время отмечу, что я не считаю этот процесс "исправлением", так как нет сравнения с какой либо эталонной разметкой.

Относительно сетования - это как раз важнейший вопрос для меня - способ контроля изменения вероятности с минимальным запаздыванием.

На трейне и валидации естесствнно. Тест не имеет меток. Какие данные в ф-ю передаёте. Какие-то новичковые вопросы.

Эталон - распределение меток в кластерах. В идеале в каждом кластере должно быть 0 или 1. Тогда данные полностью предсказуемые. Приближение к этому эталону называется исправлением.

Отсюда автоматически вытекает, что чем больше выборка, тем стат значимость паттернов увеличивается.
 
Aleksey Nikolayev #:
У нас же есть замечательный календарь в МТ5?

Вот не знаю, не использовал. А за какой период там данные?

Что ещё думаю, важно собирать информацию не только о фактах, но и ожиданиях - нужно собирать текст из новостей, реакцию трейдеров на них в форумах или где там общаются, а так же мнение аналитиков банков.

Возможно, что действительно трейдеры совершают торговые операции на опережение новостей, а по факту уже продают валюту нуждающимся - к примеру, импортёрам.

 
Maxim Dmitrievsky #:
На трейне и валидации естесствнно. Тест не имеет меток. Какие данные в ф-ю передаёте. Какие-то новичковые вопросы.

Спрашиваю, потому что удивляюсь, что у Вас так всё шикарно работает, судя по картинкам и словам. Вот и думаю, либо я что-то не так делаю, либо ошибка с моей или вашей стороны...

Maxim Dmitrievsky #:
Эталон - распределение меток в кластерах. В идеале в каждом кластере должно быть 0 или 1. Тогда данные полностью предсказуемые. Приближение к этому эталону называется исправлением.

Буду учитывать Вашу терминологию. Конечно, модель сама по себе становится проще в теории, так как меньше противоречий, но лучше она или нет на новых данных, вне обучения, пока не могу понять, так как у меня не наблюдается достаточно устойчивых кластеров - не знаю, почему так.

Maxim Dmitrievsky #:
Отсюда автоматически вытекает, что чем больше выборка, тем стат значимость паттернов увеличивается.

Я правильно, помню, что у Вас разметка на каждом баре происходит? Я просто так не делаю. Думал об этом, но меня смущает, что бары рядом стоящие получают одинаковые метки и в то же время имеют иногда вкрапления противоположных меток. И вот получается, рынок во флете, разметилось 30 баров в одной точке по сути, а рынок быстрый и в разметку попало 2-3 бара, при этом ценность одинаковая этих наблюдений, а в выборке первые будут иметь перевес. Нет идей, как с этим бороться правильно?

 
Aleksey Vyazmikin #:
А за какой период там данные?

Возможно, функция CalendarValueHistory() поможет в ответе на этот вопрос.

Aleksey Vyazmikin #:
Что ещё думаю, важно собирать информацию не только о фактах, но и ожиданиях - нужно собирать текст из новостей, реакцию трейдеров на них в форумах или где там общаются, а так же мнение аналитиков банков.

Да, это тоже не помешало бы

Aleksey Vyazmikin #:
Возможно, что действительно трейдеры совершают торговые операции на опережение новостей, а по факту уже продают валюту нуждающимся - к примеру, импортёрам.
Возможно и так. Как и любую гипотезу, нужно проверять.
[Удален]  
Aleksey Vyazmikin #:

Спрашиваю, потому что удивляюсь, что у Вас так всё шикарно работает, судя по картинкам и словам. Вот и думаю, либо я что-то не так делаю, либо ошибка с моей или вашей стороны...

Буду учитывать Вашу терминологию. Конечно, модель сама по себе становится проще в теории, так как меньше противоречий, но лучше она или нет на новых данных, вне обучения, пока не могу понять, так как у меня не наблюдается достаточно устойчивых кластеров - не знаю, почему так.

Я правильно, помню, что у Вас разметка на каждом баре происходит? Я просто так не делаю. Думал об этом, но меня смущает, что бары рядом стоящие получают одинаковые метки и в то же время имеют иногда вкрапления противоположных меток. И вот получается, рынок во флете, разметилось 30 баров в одной точке по сути, а рынок быстрый и в разметку попало 2-3 бара, при этом ценность одинаковая этих наблюдений, а в выборке первые будут иметь перевес. Нет идей, как с этим бороться правильно?

С точки зрения искусного курвафитинга, теоретические построения имеют смысл только с позиций МО и матстата. Остальное тупо проверяется через эксперимент. В моих теоретических доводах нет явных противоречий. Эксперименты тоже показывают неплохие кривульки. То есть показывают улучшение курвафитинга, если я применяю свои некоторые теоретические выводы. Никакого другого скрытого смысла я туда не закладываю.

Ещё вы больше нигде не найдете подобной инфы, потому что это мои интеллектуальные выс.. продукты :)  

Разметка на каждом баре даёт больше данных, которые можно фильтровать и/или исправлять. Если вы дополнительно разделите ВР на состояния и для каждого состояния исправите метки, то конфликтов в разметке будет меньше. Предложенный способ как раз должен автоматически исправлять разметку, сделанную от балды. Когда сильно коррелирующие наблюдения должны иметь одинаковые метки. Он вносит в нее порядок.

 

Давайте обучим модель автоматическое обучение с API Open AI ?


 
Maxim Dmitrievsky #:
Эксперименты тоже показывают неплохие кривульки.

Можете сообщить о статистике, какой процент из, допустим 1000 попыток, создаст стратегию с положительным исходом, с учётом разумного спреда?

В идеале, конечно, лучше статистику по кластерам из этих 1000 попыток.

Сколько примеров в одном кластере со смещенной вероятностью в процентах от своего класса?

Maxim Dmitrievsky #:
Ещё вы больше нигде не найдете подобной инфы, потому что это мои интеллектуальные выс.. продукты :)  

Спасибо, что делитись своими достижениями!

Maxim Dmitrievsky #:
Разметка на каждом баре даёт больше данных, которые можно фильтровать и/или исправлять.

Я думаю, что для подсчета статистик надо учитывать эти скопления и классифицировать их как один пример, ведь если сигнал пройдёт повторяющийся на таком скоплении, то будет считаться, что там 10 сигналов при построении модели, а не 1. Это с экономической точки зрения размышляю, ведь не будите вы вместо 1 лота 10 открывать на каждом баре... или будите?

 
Yuriy Vasilyev #:

Давайте обучим модель автоматическое обучение с API Open AI ?

Расскажите, что это такое, и какой результат получаете.