Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3487

 

Провел обучение по своей методике на рандомных данных с подглядыванием на двух выборках, как и тут с нормальной выборкой.

Ну, скажу так, вполне можно обучаться. Динамика обучения - вероятность выбора класс "1" на каждой итерации после "обучения".

 


Так выглядит вероятность выбора правильного квантового отрезка на каждой итерации. В конце трясёт, так как выборка уменьшается.

В целом очень похожа динамика, как и на данных, которые считаем не рандомными.

А вот так выглядит график уже с числом хороших вариантов для выбора.

Разница в пике примерно в 4,5 раза с не рандомными данными. Можно ли тогда считать, что 20% на не рандомных данных - это просто случайно прошедшие отбор квантовые отрезки? Замечу, что здесь для отбора используется CV без перемешивания - диапазоны выборки разбиваются на 10 частей и они подлежат оценки в совокупности.

А кому интересен баланс на выборке exam - вот такой вот он - 1 пункт 0,00001, спред учтён.

В итоге, взяли случайную выборку, с какой то вероятностью нам повезло, построили случайно модель или подкрутили переменные в оптимизаторе, и вот радуемся результату и несём накопленные непосильным трудом деньги на рынок...

 
Aleksey Vyazmikin #:
Алексей, сколько у тебя ядер или потоков на сервере? 
 
mytarmailS #:
Алексей, сколько у тебя ядер или потоков на сервере? 

У меня много компутеров, максимум 28 ядер - 56 потоков - 128 ОЗУ.

 
Aleksey Vyazmikin #:

У меня много компутеров, максимум 28 ядер - 56 потоков - 128 ОЗУ.

Ты их пользуешь? 56 потоков
 
mytarmailS #:
Ты их пользуешь? 56 потоков

В последнее время я не так часто использую все ресурсы - занимался теоретическими разработками на одной выборке, но скоро я хочу разработки проверить на разных выборках, что бы оценить результат более объективно, для этого удобно будет для каждой выборки использовать отдельный компьютер - если обучать модели на том же CatBoost.

Ещё для советника с маркета я использовал все ресурсы - для отбора базовых таблиц настроек параметров.

Изначально под отбор листьев всё покупал и под генетику - тут может ещё напишу код под идею на питоне, что использовал на R - имеет недостатки, которые я не понял как устранить.

Вообще, где много вычислений, и алгоритм мой полезным кажется - переношу логику на OpenCL и считаю на видеокарте.

 
Aleksey Vyazmikin #:

У меня много компутеров, максимум 28 ядер - 56 потоков - 128 ОЗУ.

Если я тебе скрипт закину, сможешь посчитать на всех ядрах если что? 
[Удален]  

Gemma


 
mytarmailS #:
Если я тебе скрипт закину, сможешь посчитать на всех ядрах если что? 

Думаю, надо понять в начале, сколько это займёт времени.

У Вас какой процессор?

 
Maxim Dmitrievsky #:

Gemma


Ну, что ж - похоже на юмор, любопытно...

[Удален]  
Aleksey Vyazmikin #:

Ну, что ж - похоже на юмор, любопытно...

Это баг, когда включаешь поддержку видео ядер