Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 450

 
А Решетов представился к Богу?
Не знал...
Недавно писал вроде.... Зимой...
 
Alexander Ivanov:
А Решетов представился к Богу?
Не знал...
Недавно писал вроде.... Зимой...

Вот и мне хотелось знать, что с ним случилось.

 
Скоро конец света будет. И Бог забирает своих....
И появится Антихрист..... 
 
toxic:

Гммм... неужто Вы софтину покойного Юры Решетова юзаете? XGB этот сет до 65-67% точности за минуту перемалывает с потрохами. Когда ML работает больше часа, я полагаю что сделано что то не так, потому к нейросетям давно подахладел.

Нет, нейронка не Юры. Но я обучаю модель не один раз, а пробую разные комбинации предикторов, и разные параметры модели. На выходе должны получиться статистические данные о важности каждого предиктора, и параметры модели чтоб всё обучилось без подгонки.

 

У меня пока-что получилось так, подбор параметров модели и весов предикторов ещё далёк от завершения, в будущем должно быть гораздо лучше.

Для обучения взял 10% от train.csv (рандомно), иначе уже совсем долго идёт процесс. 
Веса предикторов - 
0
0
3467.50163547078
0
0
184258.95892851
22315.6831463224
0.144079977475357
0
0
0.000324672622477092
39775.9969139879
6053.73861534689
0
0

То что ноль и близко к нему - мусор и бесполезно, чем выше вес тем большее влияние предиктора на результат.

логлосс на обучении (10% строк из train.csv) - 0.6895723, точность 0.6402786

логлосс на тесте (весь test.csv) 0.6928974, точность 0.6239073.
Нужно увеличить число обучающих примеров, 10% что я взял это очень мало, поэтому логлосс заметно упал на тесте. Например для numerai мне нужно брать хотя бы 50% обучающих примеров, иначе результаты на новых данных вообще никакие.


toxic:

XGB этот сет до 65-67% точности за минуту перемалывает с потрохами.

Респект XGB, в умелых руках сильная вещь. У меня за 4 часа и то хуже.


А что это вообще за данные? форекс, биржа, платные подписки? 62% реально принесли бы прибыль если я насобираю себе похожий набор предикторов?

 
Dr. Trader:

А что это вообще за данные? форекс, биржа, платные подписки? 62% реально принесли бы прибыль если я насобираю себе похожий набор предикторов?


По моему этот вопрос надо задавать в начале )) без понимания источника данных предсказывать что-то это конечно хай левел :)

Это как гулял-гулял с девушкой, познакомившись через знакомых, а потом только к концу вечера - слушай, а как тебя зовут :) а она говорит хорошая у тебя вообще реакция по жизни, далеко пойдешь

 
Alexander Ivanov:
А Решетов представился к Богу?
Не знал...
Недавно писал вроде.... Зимой...

Сам в шоке

Земля ему пусть будет пухом.

 
Vladimir Gribachev:

Сам в шоке

Земля ему пусть будет пухом.

Царство Небесное ему.
 
Alexander Ivanov:
Царство Небесное ему.
Но дело его будет жить, я читал его работы, очень интересный человек с нестандартным мышлением. Даже был удивлен, что перед тем как поднял еще раз тему никто до этого особо не обсуждал, кроме Михаила.
 
Dr. Trader:

Для обучения взял 10% от train.csv

логлосс на обучении (10% строк из train.csv) - 0.6895723, точность 0.6402786

логлосс на тесте (весь test.csv) 0.6928974, точность 0.6239073.

Нужно увеличить число обучающих примеров, 10% что я взял это очень мало, поэтому логлосс заметно упал на тесте.

Не пробовал брать 10% но думаю 62% это хорошо, у меня 66% примерно выходило на тесте, Визард говорил что у него 67%, естественно на 100% cемплов лерна на обучении.

Например для numerai мне нужно брать хотя бы 50% обучающих примеров, иначе результаты на новых данных вообще никакие.

Да у них честно говоря всё довольно мутно, там вообще нельзя понять насколько скор хорош, что то напустили они совсем туману, непонятно зачем в турнамент засунули ответы, по которым они считают предварительный логлос, нафиг он нужен не ясно, люди которые были на первых местах вдруг швыряются за 500-е с логлосом >0.7, рандомчиком всё это пахнет…

Респект XGB, в умелых руках сильная вещь. У меня за 4 часа и то хуже.

Сильная, особенно когда сам пересобрал на С++

А что это вообще за данные? форекс, биржа, платные подписки? 62% реально принесли бы прибыль если я насобираю себе похожий набор предикторов?

 

Данные все с FORTS с квика, метатрейдера и бесплатные паршеные с  вебстраниц вроде http://www.investing.com и тд. секунды, там вроде было подписано что за параметры. Перенести реально, но торговую инфрастурктуру для умеренного ХФТ(10сек -1мин удержания позиции) делать придется на квике или плазе, с нуля это работа на где то человеко-год  проф С++\Java\C# кодера(25-50к$ если местный), но и следует учесть перспективы ХФТ в мире всё время уменьшаются, особенно ультра, то есть они монополизируются жестко финансируемыми организациями и не доступны рядовым трейдунам, следует ориентироваться на прогнозирование следующей минуты, а не секунды, там accuracy ~55% это предел мечтаний

Причина обращения: