Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1353

 
Yuriy Asaulenko:

Не понял, какую выборку? Сам ВР? Это можно. А выборка из ВР, она случайна.

А записать её нельзя в файл? Вы же в питоне наверное делаете, там же можно выгрузить разбитые выборки, подготовленные для обучения, в файл?

 
Aleksey Vyazmikin:

А записать её нельзя в файл? Вы же в питоне наверное делаете, там же можно выгрузить разбитые выборки, подготовленные для обучения, в файл?

Давайте еще раз.

1. Весь ВР - 55 тыс OHLSV. Рандомно из него извлекается 5 - 6 тыс строк длиной 20 (только Close). Она пойдет на входы НС для обучения.

2. Выборка по п.1 пропускается через ФНЧ. Получаем последовательность длиной 20+Тр. Где Тр - время прогнозирования. Последнее значение выхода ФНЧ является целевой.

3. Подаем на НС 1 и 2 - обучаем.

Или я чего-то не понимаю.(

PS Пробую сохранить данные. Форматы файлов .mat или .spydata подойдут? Экспорт в CSV как-то не приходилось, это искать надо.

 
Yuriy Asaulenko:

Давайте еще раз.

1. Весь ВР - 55 тыс OHLSV. Рандомно из него извлекается 5 - 6 тыс строк длиной 20 (только Close). Она пойдет на входы НС для обучения.

2. Выборка по п.1 пропускается через ФНЧ. Получаем последовательность длиной 20+Тр. Где Тр - время прогнозирования. Последнее значение выхода ФНЧ является целевой.

3. Подаем на НС 1 и 2 - обучаем.

Или я чего-то не понимаю.(

PS Пробую сохранить данные. Форматы файлов .mat или .spydata подойдут? Экспорт в CSV как-то не приходилось, это искать надо.

Ладно, не заморачивайтесь.

Я не знаю, чем читать эти форматы.

Но, не совсем понял, что является предикторами...

 
Aleksey Vyazmikin:

Ладно, не заморачивайтесь.

Я не знаю, чем читать эти форматы.

Но, не совсем понял, что является предикторами...

Нет там предикторов на вход НС непосредственно подается масштабированный ряд значений Close - [Close[i-0], Close[i-1], Close[i-2],...,Close[i-19]].

Как целевая - одно значение выход ФНЧ [i + Tp], где Тр - время прогнозирования в минутах. Всего таких строк 5-6 тыс.

ЗЫ Вообще, интересно посмотреть результаты в лесу. Если будете заниматься, то в ближайшее время CSV сделаю.

Ну, до кучи еще один график прогноза, и заканчиваю. Прогноз ФНЧ (примерно соответствует ЕМА(8)) на 5 мин. Показываю, т.к. прогноз с которым вполне можно работать.

.

 
Alexander_K:

Ну, этот гражданин наговорил много и туманно... Основная цель его посыла была - мне ничё не поможет: ни Эрланг, ни Башелье, вообще ничё, кроме вот таких рядов, какой он дал.

На моих моделях ничего не получается - поэтому я обратился сюда, может нейросеть что-то увидит.

Поищите в Википедии ещё фамилии - там их много. Чем больше будете знать фамилий, тем умнее будете казаться. Что-то Каломорова забыли снова упомянуть. 

 
Yuriy Asaulenko:

Нет там предикторов на вход НС непосредственно подается масштабированный ряд значений Close - [Close[i-0], Close[i-1], Close[i-2],...,Close[i-19]].

Как целевая - одно значение выход ФНЧ [i + Tp], где Тр - время прогнозирования в минутах. Всего таких строк 5-6 тыс.

ЗЫ Вообще, интересно посмотреть результаты в лесу. Если будете заниматься, то в ближайшее время CSV сделаю.

Если сделаете выборку, то покручу. Правда, это получается уже не классификация, ну то ж интересно.

 
Aleksey Vyazmikin:

Если сделаете выборку, то покручу. Правда, это получается уже не классификация, ну то ж интересно.

ОК. Но не срочно.

 
Aleksey Vyazmikin:

Если сделаете выборку, то покручу. Правда, это получается уже не классификация, ну то ж интересно.

Держите архивы. См аттачмент.

Learn.csv - входы. Самая первая цифра в каждой строке - привязка к истории, ее надо удалить.

Cell.scv - целевая.

После обучения на этих данных должен получиться примерно такой график.

Фильтр примерно соответствует ЕМА(16), прогноз - 5 мин.

ЗЫ Тест потом сделаю, когда понадобится.

Файлы:
TS1.zip  961 kb
 
Yuriy Asaulenko:

Держите архивы. См аттачмент.

Learn.csv - входы. Самая первая цифра в каждой строке - привязка к истории, ее надо удалить.

Cell.scv - целевая.

После обучения на этих данных должен получиться примерно такой график.

Фильтр примерно соответствует ЕМА(16), прогноз - 5 мин.

ЗЫ Тест потом сделаю, когда понадобится.

Не совсем ясно, у Вас этот график получился на какой выборке - это на обучении или на тесте?

Вот CatBoost на тесте - 100 последних значений.

Гистограмма отклонений

Я брал на обучение 4000, на валидацию 2000, и на тест 100 строк. Обучал 1000 деревьев глубиной 6, формула RMSE (заменил на Poisson).

Прикладываю выборку и настройки, для воспроизведения нужно скачать CB и положить в директорию Setup.

На выборке обучения так же распределение не похоже на Ваше

Добавлено: Не верно применяю модель - получились на графики вероятности...

Файлы:
Setup.zip  587 kb
 
Aleksey Vyazmikin:

Не совсем ясно, у Вас этот график получился на какой выборке - это на обучении или на тесте?

Вот CatBoost на тесте - 100 последних значений.

Гистограмма отклонений

Я брал на обучение 4000, на валидацию 2000, и на тест 100 строк. Обучал 1000 деревьев глубиной 6, формула RMSE.

Прикладываю выборку и настройки, для воспроизведения нужно скачать CB и положить в директорию Setup.

На выборке обучения так же распределение не похоже на Ваше

Мой график - только обучение на всей выборке. На этой тест не делал. Будет примерно идентичен обучению.
Куда делись отрицательные значения на графике по оси х? И диапазон значений х не совпадает с у? Как это?
У меня график сравнения предикта и реал значений (целевой). Никаких распределений.
Причина обращения: