Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3482

[Удален]  
Aleksey Vyazmikin #:

Это разве используется в алгоритме обучения? Не могу понять, где.

Нет, зачем

чем больше рандомных перестановок, тем хуже трейн будет

 

Уж, ладно, пока здесь сижу. За это время (2-3 часа) удалось уменьшить ошибку обучения НС примерно в 2 раза и добиться стабильных результатов обучения на разных рандомных выборках.


Ошибка 0.035 вообще ни о чем. Уже можно готовить тест прибыли.

Все равно использовать не буду, интерес чисто академический.)

 

Запускаем Мега-ИИ Проект на TensorFlow! Давайте запускать?

 
Итак, обучил рандом и спешу сообщить, что на выборках train, test, exam вышли нули по балансу, т.е. закономерности не найдено на всех выборках, как я понимаю, поэтому не было превышение порога активации.
 
Aleksey Vyazmikin #:

Не, не так. Представьте, что у нас есть диапазоны у предиктора:

1. От 0 до 10 - вероятность 55%

2. От 10 до 15  - вероятность 45%

3. От 15 до 25  - вероятность 50%

Вот я взял и просто поменял номера после упорядочения по вероятности, теперь новая нумерация относительно старой 1=2, 2=3, 3=1. По сути я поменял только их обозначение.

Обозначения - это только для категориальных предикторов. Сплиты там только по одной категории/кванту оцениваются, и как их назвать - не важно. Например цвета: красный, зеленый и белый.

В числовых предикторах кванты изначально отсортированы и потом при оценке сплитов идет сортировка по номерам квантов. Перестановка их номеров перекинет местами строки например 0 квант (0-100 строки) и 9 квант (900-1000 строки) только в предикторе, а строки учителя останутся старыми. Итого в строках 0-100 и 900-1000 вы будете обучать модель не тем значениям учителя, которые были изначально. Т.е. 900-1000 строки предиктора будете обучать 0-100 строкам учителя, потому-что 900-1000 перекинуты в 0-100.

 
Forester #:

Обозначения - это только для категориальных предикторов. Сплиты там только по одной категории/кванту оцениваются, и как их назвать - не важно. Например цвета: красный, зеленый и белый.

В числовых предикторах кванты изначально отсортированы и потом при оценке сплитов идет сортировка по номерам квантов.
Перестановка их номеров перекинет местами строки например 0 квант (0-100 строки) и 9 квант (900-1000 строки) только в предикторе, а строки учителя останутся старыми. Итого в строках 0-100 и 900-1000 вы будете обучать модель не тем значениям учителя, которые были изначально. Т.е. 900-1000 строки предиктора будете обучать 0-100 строкам учителя, потому-что 900-1000 перекинуты в 0-100.

Согласен.

Разница между категориальным предиктором и не категориальным для алгоритма только в том, что первым сразу выделяется квантовой отрезок по отдельности для оценки, а второй оценивает упорядоченную группу.

Строки не меняются. Мы просто ранжируем квантовые отрезки не по их номеру относительно номинального показателя - собственного значения, а относительно другого критерия.

Мы влияем только на состав группы из квантовой отрезков.

 

Аномалии продолжаются, взял я рандомную выборку, и преобразовал её, как описывал выше, и случилось теперь дело странное - обучилось пару моделек.

Прибыль 100 моделей, упорядоченная по возрастанию на выборке exam.

 

Так выглядит модель в разрезе вероятности - ниже одна модель на трёх выборках - train, test, exam/

И график баланса ниже на exam

Ну, что можно и в маркет - ха-ха-ха :)

Вот и думай теперь, рандом суём в модель или чего полезное - как определить - не ясно.

Ясно только то, что мой метод позволяет обучать необучаемое...

[Удален]  
Aleksey Vyazmikin #:

Аномалии продолжаются, взял я рандомную выборку, и преобразовал её, как описывал выше, и случилось теперь дело странное - обучилось пару моделек.

Ясно только то, что мой метод позволяет обучать необучаемое...

Подгонять неподгоняемое..

Это известный тест на дурака, когда обучаются на рандомных данных и подгоняют под тест. И потом сравнивают с обучением на исходных данных. 

Если обучение на рэнодмных подгоняется в среднем не хуже или лучше - жди беды. Это p-hacking.

 
Aleksey Vyazmikin #:

Строки не меняются. Мы просто ранжируем квантовые отрезки не по их номеру относительно номинального показателя - собственного значения, а относительно другого критерия.

Меняются значения в строках. Если ранее строкам 0-100 соответствовали значения предиктора например от 2,55 до 2,88 которые обозначены квантом 0 (значения сохранены в таблице значений по квантам), а 900-1000 были от 3,44 до 3,77. То заменив номер кванта в этих строках вы меняете им значения. Что эквивалентно замене значений в строках этого предиктора. Значения учителя в этих же строках вы не перемещаете. Т.е. учите не тому: 0 строке учителя подаете значение из 900 строки предиктора.
Уже устал объяснять. Делайте как хотите.

[Удален]  
Yuriy Asaulenko #:

Уж, ладно, пока здесь сижу. За это время (2-3 часа) удалось уменьшить ошибку обучения НС примерно в 2 раза и добиться стабильных результатов обучения на разных рандомных выборках.


Ошибка 0.035 вообще ни о чем. Уже можно готовить тест прибыли.

Все равно использовать не буду, интерес чисто академический.)

Посмотрите на МАЕ, потом на график, потом на МАЕ, потом на график, потом на МАЕ, потом на график, потом на МАЕ...... потом на график... еще несколько итераций перевода фокуса внимания с МАЕ на график и обратно.

Ошибка меньше чем у вас. Как вы умудряетесь извлекать из этого профит - остается загадкой.

https://www.mql5.com/ru/articles/12772


Оценка ONNX-моделей при помощи регрессионных метрик
Оценка ONNX-моделей при помощи регрессионных метрик
  • www.mql5.com
Регрессия – это задача предсказания вещественной величины по непомеченному примеру. Для оценки точности предсказаний регрессионных моделей предназначены так называемые метрики регрессии.