Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3492

 
mytarmailS #:
Я могу на одной выбоке зафититься так что она пройдет тест еще на 5ти выборках, вот только на реальной 6-ой  будет слив.
Так что этот примитив не рабочий, а то что паренек в видео говорит похоже на реальность

А можно посмотреть хотя бы 4-х выборках?

 
Думаю, как сделать искусственную выборку для бинарной классификации. Требования - много предикторов с шумом и часть с полезными данными, строк хотя бы тысяч 20000. Главное, что бы было точно известно, что решение может быть найдено. Нечто типа эталона, что бы на нём смотреть на сколько плох алгоритм. Вот думаю, может взять какую то функцию и разметить её участки - выше и ниже нуля - соответственно "1" и "0", есть какие идеи?
 
Aleksey Vyazmikin #:
Думаю, как сделать искусственную выборку для бинарной классификации. Требования - много предикторов с шумом и часть с полезными данными, строк хотя бы тысяч 20000. Главное, что бы было точно известно, что решение может быть найдено. Нечто типа эталона, что бы на нём смотреть на сколько плох алгоритм. Вот думаю, может взять какую то функцию и разметить её участки - выше и ниже нуля - соответственно "1" и "0", есть какие идеи?
Обычно просто генерируют многомерные случайные выборки. Если нужны полностью разделимые классы, то используют распределения с ограниченными носителями - равномерное, например. Если нужно частичное перемешивание классов, то гауссовское или их смеси.
 
Aleksey Nikolayev #:
Обычно просто генерируют многомерные случайные выборки. Если нужны полностью разделимые классы, то используют распределения с ограниченными носителями - равномерное, например. Если нужно частичное перемешивание классов, то гауссовское или их смеси.

Хочется нечто осмысленное, а не рандомное.

[Удален]  
mytarmailS #:

А как это можно высмотреть кроме как того способа что был в видео?

Ну разными способами, через взаимную информацию например 
 
Aleksey Vyazmikin #:

Хочется нечто осмысленное, а не рандомное.

Хотите изобретать велосипед - имеете полное право. Всего лишь описал стандартную практику.
 
Aleksey Nikolayev #:
Хотите изобретать велосипед - имеете полное право. Всего лишь описал стандартную практику.

Я не понял, как делается разметка целевой в предлагаемом методе, как устанавливается связь с предикторами.

Почему я хочу осмысленное нечто - так как задача у меня понизить ошибку классификации через оценку не устойчивых квантовых отрезков, а для этого я хочу посмотреть на участки, где происходит ошибка - визуализировать, возможно их. Попробовать разный подход к оценке и видеть результат достоверный, что к примеру на значимом предикторе выявили только 5 полезных участков из 10, нужно понять, чем они отличаются. 

 
Aleksey Vyazmikin #:

Я не понял, как делается разметка целевой в предлагаемом методе, как устанавливается связь с предикторами.

Почему я хочу осмысленное нечто - так как задача у меня понизить ошибку классификации через оценку не устойчивых квантовых отрезков, а для этого я хочу посмотреть на участки, где происходит ошибка - визуализировать, возможно их. Попробовать разный подход к оценке и видеть результат достоверный, что к примеру на значимом предикторе выявили только 5 полезных участков из 10, нужно понять, чем они отличаются. 

Возможно, стоит изучить пакеты для генерации данных, что-нибудь вроде такого.
3 пакета Python для генерации синтетических данных
3 пакета Python для генерации синтетических данных
  • 2022.07.15
  • habr.com
В процессе решения задачи при работе с данными нередко возникает ситуация, когда получение реальных данных сложно, к примеру, если речь идет о конфиденциальной информации, либо сбор данных занимает большое количество времени, либо просто необходимо протестировать проект с данными, которые соответствуют определенным критериям. Для решения...
 
Aleksey Nikolayev #:
Возможно, стоит изучить пакеты для генерации данных, что-нибудь вроде такого.

Спасибо, возможно пригодится, но это не совсем то что нужно. Впрочем, в голове уже зародился свой велосипед...

 
Maxim Dmitrievsky #:
Ну разными способами, через взаимную информацию например 

не понял, чего с чем сранвивать