Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3492

[СанСаныч Фоменко]

mytarmailS #:
Я могу на одной выбоке зафититься так что она пройдет тест еще на 5ти выборках, вот только на реальной 6-ой  будет слив.

Так что этот примитив не рабочий, а то что паренек в видео говорит похоже на реальность

А можно посмотреть хотя бы 4-х выборках?

[Aleksey Vyazmikin]

Думаю, как сделать искусственную выборку для бинарной классификации. Требования - много предикторов с шумом и часть с полезными данными, строк хотя бы тысяч 20000. Главное, что бы было точно известно, что решение может быть найдено. Нечто типа эталона, что бы на нём смотреть на сколько плох алгоритм. Вот думаю, может взять какую то функцию и разметить её участки - выше и ниже нуля - соответственно "1" и "0", есть какие идеи?

[Aleksey Nikolayev]

Aleksey Vyazmikin #:
Думаю, как сделать искусственную выборку для бинарной классификации. Требования - много предикторов с шумом и часть с полезными данными, строк хотя бы тысяч 20000. Главное, что бы было точно известно, что решение может быть найдено. Нечто типа эталона, что бы на нём смотреть на сколько плох алгоритм. Вот думаю, может взять какую то функцию и разметить её участки - выше и ниже нуля - соответственно "1" и "0", есть какие идеи?

Обычно просто генерируют многомерные случайные выборки. Если нужны полностью разделимые классы, то используют распределения с ограниченными носителями - равномерное, например. Если нужно частичное перемешивание классов, то гауссовское или их смеси.

[Aleksey Vyazmikin]

Aleksey Nikolayev #:
Обычно просто генерируют многомерные случайные выборки. Если нужны полностью разделимые классы, то используют распределения с ограниченными носителями - равномерное, например. Если нужно частичное перемешивание классов, то гауссовское или их смеси.

Хочется нечто осмысленное, а не рандомное.

[[Удален]]

mytarmailS #:

А как это можно высмотреть кроме как того способа что был в видео?

Ну разными способами, через взаимную информацию например 

[Aleksey Nikolayev]

Aleksey Vyazmikin #:

Хочется нечто осмысленное, а не рандомное.

Хотите изобретать велосипед - имеете полное право. Всего лишь описал стандартную практику.

[Aleksey Vyazmikin]

Aleksey Nikolayev #:
Хотите изобретать велосипед - имеете полное право. Всего лишь описал стандартную практику.

Я не понял, как делается разметка целевой в предлагаемом методе, как устанавливается связь с предикторами.

Почему я хочу осмысленное нечто - так как задача у меня понизить ошибку классификации через оценку не устойчивых квантовых отрезков, а для этого я хочу посмотреть на участки, где происходит ошибка - визуализировать, возможно их. Попробовать разный подход к оценке и видеть результат достоверный, что к примеру на значимом предикторе выявили только 5 полезных участков из 10, нужно понять, чем они отличаются. 

[Aleksey Nikolayev]

Aleksey Vyazmikin #:

Я не понял, как делается разметка целевой в предлагаемом методе, как устанавливается связь с предикторами.

Почему я хочу осмысленное нечто - так как задача у меня понизить ошибку классификации через оценку не устойчивых квантовых отрезков, а для этого я хочу посмотреть на участки, где происходит ошибка - визуализировать, возможно их. Попробовать разный подход к оценке и видеть результат достоверный, что к примеру на значимом предикторе выявили только 5 полезных участков из 10, нужно понять, чем они отличаются. 

Возможно, стоит изучить пакеты для генерации данных, что-нибудь вроде такого.

[Aleksey Vyazmikin]

Aleksey Nikolayev #:
Возможно, стоит изучить пакеты для генерации данных, что-нибудь вроде такого.

Спасибо, возможно пригодится, но это не совсем то что нужно. Впрочем, в голове уже зародился свой велосипед...

[mytarmailS]

Maxim Dmitrievsky #:
Ну разными способами, через взаимную информацию например 

не понял, чего с чем сранвивать