Прошу практического совета. - страница 2

 

Alexandr Andreev:

.........

итог вычел из еденицы т.е. чем ближе к 0 итог тем лучше результаты..... другими словами пока что результаты не особо т.к. 0.75 это ваши 75, хотя смотря с чем сравнивать..... максимально плохая оценка будет 1 (100%) максимально хорошая 0

Надо понимать что оценка 90 в десять разу лучше чем оценка 99.... при это оценка 99 в десять разу лучше чем оценка 99.9... число 100 по факту возможно только  когда у всех модулей будет оценка ошибки 100 ... тоже спроведливо и с другой стороны. т.е. оценка 0.1 в десять разу хуже чем оценка 0.01. При этом оценка 10 в десять раз хуже чем оценка 1.

.........

Совсем не понял логику.... Если модуль выдал ошибку на необученных данных в 4.43% , то 100 - 4.43 = 95.57% это процент безошибочных ответов. Почему этот процент нужно считать хуже чем 95.01% ??? Что до меня не доходит?


Roman:

Наверно лучше получить сумму квадратов для ошибок модуля, и извлечь корень.
Тем самым получаем общую оценку ошибок модуля.
Чем ближе к нулю получается значение, тем лучше.
Как то так.

Оценка показывает, что Mod5 имеет наименьшую ошибку. 

Спасибо, но это не то. Я для себя ввёл критерий - модуль показавший процент ошибок более 30 просто исключается из работы. 

И задача стоит не узнать какой из модулей даёт наименьшее количество ошибок, а с какими параметрами все модули дадут более "ровный" результат.

П первом посте я привёл табличку с результатами при изменении только одного параметра, последнего. А если я прогоню скрипт и с другими изменёнными параметрами, то табличка получится много больше. Взглядом уже все значения не охватишь, а средняя ошибка, мне кажется, говорит не о многом...

 

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Прошу практического совета.

Сергей Таболин, 2020.06.06 17:18

Собственно вопрос: как правильно оценить результаты?

Ошибка каждого модуля приведена в процентах. 0% - идеальный результат. 

________________ ПАРАМЕТРЫ ________________ Мод 1 Мод 2 Мод 3 Мод 4 Мод 5 Мод 6 Мод 7 Мод 8 Мод 9 Мод 10 Мод 11 Мод 12 Мод 13 Мод 14 Мод 15 Средняя ошибка Из попыток
2_48_24_2160_12_VECTOR_UP_HIDDEN_LAYERS_HAND 4,43 17,09 15,82 2,53 0,63 17,72 28,48 5,70 13,29 5,70 8,23 6,33 0,63 3,16 6,96 9,11 158,00
2_48_24_2160_12_VECTOR_UP_HIDDEN_LAYERS_MT1 5,06 17,72 12,66 3,80 0,63 19,62 29,11 4,43 9,49 5,06 6,33 6,33 1,90 1,90 6,33 8,69 158,00
2_48_24_2160_12_VECTOR_UP_HIDDEN_LAYERS_MT2 4,43 20,25 16,46 4,43 0,63 17,72 29,75 6,33 5,06 8,23 10,13 5,06 0,63 1,27 4,43 8,99 158,00


Хочется чтобы была ошибка каждого модуля минимальна, но и разброс чтобы был минимален.

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Прошу практического совета.

Сергей Таболин, 2020.06.07 08:00

Совсем не понял логику.... Если модуль выдал ошибку на необученных данных в 4.43% , то 100 - 4.43 = 95.57% это процент безошибочных ответов. Почему этот процент нужно считать хуже чем 95.01% ??? Что до меня не доходит?


Спасибо, но это не то. Я для себя ввёл критерий - модуль показавший процент ошибок более 30 просто исключается из работы. 

И задача стоит не узнать какой из модулей даёт наименьшее количество ошибок, а с какими параметрами все модули дадут более "ровный" результат.

П первом посте я привёл табличку с результатами при изменении только одного параметра, последнего. А если я прогоню скрипт и с другими изменёнными параметрами, то табличка получится много больше. Взглядом уже все значения не охватишь, а средняя ошибка, мне кажется, говорит не о многом...


Что то у вас разные задачи получаются, сперва одно пишите, а потом пишите что это не то ))
Оценкой минимизации ошибок и определяют подходящую модель.
А какие параметры использовать для модели, откуда нам знать ваш алгоритм и их параметры, а тем более способ их нахождения?
Способ их нахождения должен соответствовать той модели которую построили.
 

Надо найти максимум, посчитать среднее и, в зависимости от среднего, подкорректировать максимум. А потом выбирать по минимальному максимуму. Надо придумать формулу коррекции максимума, там должен быть коэффициент. А величину коэффициента подобрать умозрительно. 

Да чисто тупо - максимум умножить на среднее и на коэффициент. Меняя коэффициент, посмотреть какой вариант становится лучшим - вот так подобрать коэффициент. 

 
Roman:

Что то у вас разные задачи получаются, сперва одно пишите, а потом пишите что это не то ))
Оценкой минимизации ошибок и определяют подходящую модель.
А какие параметры использовать для модели, откуда нам знать ваш алгоритм и их параметры, а тем более способ их нахождения?
Способ их нахождения должен соответствовать той модели которую построили.

Прошу прощения, если не совсем правильно выразился )))

Я имел ввиду под "результаты" три строки таблицы, три результата. Результат - это проценты ошибочных ответов всех 15-и модулей.

 

Еще вариант. Не в тему, но тоже способ. Не проценты смотреть, а типа рейтинга посчитать. В каждой колонке получатся целые числ от 1 до 3 (или 1 ,1, 2 и т.п.). Потом посчитать средний рейтинг.

Еще вариант. Делать выбор в две ступени. Выбрать несколько по наилучшему среднему, а из них выбрать один по наилучшему максимуму. Или наоборот - выбрать несколько по наилучшему максимуму, из них выбрать один по наилучшему среднему.

 
Сергей Таболин:

Прошу прощения, если не совсем правильно выразился )))

Я имел ввиду под "результаты" три строки таблицы, три результата. Результат - это проценты ошибочных ответов всех 15-и модулей.

То есть не по модулям нужно, а по слоям?
Измените форму матрицы ModN[3][15]
;))

 
Сергей Таболин:

Совсем не понял логику.... Если модуль выдал ошибку на необученных данных в 4.43% , то 100 - 4.43 = 95.57% это процент безошибочных ответов. Почему этот процент нужно считать хуже чем 95.01% ??? Что до меня не доходит?


Спасибо, но это не то. Я для себя ввёл критерий - модуль показавший процент ошибок более 30 просто исключается из работы. 

И задача стоит не узнать какой из модулей даёт наименьшее количество ошибок, а с какими параметрами все модули дадут более "ровный" результат.

П первом посте я привёл табличку с результатами при изменении только одного параметра, последнего. А если я прогоню скрипт и с другими изменёнными параметрами, то табличка получится много больше. Взглядом уже все значения не охватишь, а средняя ошибка, мне кажется, говорит не о многом...

Сергей Таболин:

Совсем не понял логику.... Если модуль выдал ошибку на необученных данных в 4.43% , то 100 - 4.43 = 95.57% это процент безошибочных ответов. Почему этот процент нужно считать хуже чем 95.01% ??? Что до меня не доходит?


Спасибо, но это не то. Я для себя ввёл критерий - модуль показавший процент ошибок более 30 просто исключается из работы. 

И задача стоит не узнать какой из модулей даёт наименьшее количество ошибок, а с какими параметрами все модули дадут более "ровный" результат.

П первом посте я привёл табличку с результатами при изменении только одного параметра, последнего. А если я прогоню скрипт и с другими изменёнными параметрами, то табличка получится много больше. Взглядом уже все значения не охватишь, а средняя ошибка, мне кажется, говорит не о многом...


.............

Тут дело не в безошибочности

К примеру у нас есть два ответа ошибок 0.2 и 0.0000001 если их просто перемножить то получиться что хорошая оценка сильно влияет. 0.00000002  (в особенности проблемы начнуться если одна из оценок будет просто 0)- что весьма не удобно зрительно оценивать количество этих нулей. Поэтому проще отразить сделав лучший результат 1.... тогда получиться что мы просто 1-0.2 + 1 -0.00000001 .   0.8 и 0.99999999 ... понятно что перемножив эти значения мы получаем в итоге 0.8 суммарное качество...... если бы обе оценки были бы 0.8 то ответ был бы 0.64.... Этот вариант самый простой.

Тут проще сделать и посмотреть итог

 
Сергей Таболин:

Совсем не понял логику.... Если модуль выдал ошибку на необученных данных в 4.43% , то 100 - 4.43 = 95.57% это процент безошибочных ответов. Почему этот процент нужно считать хуже чем 95.01% ??? Что до меня не доходит?


Спасибо, но это не то. Я для себя ввёл критерий - модуль показавший процент ошибок более 30 просто исключается из работы. 

И задача стоит не узнать какой из модулей даёт наименьшее количество ошибок, а с какими параметрами все модули дадут более "ровный" результат.

П первом посте я привёл табличку с результатами при изменении только одного параметра, последнего. А если я прогоню скрипт и с другими изменёнными параметрами, то табличка получится много больше. Взглядом уже все значения не охватишь, а средняя ошибка, мне кажется, говорит не о многом...

Давно наблюдаю за вами. Интересная личность. Уважаю.

В любом контексте исторические данные можно использовать тольковместе с текущей обстановкой. Это важно. Исторические данные, как бы они не были хороши имеют отрицательный характер. К чему клоню? Рыночные цены это не снаряд летящий по определенной траектории.



 
Сергей Таболин:

Совсем не понял логику.... Если модуль выдал ошибку на необученных данных в 4.43% , то 100 - 4.43 = 95.57% это процент безошибочных ответов. Почему этот процент нужно считать хуже чем 95.01% ??? Что до меня не доходит?

Там были перемножены эти безошибочные ответы и итог снова был вычтен из 100%... т.е. был обратный перевод и речь была про него

 
Уважаемые, сейчас отвечу всем. По порядку. Спасибо.
Причина обращения: