Например если перебираеться огромный масив данных то высока вероятность найти сочетание параметров которое образовано случайно но выглядет как закономерность..
как отличить случайную НЕзакономерность от настоящей закономерности?
Например если перебираеться огромный масив данных то высока вероятность найти сочетание параметров которое образовано случайно но выглядет как закономерность..
как отличить случайную НЕзакономерность от настоящей закономерности?
Только выявив причинно следственную связь. Если причин нет, то это сб.
Например если перебираеться огромный масив данных то высока вероятность найти сочетание параметров которое образовано случайно но выглядет как закономерность..
как отличить случайную НЕзакономерность от настоящей закономерности?
Недостаточно формализован вопрос (с математической точки зрения). Что конкретно понимается под отсутствием/наличием закономерности/случайности?
В математике нет жёстко фиксированных и однозначно определяемых понятий закономерности/случайности.
Недостаточно формализован вопрос (с математической точки зрения). Что конкретно понимается под отсутствием/наличием закономерности/случайности?
В математике нет жёстко фиксированных и однозначно определяемых понятий закономерности/случайности.
Конкретный пример:
Есть логическое правило которое предсказывает что то с вероятность 80% и на трейне и на тесте и кросвалидацию прошло итп.. А на валидацыонных данных(абсолютно неизвесных новых данных) правило работает на уровне рандома..
Есть другое правило кторое ведет себя точно так де как первое на трейне, тесте и валидацыю проходит тоже без проблем, те реальная закономерность..
Вопрос : как можно отличить одно правило от другого на этапе трейна , теста , кросвалидаций... До этапа валидации..
Интересно есть ли какие то признаки по которым можно провести грань между одним и другим, может какие то статистические тесты на случайность или детерминизм итп..
Есть логическое правило которое предсказывает что то с вероятность 80% и на трейне и на тесте и кросвалидацию прошло итп.. А на валидацыонных данных(абсолютно неизвесных новых данных) правило работает на уровне рандома..
Есть другое правило кторое ведет себя точно так де как первое на трейне, тесте и валидацыю проходит тоже без проблем, те реальная закономерность..
Вопрос : как можно отличить одно правило от другого на этапе трейна , теста , кросвалидаций... До этапа валидации..
Интересно есть ли какие то признаки по которым можно провести грань между одним и другим, может какие то статистические тесты на случайность или детерминизм итп..
Вопрос случайность/закономерность краеугольный для всего алго и для ML в алго.
Много всяких приемов и фишек.
Самое простое - посмотреть, как ты получил результат. Если лучший результат ты получил... выбрав лучший результат из множества - конечно, вероятность подгонки очень большая (особенно если большая часть остальных результатов ни о чем). Результаты на тесте. Как ты их получил? - Конечно, если ты взял ТОП5% лучших на трейне, прогнал все их на тесте, отобрал лучший на тесте - конечно, вероятность подгонки по-прежнему не маленькая (особенно если средний результат остальных - не особо). Это "как не надо делать", уверен, очень прилично срежет вероятность попасть в переподгонку. Именно по этой причине вообще не понимаю, как можно чужого робот/модель оценивать по эквити - никак.
Вопрос случайность/закономерность краеугольный для всего алго и для ML в алго.
Много всяких приемов и фишек.
Самое простое - посмотреть, как ты получил результат. Если лучший результат ты получил... выбрав лучший результат из множества - конечно, вероятность подгонки очень большая (особенно если большая часть остальных результатов ни о чем). Результаты на тесте. Как ты их получил? - Конечно, если ты взял ТОП5% лучших на трейне, прогнал все их на тесте, отобрал лучший на тесте - конечно, вероятность подгонки по-прежнему не маленькая (особенно если средний результат остальных - не особо). Это "как не надо делать", уверен, очень прилично срежет вероятность попасть в переподгонку. Именно по этой причине вообще не понимаю, как можно чужого робот/модель оценивать по эквити - никак.
Дальше, как сказал, всякие приемы и фишки.
Это все очевидные вещи, масло масляное.. Интересны конкретные приемы
==============================
Например как вариант анализ оптимизацыонной поверхности(ОП) ТС, правила, АМО итп...
Вот например ОП ТС пересечение двух машек по целевой "фактор востановления"
Эстественно это ТС не рабочая , никогда не была и не будет
=======================================
А вот уже ОП рабочей ТС которая очень даже стабильно делает прибыль пока что (Валерий в курсе :) )
Так что есть у меня навящивая идея что если увидеть ОП ТС то можно сказать что она из себя представляет и будет ли работать на новых данных..
Но считать ОП долго и сложно, может можно это как то обойти более елегантно и менее трудоемко с точки зрения выч. ресурсов.
Имею некоторое представление как это делаю алго-трейдеры. Понятия не имею как делают датасаентисты. И точно знаю как это делаю я)).
Оптимизационная поверхность, я так понимаю, это (в данном случае) 3-мерное пространство, где 2 оси - оси параметров (модели, стратегии), одна - целевой метрики. Да, конечно, можно через это заходить. У меня есть пару способов и если надо можно еще придумать что-то. Правда, сейчас я уже с другой стороны захожу. Ну и, конечно, нет никакого желания делиться полезной информацией с человеком, который заходит с "Это все очевидные вещи, масло масляное.")).
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Как установить CatBoost на m1 arm
рабочая схема, проверил
скоро обещают нативный инсталлер для питона
Как отличить случайность от закономерности..?
Например если перебираеться огромный масив данных то высока вероятность найти сочетание параметров которое образовано случайно но выглядет как закономерность..
как отличить случайную НЕзакономерность от настоящей закономерности?
Как отличить случайность от закономерности..?
Например если перебираеться огромный масив данных то высока вероятность найти сочетание параметров которое образовано случайно но выглядет как закономерность..
как отличить случайную НЕзакономерность от настоящей закономерности?
Как отличить случайность от закономерности..?
Например если перебираеться огромный масив данных то высока вероятность найти сочетание параметров которое образовано случайно но выглядет как закономерность..
как отличить случайную НЕзакономерность от настоящей закономерности?
Недостаточно формализован вопрос (с математической точки зрения). Что конкретно понимается под отсутствием/наличием закономерности/случайности?
В математике нет жёстко фиксированных и однозначно определяемых понятий закономерности/случайности.
Только выявив причинно следственную связь. Если причин нет, то это сб.
Недостаточно формализован вопрос (с математической точки зрения). Что конкретно понимается под отсутствием/наличием закономерности/случайности?
В математике нет жёстко фиксированных и однозначно определяемых понятий закономерности/случайности.
Конкретный пример:
Вопрос случайность/закономерность краеугольный для всего алго и для ML в алго.
Много всяких приемов и фишек.
Самое простое - посмотреть, как ты получил результат. Если лучший результат ты получил... выбрав лучший результат из множества - конечно, вероятность подгонки очень большая (особенно если большая часть остальных результатов ни о чем). Результаты на тесте. Как ты их получил? - Конечно, если ты взял ТОП5% лучших на трейне, прогнал все их на тесте, отобрал лучший на тесте - конечно, вероятность подгонки по-прежнему не маленькая (особенно если средний результат остальных - не особо). Это "как не надо делать", уверен, очень прилично срежет вероятность попасть в переподгонку. Именно по этой причине вообще не понимаю, как можно чужого робот/модель оценивать по эквити - никак.
Дальше, как сказал, всякие приемы и фишки.
Вопрос случайность/закономерность краеугольный для всего алго и для ML в алго.
Много всяких приемов и фишек.
Самое простое - посмотреть, как ты получил результат. Если лучший результат ты получил... выбрав лучший результат из множества - конечно, вероятность подгонки очень большая (особенно если большая часть остальных результатов ни о чем). Результаты на тесте. Как ты их получил? - Конечно, если ты взял ТОП5% лучших на трейне, прогнал все их на тесте, отобрал лучший на тесте - конечно, вероятность подгонки по-прежнему не маленькая (особенно если средний результат остальных - не особо). Это "как не надо делать", уверен, очень прилично срежет вероятность попасть в переподгонку. Именно по этой причине вообще не понимаю, как можно чужого робот/модель оценивать по эквити - никак.
Дальше, как сказал, всякие приемы и фишки.
Это все очевидные вещи, масло масляное.. Интересны конкретные приемы
==============================
Например как вариант анализ оптимизацыонной поверхности(ОП) ТС, правила, АМО итп...
Вот например ОП ТС пересечение двух машек по целевой "фактор востановления"
Эстественно это ТС не рабочая , никогда не была и не будет
=======================================
А вот уже ОП рабочей ТС которая очень даже стабильно делает прибыль пока что (Валерий в курсе :) )
Так сказать почуствуйте разницу.
Так что есть у меня навящивая идея что если увидеть ОП ТС то можно сказать что она из себя представляет и будет ли работать на новых данных..
Но считать ОП долго и сложно, может можно это как то обойти более елегантно и менее трудоемко с точки зрения выч. ресурсов.
Так что есть у меня навящивая идея что если увидеть ОП ТС то можно сказать что она из себя представляет и будет ли работать на новых данных..
Но считать ОП долго и сложно, может можно это как то обойти более елегантно и менее трудоемко с точки зрения выч. ресурсов.
Имею некоторое представление как это делаю алго-трейдеры. Понятия не имею как делают датасаентисты. И точно знаю как это делаю я)).
Оптимизационная поверхность, я так понимаю, это (в данном случае) 3-мерное пространство, где 2 оси - оси параметров (модели, стратегии), одна - целевой метрики. Да, конечно, можно через это заходить. У меня есть пару способов и если надо можно еще придумать что-то. Правда, сейчас я уже с другой стороны захожу. Ну и, конечно, нет никакого желания делиться полезной информацией с человеком, который заходит с "Это все очевидные вещи, масло масляное.")).