Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2601

[Удален]  

Как установить CatBoost на m1 arm

рабочая схема, проверил

скоро обещают нативный инсталлер для питона

Apple Silicon support · Issue #1526 · catboost/catboost
Apple Silicon support · Issue #1526 · catboost/catboost
  • catboost
  • github.com
Is there any plan to get CatBoost supporting Apple Silicon CPU ?
 

Как отличить случайность от закономерности..?

Например если перебираеться огромный масив данных то высока вероятность найти  сочетание параметров которое образовано случайно  но выглядет как закономерность..

как отличить случайную НЕзакономерность от настоящей закономерности?

 
mytarmailS #:

Как отличить случайность от закономерности..?

Например если перебираеться огромный масив данных то высока вероятность найти  сочетание параметров которое образовано случайно  но выглядет как закономерность..

как отличить случайную НЕзакономерность от настоящей закономерности?

Только выявив причинно следственную связь. Если причин нет, то это сб.
 
mytarmailS #:

Как отличить случайность от закономерности..?

Например если перебираеться огромный масив данных то высока вероятность найти  сочетание параметров которое образовано случайно  но выглядет как закономерность..

как отличить случайную НЕзакономерность от настоящей закономерности?

Недостаточно формализован вопрос (с математической точки зрения). Что конкретно понимается под отсутствием/наличием закономерности/случайности?

В математике нет жёстко фиксированных и однозначно определяемых понятий закономерности/случайности. 

 
Valeriy Yastremskiy #:
Только выявив причинно следственную связь. Если причин нет, то это сб.
Не всегда возможно проследить причинно сдедственную связь
 
Aleksey Nikolayev #:

Недостаточно формализован вопрос (с математической точки зрения). Что конкретно понимается под отсутствием/наличием закономерности/случайности?

В математике нет жёстко фиксированных и однозначно определяемых понятий закономерности/случайности. 

Конкретный пример:
Есть логическое правило которое предсказывает что то с вероятность 80% и на трейне и на тесте и кросвалидацию прошло итп.. А на валидацыонных данных(абсолютно неизвесных новых данных) правило работает на уровне рандома.. 

Есть другое правило кторое ведет себя точно так де как первое на трейне, тесте и валидацыю проходит тоже без проблем, те реальная закономерность..

Вопрос : как можно отличить одно правило от другого на этапе  трейна , теста , кросвалидаций...  До этапа валидации..

Интересно есть ли какие то признаки по которым можно провести грань между одним и другим, может какие то статистические тесты на случайность или детерминизм итп..
 
mytarmailS #:
Конкретный пример:
Есть логическое правило которое предсказывает что то с вероятность 80% и на трейне и на тесте и кросвалидацию прошло итп.. А на валидацыонных данных(абсолютно неизвесных новых данных) правило работает на уровне рандома.. 

Есть другое правило кторое ведет себя точно так де как первое на трейне, тесте и валидацыю проходит тоже без проблем, те реальная закономерность..

Вопрос : как можно отличить одно правило от другого на этапе  трейна , теста , кросвалидаций...  До этапа валидации..

Интересно есть ли какие то признаки по которым можно провести грань между одним и другим, может какие то статистические тесты на случайность или детерминизм итп..

Вопрос случайность/закономерность краеугольный для всего алго и для ML в алго. 

Много всяких приемов и фишек. 


Самое простое - посмотреть, как ты получил результат. Если лучший результат ты получил... выбрав лучший результат из множества - конечно, вероятность подгонки очень большая (особенно если большая часть остальных результатов ни о чем). Результаты на тесте. Как ты их получил? - Конечно, если ты взял ТОП5% лучших на трейне, прогнал все их на тесте, отобрал лучший на тесте - конечно, вероятность подгонки по-прежнему не маленькая (особенно если средний результат остальных - не особо). Это "как не надо делать", уверен, очень прилично срежет вероятность попасть в переподгонку. Именно по этой причине вообще не понимаю, как можно чужого робот/модель оценивать по эквити - никак.


Дальше, как сказал, всякие приемы и фишки.  

 
Replikant_mih #:

Вопрос случайность/закономерность краеугольный для всего алго и для ML в алго. 

Много всяких приемов и фишек. 

Самое простое - посмотреть, как ты получил результат. Если лучший результат ты получил... выбрав лучший результат из множества - конечно, вероятность подгонки очень большая (особенно если большая часть остальных результатов ни о чем). Результаты на тесте. Как ты их получил? - Конечно, если ты взял ТОП5% лучших на трейне, прогнал все их на тесте, отобрал лучший на тесте - конечно, вероятность подгонки по-прежнему не маленькая (особенно если средний результат остальных - не особо). Это "как не надо делать", уверен, очень прилично срежет вероятность попасть в переподгонку. Именно по этой причине вообще не понимаю, как можно чужого робот/модель оценивать по эквити - никак.

Дальше, как сказал, всякие приемы и фишки.  

Это все очевидные вещи, масло масляное.. Интересны конкретные приемы 

==============================

Например как вариант анализ оптимизацыонной поверхности(ОП)    ТС,  правила,  АМО итп...

Вот например ОП ТС пересечение двух машек по целевой "фактор востановления"

Эстественно это ТС не рабочая , никогда не была и не будет


=======================================

А вот уже ОП рабочей ТС  которая очень даже стабильно делает прибыль пока что (Валерий в курсе :) )


Так сказать почуствуйте разницу.

 

Так что есть у меня навящивая идея что если увидеть ОП ТС то можно сказать что она из себя представляет и будет ли работать на новых данных..

Но считать ОП долго и сложно, может можно это как то обойти более елегантно и менее трудоемко с точки зрения выч. ресурсов.

 
mytarmailS #:

Так что есть у меня навящивая идея что если увидеть ОП ТС то можно сказать что она из себя представляет и будет ли работать на новых данных..

Но считать ОП долго и сложно, может можно это как то обойти более елегантно и менее трудоемко с точки зрения выч. ресурсов.

Имею некоторое представление как это делаю алго-трейдеры. Понятия не имею как делают датасаентисты. И точно знаю как это делаю я)).


Оптимизационная поверхность, я так понимаю, это (в данном случае) 3-мерное пространство, где 2 оси - оси параметров (модели, стратегии), одна - целевой метрики. Да, конечно, можно через это заходить. У меня есть пару способов и если надо можно еще придумать что-то. Правда, сейчас я уже с другой стороны захожу. Ну и, конечно, нет никакого желания делиться полезной информацией с человеком, который заходит с  "Это все очевидные вещи, масло масляное.")).