Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3518

[[Удален]]

Aleksey Vyazmikin #:

Думаю, для этого нужен Recall под единицу, у меня таких и близко нет моделей.

Субъективно, снижение энтропии должно влиять на любых дынных и для любых моделей. Если есть такая зависимость, но она пока не доказана.

Чатгпт говорит, что нет прямой зависимости. Но мы, конечно же, очень ему верим. 

[[Удален]]

Чем меньше энтропия - тем больше паттернов всяческих, меньше шума в данных. Порядок меток косвенно отражает паттерны в исходных данных. Такая логика.

Не важно, что эти метки не зависят друг от друга, а зависят от фичей. (на самом деле зависят друг от друга)

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:
Субъективно, снижение энтропии должно влиять на любых дынных и для любых моделей. Если есть такая зависимость, но она пока не доказана.

Я к тому, что при низком Recall - будет очень мало единиц после классификации, а их, вероятно, должно быть примерно столько же для корректной оценки. Или предлагаете брать только участок, где модель классифицировала пример единицей и по этим данным оценивать энтропию? Тогда объём данных будет очень мал.

[[Удален]]

Aleksey Vyazmikin #:

Я к тому, что при низком Recall - будет очень мало единиц после классификации, а их, вероятно, должно быть примерно столько же для корректной оценки. Или предлагаете брать только участок, где модель классифицировала пример единицей и по этим данным оценивать энтропию? Тогда объём данных будет очень мал.

Надо сравнивать относительно других похожих моделей, похожие разметки между собой. Тогда не важны абсолютные значения энтропии.

[[Удален]]

Maxim Dmitrievsky #:
Субъективно, снижение энтропии должно влиять на любых дынных и для любых моделей. Если есть такая зависимость, но она пока не доказана.

Чатгпт говорит, что нет прямой зависимости. Но мы, конечно же, очень ему верим. 

переводчик на англ. форуме перевел, что "должно влиять на любые дыни". Там было слово "Данные" :)

Хотя на некоторые дыни это тоже может повлиять :)

[[Удален]]

Горизонт прогнозирования сильно влияет на энтропию лейблов в моем случае.

Вот пока что самый лучший результат, когда предсказание на 7 баров вперед

На новых данных тоже прикольно работает. Но надо потом сделать все тесты в цифрах.

Iteration: 0, Cluster: 8, PE: 0.40936608744037023
R2: 0.9870464881731833
Iteration: 0, Cluster: 0, PE: 0.4050201326242423
R2: 0.9501689078137812
Iteration: 0, Cluster: 14, PE: 0.4068050171665601
R2: 0.9424351839049473
Iteration: 0, Cluster: 6, PE: 0.4083841431533637
R2: 0.9640201773292999
Iteration: 0, Cluster: 1, PE: 0.4029598952998219
R2: 0.9647563735412019
Iteration: 0, Cluster: 10, PE: 0.42256264493226764
R2: 0.9480179359165651
Iteration: 0, Cluster: 11, PE: 0.39482397910804234
R2: 0.9544428061031717
Iteration: 0, Cluster: 4, PE: 0.4142613513859099
R2: 0.9627640645034978
Iteration: 0, Cluster: 13, PE: 0.39485729195195374
R2: 0.9681222157387659
Iteration: 0, Cluster: 2, PE: 0.4105500062917616
R2: 0.9247043823736797
Iteration: 0, Cluster: 3, PE: 0.4369346321572134
R2: 0.957083732499118
Iteration: 0, Cluster: 7, PE: 0.39147941900792577
R2: 0.9229524618732813
Iteration: 0, Cluster: 9, PE: 0.3804822442346182
R2: 0.9578936787240975
Iteration: 0, Cluster: 12, PE: 0.4128185350207254
R2: 0.90955228742045
Iteration: 0, Cluster: 5, PE: 0.37123232664087563
R2: 0.9187458031617316

[Aleksey Vyazmikin]

Maxim Dmitrievsky #:

Горизонт прогнозирования сильно влияет на энтропию лейблов в моем случае.

Вот пока что самый лучший результат, когда предсказание на 7 баров вперед

На новых данных тоже прикольно работает. Но надо потом сделать все тесты в цифрах.

Как Вы сравниваете после разбивки на кластеры (судя по логу), ведь, предполагаю, в них разное число элементов выборки?

[[Удален]]

Aleksey Vyazmikin #:

Как Вы сравниваете после разбивки на кластеры (судя по логу), ведь, предполагаю, в них разное число элементов выборки?

Видимо, кол-во элементов не так сильно влияет на метрику

гораздо сильнее влияет способ разметки лейблов

[[Удален]]

Горизонт 50 :)

Iteration: 0, Cluster: 9, PE: 0.19187815187230203
R2: 0.9251399849015964
Iteration: 0, Cluster: 5, PE: 0.1777799526873072
R2: 0.9411135040325027
Iteration: 0, Cluster: 10, PE: 0.1911386275608683
R2: 0.9824844090017448
Iteration: 0, Cluster: 0, PE: 0.17365747619232763
R2: 0.9526050618178151
Iteration: 0, Cluster: 2, PE: 0.1955128258151347
R2: 0.94080469873982
Iteration: 0, Cluster: 14, PE: 0.18717625687320816
R2: 0.9494205895982205
Iteration: 0, Cluster: 7, PE: 0.18377017584958724
R2: 0.9854412735000905
Iteration: 0, Cluster: 4, PE: 0.19457491293528226
R2: 0.9707028666409455
Iteration: 0, Cluster: 8, PE: 0.19303068880218144
R2: 0.9436050178630804
Iteration: 0, Cluster: 1, PE: 0.17772969862939111
R2: 0.9644481799583889
Iteration: 0, Cluster: 12, PE: 0.19687310008150688
R2: 0.9403352291614797
Iteration: 0, Cluster: 3, PE: 0.2035721978224435
R2: 0.946321085154211
Iteration: 0, Cluster: 6, PE: 0.16732132934343538
R2: 0.6934348651830222
Iteration: 0, Cluster: 13, PE: 0.133697960635451
R2: 0.8435168292151949
Iteration: 0, Cluster: 11, PE: 0.20661933275140204
R2: -0.49276758465328296

[[Удален]]

А при 100 уже не сильно отличается от 50

Iteration: 0, Cluster: 10, PE: 0.16038670523330656
R2: 0.9580619927003785
Iteration: 0, Cluster: 1, PE: 0.15737235389885312
R2: 0.9659289040195005
Iteration: 0, Cluster: 9, PE: 0.1478247664210394
R2: 0.9693791189100427
Iteration: 0, Cluster: 2, PE: 0.15021002743081394
R2: 0.9673070214237375
Iteration: 0, Cluster: 3, PE: 0.15299954318048092
R2: 0.9231769724429475
Iteration: 0, Cluster: 11, PE: 0.1384676715929523
R2: 0.8693818621168186
Iteration: 0, Cluster: 14, PE: 0.15557181624465333
R2: 0.9368067810197325
Iteration: 0, Cluster: 0, PE: 0.15229071787639473
R2: 0.9607822838854807
Iteration: 0, Cluster: 5, PE: 0.14474537028244805
R2: 0.9698991100312909
Iteration: 0, Cluster: 8, PE: 0.14420260682560085
R2: 0.8769507302434456
Iteration: 0, Cluster: 4, PE: 0.15773505587243142
R2: 0.8376469887869636
Iteration: 0, Cluster: 12, PE: 0.1421691062142389
R2: 0.8871514149822588
Iteration: 0, Cluster: 6, PE: 0.1244569768624934
R2: -0.023682081750673878
Iteration: 0, Cluster: 7, PE: 0.16146347813874914
R2: 0.598090344655112
Iteration: 0, Cluster: 13, PE: 0.35335933502142136