Maxim Dmitrievsky #: Eu esperava que alguém pudesse pelo menos pesquisar a dica no Google.
Mesmo que você tenha curvas de probabilidade em seu treinamento, sobre quais dados novos você pode falar. E Busting e Forrest pecam muito com isso. Busting é excesso de confiança, Forrest é falta de confiança. Desde que, é claro, você planeje usar o limite.
Eu mesmo observei que, quando você aumenta o limite, a qualidade das negociações não melhora nem mesmo na linha de base. Então, qual é a probabilidade de retorno do modelo? Nada :)
Na imagem de Sanych, há um busting autoconfiante, que pode ser visto pelos outliers da coluna da borda. O vale deveria ser mais suave. Esse é um modelo de treinamento excessivo.
Ele mostra o resultado do modelo em intervalos de "probabilidade" com passo de 0,05. O CatBoost coloca a separação de classes em 0,5 com bastante precisão (magnetta é 1, aqua é 0).
Você pode ver que o resultado da barbatana é positivo a partir de 0,35 - a curva verde se eleva acima da curva vermelha.
É isso que você deseja calibrar: deslocar o ponto de separação de classes para o ponto de geração de receita?
Acho que todo mundo já ouviu falar sobre calibração, mas ela não tem utilidade prática, justamente porque a amostra não é representativa.
A estimativa probabilística de folhas individuais, em minha opinião, fornece um resultado mais razoável do que a reponderação da soma das folhas do modelo.
Acho que todo mundo já ouviu falar sobre calibração, mas não há utilidade prática nisso, simplesmente porque a amostra não é representativa.
A estimativa probabilística de folhas individuais, em minha opinião, fornece um resultado mais razoável do que a reponderação da soma das folhas do modelo.
Todo mundo já ouviu de tudo, mas ninguém respondeu a nada. Sem mencionar outras nuances que não são divulgadas, mas apenas adivinhadas, que acabam sendo o caso.
E se você tem um modelo fraco (com baixa expectativa), mas estável em OOS, não faz sentido calibrar também? E se você pensar sobre isso.
Maxim Dmitrievsky #: Todos ouviram tudo, mas ninguém respondeu nada. Sem mencionar outras nuances que não são reveladas, mas apenas adivinhadas que acabam sendo isso.
E se você tiver um modelo fraco (com baixa expectativa), mas estável em OOS, não faz sentido calibrá-lo também? E se você pensar sobre isso.
Agora tive a ideia de uma calibração constante, com algum peso - algo como EMA para cada intervalo. Assim, pelo menos haverá um efeito de adaptação à volatilidade do mercado e à obsolescência do modelo.
Não vejo sentido na calibração estática em alguns dados separados. Em meus preditores, investiguei a questão da estabilidade dos indicadores estatísticos, e há poucos indicadores desse tipo, e o modelo está cheio desses preditores erráticos. É por isso que estou procurando estabilidade à qual algo como isso possa ser aplicado.....
Na captura de tela acima, mostrei o modelo na seção - você pode ver como o Recall nas bordas é geralmente baixo, o que já fala sobre medidas estatísticas não iguais para a mesma ponderação, e muitas vezes elas não serão suficientes para falar, mesmo em teoria, sobre estabilidade nesse intervalo de "probabilidade". Portanto, também desse ponto de vista, calibrar o total parece uma ideia duvidosa.
Estou mais interessado na ideia de reponderar os valores nas folhas, no entanto, já escrevi sobre isso anteriormente, mas não recebi nenhum feedback aqui - portanto, é tudo por minha conta....
Para login e uso do site MQL5.com, você deve ativar o uso de cookies.
Ative esta opção no seu navegador, caso contrário você não poderá fazer login.
Você entrou na conta. A autenticação de dois fatores foi desativada. Configure-a novamente e escaneie um novo código QR ou continue com a autenticação de dois fatores desativada.
Eu esperava que alguém pudesse pelo menos pesquisar a dica no Google.
Ele mostra o resultado do modelo em intervalos de "probabilidade" com passo de 0,05. O CatBoost coloca a separação de classes em 0,5 com bastante precisão (magnetta é 1, aqua é 0).
Você pode ver que o resultado da barbatana é positivo a partir de 0,35 - a curva verde se eleva acima da curva vermelha.
É isso que você deseja calibrar: deslocar o ponto de separação de classes para o ponto de geração de receita?
É exatamente isso que você quer calibrar, mudando o ponto de divisão de classes para o ponto de geração de renda?
Não.
Então, qual é o objetivo?
Acho que todo mundo já ouviu falar sobre calibração, mas ela não tem utilidade prática, justamente porque a amostra não é representativa.
A estimativa probabilística de folhas individuais, em minha opinião, fornece um resultado mais razoável do que a reponderação da soma das folhas do modelo.
Acho que todo mundo já ouviu falar sobre calibração, mas não há utilidade prática nisso, simplesmente porque a amostra não é representativa.
A estimativa probabilística de folhas individuais, em minha opinião, fornece um resultado mais razoável do que a reponderação da soma das folhas do modelo.
Todos ouviram tudo, mas ninguém respondeu nada. Sem mencionar outras nuances que não são reveladas, mas apenas adivinhadas que acabam sendo isso.
Agora tive a ideia de uma calibração constante, com algum peso - algo como EMA para cada intervalo. Assim, pelo menos haverá um efeito de adaptação à volatilidade do mercado e à obsolescência do modelo.
Não vejo sentido na calibração estática em alguns dados separados. Em meus preditores, investiguei a questão da estabilidade dos indicadores estatísticos, e há poucos indicadores desse tipo, e o modelo está cheio desses preditores erráticos. É por isso que estou procurando estabilidade à qual algo como isso possa ser aplicado.....
Na captura de tela acima, mostrei o modelo na seção - você pode ver como o Recall nas bordas é geralmente baixo, o que já fala sobre medidas estatísticas não iguais para a mesma ponderação, e muitas vezes elas não serão suficientes para falar, mesmo em teoria, sobre estabilidade nesse intervalo de "probabilidade". Portanto, também desse ponto de vista, calibrar o total parece uma ideia duvidosa.
Estou mais interessado na ideia de reponderar os valores nas folhas, no entanto, já escrevi sobre isso anteriormente, mas não recebi nenhum feedback aqui - portanto, é tudo por minha conta....
https://education.yandex.ru/handbook/ml/article/veroyatnostnyj-podhod-v-ml
https://education.yandex.ru/handbook/ml/article/kak-ocenivat-veroyatnosti