Discussão do artigo "Superando as limitações do aprendizado de máquina (Parte 1): carência de métricas compatíveis"

Novo comentário
 

Novo artigo Superando as limitações do aprendizado de máquina (Parte 1): carência de métricas compatíveis foi publicado:

Neste artigo, mostramos que parte dos problemas que enfrentamos está enraizada em seguir cegamente as "melhores práticas". Ao apresentar ao leitor evidências simples, baseadas no mercado real, explicaremos por que devemos evitar esse comportamento e, em vez disso, adotar boas práticas baseadas em domínios específicos, caso nossa comunidade queira ter alguma chance de recuperar o potencial oculto da IA.

Imagine que você está participando de uma competição semelhante a uma loteria. Você e outras 99 pessoas são escolhidos aleatoriamente para disputar um prêmio acumulado de 1 000 000 de dólares. As regras são simples: você precisa adivinhar a altura dos outros 99 participantes. O vencedor será quem tiver o menor erro total nas 99 tentativas.

Agora vem a parte inesperada: neste exemplo, imagine que a altura média de uma pessoa no mundo seja de 1,1 metro. Se você simplesmente usar a estimativa de 1,1 metro para todos, poderá de fato ganhar o jackpot, mesmo que cada previsão esteja tecnicamente errada. E por quê? Porque, em um ambiente ruidoso e incerto, estimar o valor médio tende a gerar o menor erro total.


Autor: Gamuchirai Zororo Ndawana

[Excluído]  

"No entanto, nossa estratégia demonstra a capacidade de se recuperar e permanecer no caminho certo, que é exatamente o que buscamos."

Sempre achei que o que se deve buscar é que uma estratégia gere lucros :)

 
Maxim Dmitrievsky #:

"No entanto, nossa estratégia mostra a capacidade de se recuperar e permanecer no caminho certo, que é exatamente o que estamos buscando."

Sempre achei que você deve se esforçar para que uma estratégia traga lucros :)

Sim, de fato, mas infelizmente ainda não temos métricas padronizadas de aprendizado de máquina que levem em conta a diferença entre lucro e prejuízo.
 

Obrigado pelo artigo, @Gamuchirai Zororo Ndawana

Concordo com @Maxim Dmitrievsky que o objetivo final é a lucratividade. A ideia de "recuperar e manter-se no caminho certo" faz sentido como controle de robustez e rebaixamento, mas não substitui o lucro.

Em relação às métricas: é verdade que não existe uma métrica de ML padronizada que tenha em conta a PnL, embora, na prática, os modelos sejam validados com Sharpe, Sortino, Calmar, fator de lucro, DD máximo, além de perdas ou recompensas assimétricas no aprendizado por reforço (estilo RL) que incorpora a PnL e os custos (custos e rotatividade).

Tecnicamente, eu revisaria dois pontos-chave do artigo:
  • Os exemplos contêm viés de antecipação (recursos que usam i + HORIZON), o que invalida a avaliação;
  • O teste DRS que "soma zero" é tautológico porque os dois rótulos são antissimétricos por construção e não prova o entendimento do mercado.
Mesmo assim, o lembrete de não selecionar por RMSE ou MAE nos retornos é útil.

Sugestão prática: teste walk-forward, custos e derrapagem, perda assimétrica ou quantil ou objetivos baseados em utilidade e penalização do volume de negócios para evitar o mean hugging. (Consideração pragmática: alinhe a perda com a forma como você ganha dinheiro).
 

Citado: Sim, de fato, mas infelizmente ainda não temos métricas padronizadas de aprendizado de máquina que estejam cientes da diferença entre lucro e prejuízo.

Resposta: As colunas de lucros e perdas só existirão se o seu produto testado ou o mercado plano for tão bom quanto o mercado a termo que você está usando em relação ao portfólio subsequente ou à cesta de índices que seguirá essa linha de ordem.

Existem alguns índices e ETFs recém-fundados que estão sendo lançados, ou que são produzidos cada vez mais, para esse uso pretendido, e que produzirão esses resultados, margens de lucro, como o índice dowjones 30, bem como muitos outros índices que foram criados para esse uso pretendido. Peter Matty

 
Miguel Angel Vico Alba # :

Obrigado pelo artigo, @Gamuchirai Zororo Ndawana

Concordo com @Maxim Dmitrievsky que o objetivo final é a lucratividade. A ideia de se recuperar e permanecer no caminho certo faz sentido para a robustez e o controle do drawdown, mas não substitui o lucro.

Com relação às métricas: é verdade que não existe uma métrica de ML padronizada que leve em conta o PnL, embora, na prática, os modelos sejam validados usando Sharpe, Sortino, Calmar, Win Factor, Max DD, bem como perdas ou recompensas assimétricas no aprendizado por reforço (estilo RL) que incluem PnL e custo (custo e receita).

Do ponto de vista técnico, eu verificaria dois pontos importantes do artigo:
  • Os exemplos contêm viés de antecipação (recursos com i + HORIZON), o que invalida a avaliação;
  • O teste DRS, em que "a soma é zero", é tautológico porque os dois termos são antissimétricos por design; ele não demonstra compreensão do mercado.
No entanto, a recomendação de não selecionar com base no RMSE ou MAE dos retornos é útil. Sugestões práticas: Testes de avanço, custo e derrapagem, metas assimétricas ou quantis baseadas em perdas ou benefícios e penalização da receita para evitar o mean hugging. (Abordagem pragmática: alinhar a perda com a forma como você ganha dinheiro.)

Às vezes, eu me pergunto se as ferramentas de tradução com as quais contamos podem não captar a mensagem original. Sua resposta oferece muito mais pontos de discussão do que o que eu entendi da mensagem original de @Maxim Dmitrievsky .

Obrigado por apontar esses descuidos na tendência de olhar para frente (recursos com i + HORIZON), esses são os piores bugs que odeio, eles exigem um novo teste completo. Mas, desta vez, com mais cuidado.

Você também forneceu um feedback valioso sobre as medidas de validação usadas para validar modelos na prática. Preciso aprender mais sobre Calmar e Sortino para desenvolver uma opinião sobre eles, obrigado por isso.

Concordo com você que os dois termos são antissimétricos por design, e o teste é que os modelos devem permanecer antissimétricos, qualquer desvio dessa expectativa é reprovado no teste. Se um ou ambos os modelos tiverem uma tendência inaceitável, suas previsões não permanecerão antissimétricas como esperamos.

Entretanto, a noção de lucro é apenas uma ilustração simples que dei para destacar o problema. Nenhuma das métricas que temos hoje nos informa quando o mean hugging está acontecendo. Nenhuma das publicações sobre aprendizado estatístico nos diz por que está ocorrendo o mean hugging. Infelizmente, isso está acontecendo devido às práticas recomendadas que seguimos, e essa é apenas uma das muitas maneiras pelas quais desejo iniciar mais conversas sobre os perigos das práticas recomendadas.

Esse artigo foi mais um pedido de ajuda, para que nos reuníssemos e criássemos novos protocolos desde o início. Novos padrões. Novos objetivos nos quais nossos otimizadores trabalhem diretamente e que sejam adaptados aos nossos interesses.

Novo comentário