Tudo sobre Inteligência Artificial (IA) - página 5

[Rogerio Figurelli]

Trader_Patinhas:

Legal essa implementação em MQL5, @Joscelino Celso de Oliveira!

E parece bem fácil de usar! Obrigado por compartilhar!

Eu uso muito kernel RBF (função de base radial - geralmente a mais usada é a gaussiana) em modelos do tipo  Support Vector Machine (SVM).

O uso da RBF dá uma enorme flexibilidade à função de decisão, o que é uma "faca de dois gumes".

Por um lado, permite que a rede neural ou a SVM se adaptem a qualquer tipo de função de decisão que seja necessária para se ajustar aos dados de treinamento , por mais loucamente descontínua e não-linear que essa função de decisão precise ser para obter um bom resultado, o que permite obter bom desempenho mesmo em cenários hostis ao aprendizado de máquina.

Porém, por outro lado, essa mesma flexibilidade conduz facilmente ao "overfitting" (obter resultados maravilhosos no backtesting mas não conseguir generalizar esses bons resultados em períodos futuros) se vc deixar a rede neural "se viciar" demasiadamente nos dados de treinamento.    

Por isso, tanto em uma rede neural quanto no SVM, ao usar função de base radial (RBF) vc tem que ajustar bem o parâmetro de regularização, para evitar o "overfitting".

Nessa implementação de rede RBF que vc postou, a regularização é feita pelo parâmetro "epoch".  

No meu projeto atual estou treinando os modelos preditivos fora do MQL5, mas é muito bom ter modelos preditivos implementados em MQL5, para futuramente não depender de nada externo. Vou testar essa classe assim que tiver um tempo.

Olá  Trader_Patinhas, você traz para mesa dois pontos que considero muito relevantes para essa thread, principalmente quando de trata de machine learning: overfitting e a questão de não depender de nada externo, também apresentada originalmente pela ótima sugestão de lib/classe feita pelo  Joscelino Celso de Oliveira, muito utilizada para séries temporais.
Uma das maiores dificuldades que vejo no overfitting, nesse contexto, é conseguir separar o que é realmente problema de perda pela estratégia, pelo setup ou de real mudança do mercado, que sempre pode surpreender, e nem sempre de forma legal e ética.
E, minha visão, e dois centavos, é que a própria inteligência artificial é uma ferramenta fantástica para combater o overfitting, identificando com maior precisão essas situações.
Na verdade, estamos caminhando para modelos tão complexos, com milhões de variáveis, onde dificilmente um gestor, por mais competente que seja, poderá depender de si próprio para evitar um ajuste ineficiente.
Ou seja, as máquinas devem ajudar no seu próprio ajuste.
E nós, as pessoas, devemos ajudar as máquinas a fazerem isso.
Sds.,
Rogério Figurelli

[Rogerio Figurelli]

Fórum de negociação, sistemas de negociação automatizados e testes de estratégias de negociação

Do sonho da arbitragem de latência à realidade da estratégia eficaz

Rogerio Figurelli, 2019.08.24 23:11

Olá a todos,
Vejo muitos traders sonhando de alguma forma conseguir resultados através de sistemas de arbitragem por latência, buscando ganhos dentro da lógica de flash traders, através do MT5.
Mas a verdade é que os principais sistemas que fazem isso utilizam as mais avançadas tecnologias para reduzir a latência ao máximo, além de estarem hospedados em ambientes de comunicação totalmente na velocidade da luz.
Por outro lado, vejo que a criação de estratégias realmente eficazes, que tenham inteligência para superarem outras estratégias, não tem a mesma repercussão.
O maior paradoxo dessa realidade é que, uma ideia realmente inteligente e competitiva pode gerar resultados superiores, mesmo operando com latências muito altas, portanto, minha recomendação para todos algotraders é que não deixem de lado esse potencial criativo de estratégias eficazes.
Um bom exemplo nesse sentido, nesse site, é a área de Freelance, onde vejo excelentes ideias de pessoas criativas buscando estratégias vencedoras, e investindo para isso.
Sds.,
Rogério Figurelli

[Rogerio Figurelli]

Bom dia a todos,

Para quem está desenvolvendo trading systems com IA, um artigo com sugestão de parâmetros para decompor o comportamento do mercado.

The Use of Artificial Intelligence in Building Automated Trading Systems
https://pdfs.semanticscholar.org/f883/7ecd696fc8f41939c59ab83840f4bcbe0fdf.pdf
"The behavior of market it is possible to decompose the 4 parameters:
1) The trend parameter (Tt), which is defined as long-term increasing or decreasing trend in the market - such as economic growth or consistent good underlying asset or commodity (in 2001-2012 gold, etc.).
2) Cyclic parameter (Ct) is characterized by long-term cyclical fluctuations trend with a period less than a year – swing.
3) Seasonal parameter (St) is described as a regular deviation from the trend in the same period.
4) Random parameter - irregular short-term fluctuations having a totally random character (E)."

Sds.,
Rogério Figurelli

[Rogerio Figurelli]

Neural Network In Python: Introduction, Structure And Trading Strategies

https://blog.quantinsti.com/neural-network-python/

[Rogerio Figurelli]

K-Means Clustering Algorithm For Pair Selection In Python

https://blog.quantinsti.com/k-means-clustering-pair-selection-python/

[potmoney]

Boa tarde,

Alguém sabe sobre curso para montar robô com IA usando MT5?

[Rogerio Figurelli]

potmoney:

Boa tarde,

Alguém sabe sobre curso para montar robô com IA usando MT5?

Olá  potmoney, note que as regras desse fórum não permitem a divulgação de produtos/serviços/cursos/etc. de qualquer tema, portanto você terá dificuldades em conseguir essa resposta por aqui.
Sds.,
Rogério Figurelli

[Rogerio Figurelli]

Fórum de negociação, sistemas de negociação automatizados e testes de estratégias de negociação

Lições do Mestre dos Robôs

Rogerio Figurelli, 2019.10.22 21:38

Boa tarde a todos,

Talvez você já se considere um mestre dos robôs, mas, seja como for, recomendo estudar alguns dos conselhos de Marco Lopez de Prado [1], especialmente se está buscando aplicar machine learning (ML) aos seus robôs, onde recomendo ler atentamente algumas de suas lições [2].

Acompanho a bastante tempo o trabalho de vários dos ícones de mercado, como Prado, principalmente na área de inteligência artificial, e sem dúvida esse crédito é merecido, e estamos tratando de um profissional de profundo conhecimento e expertise na área de finanças quantitativas, e onde encontro alinhamento de várias ideias, principalmente no que se refere ao pouco valor prático da grande maior parte de artigos de aplicações de aprendizado de máquina no mercado financeiro, por estarem dissociados da realidade e de maior comprovação prática e o fato de que ML, de uma forma ou outra, irá encontrar padrões, mesmo que não se comprovem ou gerem retorno no mundo real. Recomendo também, a todos, conhecerem as teorias e o combate ao overfitting proposto por Marcos, principalmente sua abordagem True Positive Technologies (TPT), que são brilhantes, e, o mais importante, apresentam reconhecido resultado de mercado na maioria dos grandes fundos quantitativos.

Mas, apesar disso, discordo em vários pontos do Mestre, principalmente relacionados a sua maior especialidade, que é o machine learning. Na verdade, quando entramos na área de inteligência artificial, principalmente de deep learning, estamos tratando de um campo aberto, onde as verdades mudam a todo o momento, principalmente quando aplicadas na área financeira e de incerteza e complexidade infinita do mercado de capitais.

Nesse sentido, apresento uma pequena contribuição de meus contrapontos sobre as reflexões do Mestre, para quem tiver interesse em debater.

- Quando afirma que o ML não deve ser considerado como uma caixa-preta, penso que esse é um paradigma que pode ser endereçado de forma específica no mercado financeiro, se segmentamos os problemas em pequenas partes, como proposto pela abordagem do Mestre. Mas a realidade é que o grande problema do ML é a falta de interpretabilidade de modelos que envolvem grande volume de variáveis de entrada, e, no meu entender, são justamente esses problemas as grandes evoluções dessa tecnologia e onde existem grandes oportunidades e ameaças para os traders, com descoberta de padrões que possam ser aprendidos pelas máquinas.

- Outro ponto relevante, que é pouco ou quase não tratado pelo Mestre, é a questão de causalidade, o que é muito natural em um mercado onde os principais ícones estão buscando por padrões estacionários. Mas a verdade é que o próprio ML se mostra cada vez mais em seu limite em termos de arquitetura cognitiva de fato, e esse é um dos pontos onde Yoshua Bengio, outro mestre, mas da Inteligência Artificial, vencedor do Prêmio Turing de 2018, que é uma espécie de Prêmio Nobel da computação, tem reconhecido e buscado trabalhar em seus últimos artigos [3]. Antes que você pense que, se fosse possível unir esses dois mestres para construção de um robô trader, os mercados estariam ameaçados, lembre que no mundo real, principalmente da IA, as verdades mudam a todo momento. Entretanto, a lógica de causalidade me parece fundamental na área de trading systems, e esse é um dos pontos que mais busco encontrar a verdade, e vejo a entrada de Bengio nessa evolução do ML como fundamental para sua credibilidade.

- Outra contribuição de contraponto ao Mestre é em relação aos grandes riscos do ML, a partir da reconhecida falta de causalidade que citei anteriormente, e, principalmente, à aplicação de deep learning sem um foco realmente de risco sistêmico, já que acredito que existem dois princípios que desafiam bastante suas lógicas de aplicação de ML, ou qualquer outro método sistêmico, no mercado: a lógica do cisne negro, de outro Mestre, Nicholas Taleb [5], que parece ter sido esquecida nos últimos anos após a grande Crise do Subprime, iniciada nos EUA em 2008, e, principalmente, a de O-Ring, que é um princípio econômico, proposto pelo economista Michael Kremer [6], da universidade de Harvard, e que afirma que uma coleção de tarefas de produção deve ser executada com sucesso, em conjunto, para que qualquer uma delas seja realmente de valor. Na verdade, vejo que esse brilhante princípio econômico de Kremer desafiam o ML e toda a IA aplicada às finanças, e até mesmo a brilhante abordagem de TPT, como, infelizmente, desafiaram os engenheiros do ônibus espacial Challenger, literalmente surpreendidos pela falha de um o-ring.

Nesse sentido, meu principal contraponto é que, na verdade, todo e qualquer sistema de modelagem de robôs por ML, principalmente por deep learning, irá possuir algum viés de alto risco, que, de uma forma ou outra, pode representar um risco sistêmico, que afetará todo os resultados até então, como tantas vezes vimos no passado, principalmente pela pressão de operação e resultados do mercado atual. 

Seja como for, estamos tratando de problemas de alta complexidade na área de Inteligência Artificial, e de ombros de gigantes, portanto recomendo a todos pisarem em ovos! 

Bom debate a todos.

Sds.,

Rogério Figurelli

---

Referências:

[1] The Master of Robots Left AQR. Now He’s Coming for Wall Street

https://www.bloomberg.com/news/articles/2019-10-09/the-master-of-robots-left-aqr-now-he-s-coming-for-wall-street

[2] Q&A on Financial Machine Learning (Course Materials)

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3459207

[3] A Meta-Transfer Objective for Learning to Disentangle Causal Mechanisms

https://arxiv.org/abs/1901.10912

[4] True Positive Technologies (TPT)

https://www.truepositive.com/

[5] Black swan theory

https://en.wikipedia.org/wiki/Black_swan_theory

[6] O-ring theory of economic development

https://en.wikipedia.org/wiki/O-ring_theory_of_economic_development

[potmoney]

Rogerio Figurelli:

Ótimo comentário.

Na verdade , nem IA dá conta do mercado. Exemplo disso é quando um balanço de uma empresa está acima do esperado. A tendência seria de alta , mas tem acontecido o inverso.

O Lula já estava liberado para sair da cadeia e não aconteceu nada. Quando votaram para cancelar prisão em segunda instância a bolsa cai.

As vezes , quando a notícia aparece, a bolsa já caiu ou já subiu. Então , se tiver IA  para avaliar a situação atual , fica difícil.

A ideia seria um robô para avaliar a oscilação em tempo real e tratar a maioria das combinações que aparecem, sem um tratamento atropelar o outro.(overfitting).

É o que todos fazem.

[Rogerio Figurelli]

potmoney:

Ótimo comentário.

Na verdade , nem IA dá conta do mercado. Exemplo disso é quando um balanço de uma empresa está acima do esperado. A tendência seria de alta , mas tem acontecido o inverso. ...

Olá  potmoney, você traz um ponto muito relevante para discussão.
Acredito que a vantagem competitiva da IA ainda não está na visão estratégica e geral de mercado, pois isso envolve ter capacidade de representação muito abstrata, quando não intuitiva, algo ainda do domínio dos gestores humanos. Entretanto, minha opinião é que a IA, principalmente as tecnologias de deep learning, são cada vez mais relevantes e competitivas para criar, analisar e ajustar modelos financeiros, como por exemplo identificar anomalias ou oportunidades em tempo real.
O ideal, e minha recomendação para quem está trabalhando com IA no mercado de capitais é justamente agregar modelos onde ela é mais forte que os gestores humanos, complementando essa competência. E o potencial para isso, no meu entender, é ilimitado, uma vez que não existem limites para a criatividade em buscar novos sistemas de representação digital da informação de mercado, ainda mais em uma plataforma aberta e internacional como o MT5.
Sds.,
Rogério Figurelli