Reduzindo a incerteza do mercado com a adoção de Inteligência Artificial (IA) - página 5

Rogerio Figurelli
Moderador
58887
Joao Luiz Sa Marchioro:

...

Ainda vou perder mais algum tempo no desenvolvimento de IA, vou aproveitar o código do link que enviou pra estudos, mas pessoalmente já estou com essa abordagem de IA em final de linha. Vou continuar por teimosia mesmo. KKKKKKKKKK

Olá Joao Luiz Sa Marchioro, valeu, eu que agradeço, na minha opinião, sua assumida teimosia e busca exaustiva por bons cases de IA é muito positiva e sinaliza, talvez de forma inconsciente ou intuitiva, seu desconforto com as tecnologias e robôs atuais, sem IA, e é justamente essa força que tem movido muitos traders para a competição internacional de tecnologias nessa área, afinal ninguém se move se está na zona de conforto ou satisfeito com seus resultados atuais.

Por exemplo, note que o próprio overfitting é, por fundamento, endereçado cada vez mais com técnicas avançadas pela IA, afinal, sem isso, modelos de deep learning com milhões de parâmetros, não iriam funcionar. Assim como transformar resultados de backtesting em realidade é uma das áreas que mais utilizo IA e vejo grande evolução dentro do MT5. Isso acontece cada vez mais, justamente pela evolução dessa tecnologia, e existem diversas empresas oferecendo as mais variadas tecnologias de IA para isso, como os 17 cases abaixo, que recomendo você analisar alguns:

How AI trading technology is making stock market investors smarter — and richer
https://builtin.com/artificial-intelligence/ai-trading-stock-market-tech

Na verdade a maior parte das tecnologias de ruptura começa assim, com o descrédito, depois o choque de realidade para aceitação, até finalmente virarem paradigmas. O problema é que, na área de trading, pode sair caro não acreditar o quanto antes, o que valoriza nosso debate. Talvez o exemplo mais clássico e impactante de choque de realidade da IA seja o do brilhante campeão mundial de Go, o chinês Lee Sedol, que antes de enfrentar a IA do DeepMind/Google considerava absurdo um dia perder para uma máquina, e foi totalmente surpreendido pela força dos algoritmos inteligentes:

"Não pensei que o AlphaGo pudesse jogar uma partida de maneira tão perfeita", disse Lee Sedol.
https://www.dw.com/pt-br/google-garante-mais-uma-vit%C3%B3ria-para-a-intelig%C3%AAncia-artificial/a-19104663

E antes que você diga que o mercado é mais complexo que uma partida de Go, o que é verdade, lembre-se que até no jogo de Poker as máquinas apresentam capacidade de blefar melhor que os melhores jogadores, o que demonstra, pelo menos para mim, a capacidade da IA entender o comportamento das pessoas, o que considero uma peça chave na área de trading.

"Os jogadores profissionais de Poker Jason Les, Dong Kyu Kim, Daniel McAulay e Jimmy Chou passaram 20 dias jogando mãos de US$120 mil contra a IA, mas, no fim, acabaram perdendo por uma margem de mais de US$ 1,76 milhão."
https://olhardigital.com.br/games-e-consoles/noticia/inteligencia-artificial-ja-consegue-vencer-os-melhores-jogadores-de-poker/81364

Porém, talvez uma forma de você ver diferente os robôs com IA, seja abandonar sua própria experiência, e a visão mais subjetiva, partindo para algo mais objetivo, que é a realidade de milhares de gestores utilizando milhares de ferramentas de IA no mercado atual, como mostram os links abaixo:

JPMorgan's new guide to machine learning in algorithmic trading
https://news.efinancialcareers.com/nl-en/329751/jpmorgans-new-guide-to-machine-learning-in-algorithmic-trading

The Revolutionary Way Of Using Artificial Intelligence In Hedge Funds
https://www.forbes.com/sites/bernardmarr/2019/02/15/the-revolutionary-way-of-using-artificial-intelligence-in-hedge-funds-the-case-of-aidyia/#4a442be457ca

The Massive Hedge Fund Betting on AI
https://www.bloomberg.com/news/features/2017-09-27/the-massive-hedge-fund-betting-on-ai

Successful Trading Using Artificial Intelligence
https://c.mql5.com/forextsd/forum/55/successful_trading_using_artificial_intelligence.pdf

AI is better at picking stocks than the stock market
https://nypost.com/2017/12/06/ai-is-better-at-picking-stocks-than-the-stock-market/

UBS’ latest AI push may lead to robots invading trading world
https://financefeeds.com/ubs-latest-ai-push-may-lead-robots-invading-trading-world/

Note que a UBS, que investe pesado em AI (ver último link acima), é justamente a empresa que teve maior participação no mini índice no ano passado:

Mini Ibovespa Futures - Specifications - Participant ranking (number of contracts) - 10/2018
http://www.b3.com.br/en_us/products-and-services/trading/equities/mini-ibovespa-futures.htm

E isso me parece uma evidência do que comentei no post anterior, de que as melhores tecnologias de IA estão reservadas para os grandes players, devido a diversos motivos, principalmente os custos de manter uma equipe especializada na área, mas que penso que hoje já é possível criar robôs em MT5 tão ou mais competitivos.

Mas para mim, o primeiro passo para isso chama-se acreditar!

Sds.,
Rogério Figurelli

How AI trading technology is making stock market investors smarter — and richer
How AI trading technology is making stock market investors smarter — and richer
  • builtin.com
“Artificial intelligence is to trading what fire was to the cavemen.” That’s how one industry player described the impact of a disruptive technology on a staid industry. In other (less creative) words, AI is a game changer for the stock market. While humans remain a big part of the trading equation, AI plays an increasingly significant role...
Rogerio Figurelli
Moderador
58887

Fórum de negociação, sistemas de negociação automatizados e testes de estratégias de negociação

Tudo sobre Inteligência Artificial (IA)

Rogerio Figurelli, 2019.05.24 12:18

Bom dia a todos,

Quanto tempo você ainda irá levar para começar a operar usando Inteligência Artificial (IA)?

Antes de começar a pensar em seus próprios resultados, recomendo pensar em até que ponto a IA pode impactar o mercado?

Para quem tem interesse em explorar uma visão mais genérica do impacto dessa tecnologia nos mercados, recomendo o artigo abaixo.

De acordo com o autor, quanto mais a IA capacita os traders que temos nos mercados, mais eficientes os mercados se tornam e, portanto, o grau em que os mercados são eficientes depende da quantidade de traders utilizando inteligência artificial que temos nos mercados.

Impact of Artificial Intelligence on Economic Theory
Tshilidzi Marwala
University of Johannesburg


Joao Luiz Sa Marchioro
1053
Rogerio Figurelli:

Olá Joao Luiz Sa Marchioro, valeu, eu que agradeço, na minha opinião, sua assumida teimosia e busca exaustiva por bons cases de IA é muito positiva e sinaliza, talvez de forma inconsciente ou intuitiva, seu desconforto com as tecnologias e robôs atuais, sem IA, e é justamente essa força que tem movido muitos traders para a competição internacional de tecnologias nessa área, afinal ninguém se move se está na zona de conforto ou satisfeito com seus resultados atuais.

Por exemplo, note que o próprio overfitting é, por fundamento, endereçado cada vez mais com técnicas avançadas pela IA, afinal, sem isso, modelos de deep learning com milhões de parâmetros, não iriam funcionar. Assim como transformar resultados de backtesting em realidade é uma das áreas que mais utilizo IA e vejo grande evolução dentro do MT5. Isso acontece cada vez mais, justamente pela evolução dessa tecnologia, e existem diversas empresas oferecendo as mais variadas tecnologias de IA para isso, como os 17 cases abaixo, que recomendo você analisar alguns:

How AI trading technology is making stock market investors smarter — and richer
https://builtin.com/artificial-intelligence/ai-trading-stock-market-tech

Na verdade a maior parte das tecnologias de ruptura começa assim, com o descrédito, depois o choque de realidade para aceitação, até finalmente virarem paradigmas. O problema é que, na área de trading, pode sair caro não acreditar o quanto antes, o que valoriza nosso debate. Talvez o exemplo mais clássico e impactante de choque de realidade da IA seja o do brilhante campeão mundial de Go, o chinês Lee Sedol, que antes de enfrentar a IA do DeepMind/Google considerava absurdo um dia perder para uma máquina, e foi totalmente surpreendido pela força dos algoritmos inteligentes:

"Não pensei que o AlphaGo pudesse jogar uma partida de maneira tão perfeita", disse Lee Sedol.
https://www.dw.com/pt-br/google-garante-mais-uma-vit%C3%B3ria-para-a-intelig%C3%AAncia-artificial/a-19104663

E antes que você diga que o mercado é mais complexo que uma partida de Go, o que é verdade, lembre-se que até no jogo de Poker as máquinas apresentam capacidade de blefar melhor que os melhores jogadores, o que demonstra, pelo menos para mim, a capacidade da IA entender o comportamento das pessoas, o que considero uma peça chave na área de trading.

"Os jogadores profissionais de Poker Jason Les, Dong Kyu Kim, Daniel McAulay e Jimmy Chou passaram 20 dias jogando mãos de US$120 mil contra a IA, mas, no fim, acabaram perdendo por uma margem de mais de US$ 1,76 milhão."
https://olhardigital.com.br/games-e-consoles/noticia/inteligencia-artificial-ja-consegue-vencer-os-melhores-jogadores-de-poker/81364

Porém, talvez uma forma de você ver diferente os robôs com IA, seja abandonar sua própria experiência, e a visão mais subjetiva, partindo para algo mais objetivo, que é a realidade de milhares de gestores utilizando milhares de ferramentas de IA no mercado atual, como mostram os links abaixo:

JPMorgan's new guide to machine learning in algorithmic trading
https://news.efinancialcareers.com/nl-en/329751/jpmorgans-new-guide-to-machine-learning-in-algorithmic-trading

The Revolutionary Way Of Using Artificial Intelligence In Hedge Funds
https://www.forbes.com/sites/bernardmarr/2019/02/15/the-revolutionary-way-of-using-artificial-intelligence-in-hedge-funds-the-case-of-aidyia/#4a442be457ca

The Massive Hedge Fund Betting on AI
https://www.bloomberg.com/news/features/2017-09-27/the-massive-hedge-fund-betting-on-ai

Successful Trading Using Artificial Intelligence
https://c.mql5.com/forextsd/forum/55/successful_trading_using_artificial_intelligence.pdf

AI is better at picking stocks than the stock market
https://nypost.com/2017/12/06/ai-is-better-at-picking-stocks-than-the-stock-market/

UBS’ latest AI push may lead to robots invading trading world
https://financefeeds.com/ubs-latest-ai-push-may-lead-robots-invading-trading-world/

Note que a UBS, que investe pesado em AI (ver último link acima), é justamente a empresa que teve maior participação no mini índice no ano passado:

Mini Ibovespa Futures - Specifications - Participant ranking (number of contracts) - 10/2018
http://www.b3.com.br/en_us/products-and-services/trading/equities/mini-ibovespa-futures.htm

E isso me parece uma evidência do que comentei no post anterior, de que as melhores tecnologias de IA estão reservadas para os grandes players, devido a diversos motivos, principalmente os custos de manter uma equipe especializada na área, mas que penso que hoje já é possível criar robôs em MT5 tão ou mais competitivos.

Mas para mim, o primeiro passo para isso chama-se acreditar!

Sds.,
Rogério Figurelli

Obrigado Rogério. Ainda estou estudando o assunto e vou me aprofundar um pouco mais. Esse final de semana passei debruçado no computador criando modelos. Cheguei a algumas conclusões que facilitaram a IA dar resultados, que inclusive foram bons, o mais engraçado é que a IA mais simples foi a de melhor desempenho.

Vou continuar desenvolvendo, depois posto aqui os resultados.

Joao Luiz Sa Marchioro
1053

Os resultados que lhe falei, até agora, mas ainda falta muito pra desenvolver.

Os indicadores foram otimizados de 2016 à 2017

A Otimização ocorreu de 2016-201810, o resultado é essa primeira imagem.

A contra prova é fora da amostra e otimização 201811-20190526, segunda imagem

2016-201810

Otimização 2016-201810

201811-20190526

Fora da amostra 201810-20190526

Rogerio Figurelli
Moderador
58887
Joao Luiz Sa Marchioro:

Os resultados que lhe falei, até agora, mas ainda falta muito pra desenvolver.

Os indicadores foram otimizados de 2016 à 2017

A Otimização ocorreu de 2016-201810, o resultado é essa primeira imagem.

A contra prova é fora da amostra e otimização 201811-20190526, segunda imagem

2016-201810

201811-20190526


Olá Joao Luiz Sa Marchioro, obrigado por compartilhar e parabéns pela iniciativa de divulgar seus estudos com IA.

Para ser sincero, seria necessário analisar a curva de capital para uma melhor avaliação, onde consigo identificar vários pontos fortes e fracos da tecnologia/estratégia utilizada, mas sua estratégia me parece competitiva, pelo menos em tese, pois precisa ser validada no mercado real.

Na verdade, um dos pontos que trabalho fortemente com IA é conseguir um alinhamento de backtesting e performance em conta demonstração/real, mesmo com plataformas populares como o MT5, e confesso que levei vários anos para conseguir isso, o que na prática significa usar IA para gerar uma melhor IA. Seguindo essa lógica, penso que no futuro as melhores plataformas de trading terão sistemas de análise de viabilidade do backtesting/otimização/setup com um escore para isso, e é justamente essa uma linha de pesquisa que mantenho nos robôs que desenvolvo a um bom tempo.

Minha lógica para acreditar no potencial dos sistemas de IA no mercado, e insistir nessa tecla aqui no fórum, após avançar a etapa de alinhamento dos testes, é muito simples. Se os modelos das estratégias funcionam bem no passado, e os modelos que validam a otimização/testes também, em tese o que poderá surpreender um robô de IA é o mesmo que pode surpreender qualquer bom gestor: as mudanças abruptas ou inesperadas. Entretanto, a IA permite criar uma funcionalidade fundamental, no meu entender, acima de qualquer gestor, que é a possibilidade de testar em tempo real grandes volumes de dados que possam sinalizar a mudança abrupta o mais cedo possível, abrindo as portas para a gestão de risco tomar decisões de proteção ou até mesmo a gestão operacional de busca de oportunidades.

Dessa forma, resumo um bom sistema de IA para trading com no mínimo as seguintes funcionalidades:
  1. Tecnologia inteligente de validação de testes/otimização e alinhamento com mercado real;
  2. Modelos operacionais e de execução de estratégias o mais diferenciados de mercado, de preferência sem nenhum indicador conhecido ou com modelos evolucionários que criam seus próprios indicadores;
  3. Modelos de aprendizado com múltiplas propagações que permitam rápida reação a mudanças abruptas;
  4. Acesso ao máximo de informações em tempo real que permitam melhorar continuamente o sistema sensório do robô;
  5. Arquitetura cognitiva com capacidade de tomada de decisões autônomas para auto-ajuste dos modelos;

Acreditem ou não, esse é o estado da arte que todos desenvolvedores de robôs já deveriam estar atentos, na minha opinião, e penso que cada vez mais no futuro, com um mercado que cria cada vez mais suas próprias tecnologias inteligentes, de forma manual (por programação) ou automática (por machine learning), e esse é o fator que torna os grandes players as grandes forças de mercado. 

Mas, o fascinante da IA, como comentei em posts anteriores, é que qualquer trader pode criar seu próprio sistema inteligente, com suas descobertas, como é o caso que você está trabalhando, e competir de igual para igual com esses grandes players. Afinal, no passado até vencia quem tinha a melhor estrutura, ou até mesmo a melhor estratégia, mas hoje, acredito que na área de trading, vence o algotrader que tem as melhores ideias ou acesso de alguma forma a elas, como por exemplo ter acesso a uma máquina inteligente (desenvolvendo, alugando ou comprando ela) que gere resultados consistentes acima do mercado.

Sds.,
Rogério Figurelli

Joao Luiz Sa Marchioro
1053
Rogerio Figurelli:
Olá Joao Luiz Sa Marchioro, obrigado por compartilhar e parabéns pela iniciativa de divulgar seus estudos com IA.

Para ser sincero, seria necessário analisar a curva de capital para uma melhor avaliação, onde consigo identificar vários pontos fortes e fracos da tecnologia/estratégia utilizada, mas sua estratégia me parece competitiva, pelo menos em tese, pois precisa ser validada no mercado real.

Na verdade, um dos pontos que trabalho fortemente com IA é conseguir um alinhamento de backtesting e performance em conta demonstração/real, mesmo com plataformas populares como o MT5, e confesso que levei vários anos para conseguir isso, o que na prática significa usar IA para gerar uma melhor IA. Seguindo essa lógica, penso que no futuro as melhores plataformas de trading terão sistemas de análise de viabilidade do backtesting/otimização/setup com um escore para isso, e é justamente essa uma linha de pesquisa que mantenho nos robôs que desenvolvo a um bom tempo.

Minha lógica para acreditar no potencial dos sistemas de IA no mercado, e insistir nessa tecla aqui no fórum, após avançar a etapa de alinhamento dos testes, é muito simples. Se os modelos das estratégias funcionam bem no passado, e os modelos que validam a otimização/testes também, em tese o que poderá surpreender um robô de IA é o mesmo que pode surpreender qualquer bom gestor: as mudanças abruptas ou inesperadas. Entretanto, a IA permite criar uma funcionalidade fundamental, no meu entender, acima de qualquer gestor, que é a possibilidade de testar em tempo real grandes volumes de dados que possam sinalizar a mudança abrupta o mais cedo possível, abrindo as portas para a gestão de risco tomar decisões de proteção ou até mesmo a gestão operacional de busca de oportunidades.

Dessa forma, resumo um bom sistema de IA para trading com no mínimo as seguintes funcionalidades:
  1. Tecnologia inteligente de validação de testes/otimização e alinhamento com mercado real;
  2. Modelos operacionais e de execução de estratégias o mais diferenciados de mercado, de preferência sem nenhum indicador conhecido ou com modelos evolucionários que criam seus próprios indicadores;
  3. Modelos de aprendizado com múltiplas propagações que permitam rápida reação a mudanças abruptas;
  4. Acesso ao máximo de informações em tempo real que permitam melhorar continuamente o sistema sensório do robô;
  5. Arquitetura cognitiva com capacidade de tomada de decisões autônomas para auto-ajuste dos modelos;

Acreditem ou não, esse é o estado da arte que todos desenvolvedores de robôs já deveriam estar atentos, na minha opinião, e penso que cada vez mais no futuro, com um mercado que cria cada vez mais suas próprias tecnologias inteligentes, de forma manual (por programação) ou automática (por machine learning), e esse é o fator que torna os grandes players as grandes forças de mercado. 

Mas, o fascinante da IA, como comentei em posts anteriores, é que qualquer trader pode criar seu próprio sistema inteligente, com suas descobertas, como é o caso que você está trabalhando, e competir de igual para igual com esses grandes players. Afinal, no passado até vencia quem tinha a melhor estrutura, ou até mesmo a melhor estratégia, mas hoje, acredito que na área de trading, vence o algotrader que tem as melhores ideias ou acesso de alguma forma a elas, como por exemplo ter acesso a uma máquina inteligente (desenvolvendo, alugando ou comprando ela) que gere resultados consistentes acima do mercado.

Sds.,
Rogério Figurelli

Creio que o Meta está muito longe de tudo isso. Só desenvolvendo uma plataforma própria mesmo.

Estevao Aragao
586
Estevao Aragao  

Fala Rogério, prazer! Tudo bem?

Eu acredito que a combinação entre máquina e humanos é o ideal. Tenho 9 algoritmos que apresentam um resultado bom, na casa dos 2% a.m. em conjunto. No entanto, a partir do momento que passei a combinar a inteligência artificial e a minha experiência como trader, meus resultados cresceram exponencialmente (dá uma olhada, se tiver curiosidade [link de sinal suprimido pelo moderador]).

Abraços e sucesso para você!
Rogerio Figurelli
Moderador
58887
Joao Luiz Sa Marchioro:

Creio que o Meta está muito longe de tudo isso. Só desenvolvendo uma plataforma própria mesmo.

Olá Joao Luiz Sa Marchioro, entendo sua visão pessimista, afinal o desafio é grande, mas apenas como contraponto e encorajamento a todos desenvolvedores aqui, se considerarmos que Alan Turing criou uma máquina eletromecânica (a Bombe) em 1940, desvendando as mensagens da Enigma, eu diria que o MT5 é uma ferramenta onde quase tudo pode ser feito em termos de Inteligência Artificial no mercado de capitais, e sem depender de outras linguagens ou plataformas, bastando o mesmo esforço criativo.
Nessa linha de pensamento, até agora não encontrei esse limite em nenhum dos itens que apresentei, mas, pelo contrário, várias ideias e soluções na plataforma que me ajudaram a montar uma arquitetura cognitiva para propor e trabalhar em todos eles.
Sds.,
Rogério Figurelli

Rogerio Figurelli
Moderador
58887
Estevao Aragao:

Fala Rogério, prazer! Tudo bem?

Eu acredito que a combinação entre máquina e humanos é o ideal. Tenho 9 algoritmos que apresentam um resultado bom, na casa dos 2% a.m. em conjunto. No entanto, a partir do momento que passei a combinar a inteligência artificial e a minha experiência como trader, meus resultados cresceram exponencialmente (dá uma olhada, se tiver curiosidade [link de sinal suprimido pelo moderador]).

Abraços e sucesso para você!

Olá Estevao Aragao, obrigado por compartilhar, da mesma forma.
Em tese, os moderadores são orientados a evitar qualquer divulgação de sinais próprios ou produtos que não sejam totalmente gratuitos, e por isso o seu link foi suprimido.
Mas tenho certeza que suas intenções são de apenas divulgar seu trabalho na área de IA, apresentando um case próprio, o que é muito relevante para essa thread. Nesse sentido, recomendo, se possível, que você elabore um pouco mais sua tecnologia de IA, e que soluções/ferramentas está utilizando.
Sds.,
Rogério Figurelli

Joao Luiz Sa Marchioro
1053
Rogerio Figurelli:

Olá Joao Luiz Sa Marchioro, entendo sua visão pessimista, afinal o desafio é grande, mas apenas como contraponto e encorajamento a todos desenvolvedores aqui, se considerarmos que Alan Turing criou uma máquina eletromecânica (a Bombe) em 1940, desvendando as mensagens da Enigma, eu diria que o MT5 é uma ferramenta onde quase tudo pode ser feito em termos de Inteligência Artificial no mercado de capitais, e sem depender de outras linguagens ou plataformas, bastando o mesmo esforço criativo.
Nessa linha de pensamento, até agora não encontrei esse limite em nenhum dos itens que apresentei, mas, pelo contrário, várias ideias e soluções na plataforma que me ajudaram a montar uma arquitetura cognitiva para propor e trabalhar em todos eles.
Sds.,
Rogério Figurelli

O que me refiro Rogério é que o META é inviável para criar um EA de IA auto otimizável como deveria ser. Para que isso fosse possível a METAQUOTES deveria criar a possibilidade de se acessar a otimização através do EA para que ele otimiza-se conforme parâmetros e selecionasse a melhor combinação. Isso ainda não é possível.

Outro detalhe é que rodando em uma VPS barata, conforme normalmente ocorre, fica inviável otimizar, o que torna o primeiro item inútil a não ser que você use uma VPS caríssima.

Outra possibilidade de auto otimização seria você faze-la manualmente pois ainda é impossível automatizar a otimização e gravar num arquivo na nuvem que o meta da VPS consultasse através de DLL.

E a opção mais plausível, seria um programa no python iniciar seu meta no pc, otimizar, seleciona r e aí gravar no arquivo CSV na nuvem para o META da VPS consultar e atualizar os parâmetros. Essa ideia dá pra fazer hoje em dia, no entanto está muito além de minha capacidade e conhecimento.

Além de tudo isso, ainda tem a questão de eu estar ainda achando os melhores resultados com a IA mais simples, o que levanta a questão se realmente algo dinâmico funcionaria?