Análise de Regressão Múltipla. Gerador de Estratégia e Tester in One

Introdução

Um conhecido meu, quando atendendo um curso de negociação Forex, recebeu uma tarefa para desenvolver um sistema de negociação. Depois de ter problemas com ele por cerca de uma semana, ele disse que essa tarefa era provavelmente mais difícil do que escrever uma tese. Foi então que eu sugeri o uso da análise de regressão múltipla. Como resultado, um sistema de comércio desenvolvido a partir do zero de um dia para o outro foi aprovado com sucesso pelo examinador.

O sucesso do uso da regressão múltipla é a capacidade de encontrar rapidamente as relações entre os indicadores e preço. As relações detectadas permitem predizer o valor de preço baseado nos valores do indicador com um certo grau de probabilidade. Programa estatístico moderno permite filtrar simultaneamente milhares de parâmetros na tentativa de encontrar essas relações. Isso pode ser comparado a peneirar ouro industrial a partir de cascalho.

Uma estratégia pronta para uso, bem como um gerador de estratégia será desenvolvido através do carregamento de dados indicadores para a análise de regressão múltipla e aplicação da manipulação de dados, respectivamente.

Este artigo demonstrará o processo de criação de uma estratégia de negociação por meio da análise de regressão múltipla.

1. Desenvolver um robotrader - muito fácil!

A espinha dorsal do sistema de comércio desenvolvido de um dia para o outro como mencionado anteriormente foi uma equação única:

Reg=22.7+205.2(buf_DeMarker[1]-buf_DeMarker[2])-14619.5*buf_BearsPower[1]+22468.8*buf_BullsPower[1]-139.3*buf_DeMarker[1]-41686*(buf_AC[1]-buf_AC[2])

onde se Reg> 0, então nós compramos, e se Reg <0, nós vendemos.

A equação foi um resultado da análise de regressão múltipla, que usou a amostra de dados a partir de indicadores padrões. Um EA foi desenvolvido com base na equação. O pedaço de código responsável por decisões de negociação praticamente consistiu em apenas 15 linhas. A EA com um código-fonte completo está anexado (R_check).

   //--- checking the price change range
   double price=(mrate[2].close-mrate[1].close)/_Point;


   //--- if the range is big, do not take trades and close the current positions 
   if(price>250 || price<-250)
     {
      ClosePosition();
      return;

     }

   //--- regression equation
   double Reg=22.7+205.2*(buf_DeMarker[1]-buf_DeMarker[2])

                 -14619.5*buf_BearsPower[1]+22468.8*buf_BullsPower[1]
                 -139.3*buf_DeMarker[1]
                 -41686*(buf_AC[1]-buf_AC[2]);


   //--- checking for open positions
   if(myposition.Select(_Symbol)==true) //--- open positions found
     {
      if(myposition.PositionType()==POSITION_TYPE_BUY)

        {
         Buy_opened=true;  // long position (Buy)
        }
      if(myposition.PositionType()==POSITION_TYPE_SELL)
        {
         Sell_opened=true; //--- short position (Sell)

        }
     }

   //--- if an open position follows the trend as predicted by the equation, abstain from doing anything.
   if(Reg>0  &&  Buy_opened==true) return;
   if(Reg<=0 && Sell_opened==true) return;


   //--- if an open position is against the trend as predicted, close the position.
   if(Reg<=0 && Buy_opened==true) ClosePosition();
   if(Reg>0 && Sell_opened==true) ClosePosition();


   //--- opening a position in the direction predicted by the equation. 
   //--- using level 20 to filter the signal.
   if(Reg>20) BuyOrder(1);
   if(Reg<-20) SellOrder(1);

A amostra de dados para a análise de regressão foi coletada no EURUSD H1 por mais de dois meses de 1 de Julho de 2011 a 31 agosto de 2011.

Fig. 1 mostra os resultados de desempenho do EA durante o período de dados para o qual foi desenvolvido. é peculiar que o super lucro, que é frequente no caso do Tester, não foi observado nos dados de treinamento. Deve ser um sinal de falta de reotimização.

Fig. 1. Desempenho da EA durante o período de treinamento

Fig. 2 demonstra os resultados de desempenho da EA nos dados de teste (de 1 de setembro 01 de novembro de 2011). Parece que os dados de dois meses foi suficiente para o EA permanecer rentável por mais dois meses. Dito isto, o lucro da EA sobre o período de testes foi o mesmo ao longo do período de treinamento.

Fig. 2. Desempenho da EA durante o período de teste

Assim, com base na análise de regressão múltipla, uma EA bastante simples foi desenvolvida rendendo lucro além dos dados de treinamento. A análise de regressão pode, portanto, ser aplicada com sucesso na construção de sistemas de negociação.

No entanto, os recursos da análise de regressão não devem ser superestimados. Suas vantagens e desvantagens serão apresentadas mais adiante.

2. Análise de regressão múltipla

O objetivo geral da regressão múltipla é a análise da relação entre as diversas variáveis​independentes e uma variável dependente. No nosso caso, é a análise da relação entre os valores de indicadores e o movimento do preço.

Em sua forma mais simples, esta equação pode aparecer como segue:

Mudança de preço = a * RSI + b * MACD + с

A equação de regressão só pode ser gerada se existe uma correlação entre as variáveis independentes e uma variável dependente. Como os valores dos indicadores são em regra interligados, a contribuição feita por meio de indicadores para a previsão pode variar consideravelmente se um indicador é adicionado ou removido da análise. Por favor note que uma equação de regressão é uma mera demonstração da dependência numérico e não uma descrição de relações casuais. Os coeficientes (a, b) indicam a contribuição de cada variável independente para a sua relação com a variável dependente.

A equação de regressão representa uma dependência ideal entre as variáveis. Isso é, contudo, impossível em Forex e a previsão será sempre diferente da realidade. Diferença entre o valor previsto e o observado é chamado residual. Análise de resíduos permite identificar, a propósito, uma dependência não-linear entre o indicador e o preço. No nosso caso, assumimos que só há dependência não linear entre os indicadores e preço. Felizmente, a análise de regressão não é afetado por desvios menores de linearidade.

Ela apenas pode ser utilizada para analisar os parâmetros quantitativos. Parâmetros qualitativos que não tem valores de transição não são adequados para a análise.

O fato de que a análise de regressão consegue processar qualquer número de parâmetros pode levar à tentação de incluir na análise o maior número deles possível. Mas se o número de parâmetros independentes é maior do que o número de observações de sua interação com um parâmetro dependente, há uma grande chance de obter equações produzindo boas previsões que são, porém, com base em flutuações aleatórias.

O número de observações deve ser de 10-20 vezes maior do que o número de parâmetros independentes.

No nosso caso, o número de indicadores contidos na amostra de dados é 10-20 vezes maior do que o número de negócios em nossa amostra. A equação gerada será então considerada confiável. A amostra com base no qual o RoboTrader como descrito no ponto 1 foi desenvolvido, continha 33 parâmetros e 836 observações. Como resultado, o número de parâmetros foi 25 vezes maior do que o número de observações. Esta exigência é uma regra geral nas estatísticas. Também é aplicável ao otimizador Provador de Estratégia MetaTrader 5.

Além disso, cada valor dado do indicador no otimizador é na verdade um parâmetro separado. Em outras palavras, ao testar 10 valores do indicador, estamos lidando com 10 parâmetros independentes que devem ser levados em consideração, a fim de evitar reotimização. Um relatório do otimizador provavelmente deve incluir mais um parâmetro: número médio de negócios/número de valores de todos os parâmetros otimizados. Se o valor do indicador é inferior a dez, chances são de que a reotimização será necessária.

Outra coisa a ser considerada são valores discrepantes. Eventos raros porém poderosos (no nosso caso picos de preços) podem adicionar falsas dependências para a equação. Por exemplo, após a notícia inesperada, o mercado respondeu com movimentos substanciais com duração de algumas horas. Os valores dos indicadores técnicos neste caso seriam de pouca importância na previsão, no entanto, eles seriam considerados altamente significativos na análise de regressão como houve uma mudança do preço marcado. Portanto, é aconselhável filtrar os dados de exemplos ou verificar se há possíveis desvios.

3. Criando a sua própria estratégia

Temos abordado a parte fundamental onde veremos como gerar uma equação de regressão com base em seus próprios dados. Implementação da análise de regressão é semelhante ao da análise discriminante definida anteriormente. A análise de regressão inclui:

1. Preparação de dados para a análise;
2. Seleção das melhores variáveis a partir dos dados preparados;
3. Obtenção de uma equação de regressão.

Análise de regressão múltipla é uma parte de inúmeros produtos de software avançados destinado à análise de dados estatísticos. Os mais populares são Statistica (por StatSoft Inc.) e SPSS (por IBM Corporation). Vamos considerar ainda a aplicação da análise de regressão utilizando Statistica 8.0.

3,1. Preparação de dados para a análise

Devemos gerar uma equação de regressão onde o comportamento dos preços da próxima barra pode ser previsto com base nos valores do indicador da barra atual.

O mesmo EA que foi utilizado para a preparação de dados da análise discriminante será utilizado para a coleta de dados. Vamos expandir sua funcionalidade adicionando uma função para salvar os valores dos indicadores com outros períodos. Um extenso conjunto de parâmetros será usado para a estratégia de otimização baseado na análise dos mesmos indicadores, mas com diferentes períodos.

Para carregar os dados em Statistica, você deve ter um arquivo CSV com uma seguinte estrutura. As variáveis devem ser organizadas em colunas onde cada coluna corresponde a um determinado indicador. As linhas devem conter medidas consecutivas (casos), ou seja, valores dos indicadores para determinados barras. Em outras palavras, os cabeçalhos da tabela horizontais contém indicadores, os cabeçalhos da tabela verticais contém barras consecutivas.

Indicadores a serem analisados são:

• Oscilador Acelerador;
• Bears Power;
• Bulls Power;
• Oscilador Maravilhoso;
• índice de Canal de Mercadoria;
• DeMarker;
• Média Móvel Fractal Adaptativa;
• MACD;
• índice de Força Relativa;
• índice de Fluxo de Dinheiro;
• Estocástico;
• Faixa Percentual de Williams.

Cada linha de dados do nosso arquivo conterá:

• Variações de preços na barra entre Abrir e Fechar;
• Valores dos indicadores observados da barra anterior.

Assim, vamos gerar uma equação que descreve o comportamento dos preços futuros com base nos valores dos indicadores conhecidos.

Além do valor do indicador absoluto, é preciso salvar a diferença entre o absoluto e os valores anteriores a fim de ver a direção da mudança de indicadores. Os nomes dessas variáveis no exemplo fornecido terão prefixo 'd'. Para os indicadores de sinal de linha, é necessário salvar a diferença entre a linha principal e a de sinal, bem como a sua dinâmica. Os nomes dos dados coletados por meio de indicadores com outros períodos terminam com '_p'.

A fim de demonstrar a otimização, apenas um período foi adicionado, sendo o dobro do comprimento do período padrão do indicador. Além disso, salve o tempo da nova barra e o valor da hora relevante. Salve a diferença entre Abrir e Fechar para a barra onde os indicadores são calculados. Isso será necessário para filtrar valores discrepantes. Como resultado, 33 parâmetros serão analisados ​​para gerar uma equação de regressão múltipla. A coleta de dados acima é implementado na EA R_collection anexada ao artigo.

O arquivo MasterData.CSV será criado após o início da EA em terminal_data_directory/MQL5/Files. Ao iniciar o EA no Tester, ele será localizado no terminal_data_directory/tester/Agent-127.0.0.1-3000/MQL5/Files. O arquivo tal como obtido pode ser usado em Statistica.

Um exemplo desse tipo de arquivo pode ser encontrado em MasterDataR.CSV. Os dados foram coletados por EURUSD H1 partir de 3 de janeiro de 2011 a 11 de novembro, 2011 usando o Provador de Estratégia. Apenas os dados de agosto e setembro foram utilizados na análise. Os dados restantes foram salvos em um arquivo para você praticar.

Para abrir o arquivo CSV em Statistica, faça o seguinte.

• Em Statistica, vá ao menu File> Open, selecione o tipo de arquivo 'Arquivos de dados' e abra o seu arquivo CSV.
• Deixe delimitado na janela Tipo de Importação de Arquivo de Texto e clique em OK.
• Habilite os itens sublinhados na janela aberta.
• Não esqueça de colocar o ponto decimal no campo caractere separador decimal, independentemente de ele já estar lá ou não.

Fig. 3. Importando o arquivo em Statistica

Clique em OK para obter a tabela que contém os dados que estão prontos para a análise de regressão múltipla. Um exemplo de arquivo obtido para ser usado em Statistica pode ser encontrado em MasterDataR.STA.

3,2. Seleção automática de indicadores

Executar a análise de regressão (Estatísticas->Regressão Múltipla).

Fig. 4. Executando a análise de regressão

Na janela aberta, vá até a aba Avançado e ative os itens marcados. Clique no botão Variáveis.

Selecione a variável Dependente no primeiro campo e variáveis Independentes com base na qual a equação será gerada - no segundo campo. No nosso caso, selecione o parâmetro Preço no primeiro campo e Preço 2 para dWPR - no segundo campo.

Fig. 5. Preparação para seleção de parâmetros

Clique no botão Selecionar Casos (Fig. 5).

Uma janela será aberta para a seleção dos casos (linhas de dados) que serão utilizados na análise. Habilite itens como mostrado na figura. 6.

Fig. 6. Seleção de casos

Especificar os dados referentes a julho e agosto, que vão ser utilizados na análise. Esses são casos de 3590-4664. Os números de casos são definidos através da variável V0. A fim de evitar o efeito de valores discrepantes e picos de preços, adicionar filtragem de dados por preço.

Incluir na análise apenas os valores do indicador para o qual a diferença entre Abrir e Fechar na última barra não é mais do que 250 pontos. Ao especificar aqui as regras para a seleção de casos para a análise, temos que definir uma amostra de dados para a geração de equação de regressão. Clique em OK aqui e na janela de preparação para a seleção de parâmetros (Fig. 5).

Uma janela com as opções dos métodos de seleção automática de dados será aberta. Selecione o método Forward Stepwise (Fig. 7).

Fig. 7. Seleção do método

Clique OK. E será aberta uma janela informando que a análise de regressão foi concluída com êxito.

Fig. 8. Janela de resultados da análise de regressão

Seleção automática de parâmetros diz respeito apenas aqueles que contribuem significativamente para a correlação múltipla entre os parâmetros (variáveis independentes) e a variável dependente. No nosso caso, um conjunto de indicadores será selecionado, o melhor preço determinante. Com efeito, a seleção automática atua como um gerador de estratégia. A equação gerada será composta somente dos indicadores que são confiáveis e melhor descrevem o comportamento dos preços.

A parte superior da janela de resultados (Fig. 8) contém características estatísticas da equação gerada enquanto que os parâmetros incluídos na equação são listadas na parte inferior. Por favor, preste atenção às características sublinhadas. R múltiplo é o valor de correlação múltipla entre o preço e indicadores incluídos na equação. "p" é o nível de significância estatística de tal correlação.

Um nível menor que 0,05 é considerado estatisticamente significativo. "Número de casos" é o número de casos utilizados na análise. Os indicadores cuja contribuição é estatisticamente significativa são exibidos em vermelho. Idealmente, todos os indicadores devem ser marcados em vermelho.

As regras usadas em Statistica para a inclusão de parâmetros na análise nem sempre são ideais. Por exemplo, um grande número de parâmetros insignificantes pode ser incluído em uma equação de regressão. Devemos, portanto, usar a nossa criatividade e ajudar o programa na seleção de parâmetros.

Se a lista contém parâmetros insignificantes, clique em Resumo: Resultados da regressão.

Uma janela será aberta exibindo os dados sobre cada indicador (Fig. 9).

Fig. 9. Relatório sobre os parâmetros incluídos na equação de regressão

Encontre um parâmetro insignificante com o mais alto nível p e lembre-se de seu nome. Volte à etapa onde os parâmetros estavam sendo incluídos na análise (Fig. 7) e remova este parâmetro da lista dos parâmetros selecionados para a análise.

Para voltar, clique em Cancelar na janela dos resultados da análise e repita a análise. Tente excluir todos os parâmetros insignificantes dessa maneira. Ao fazê-lo, observe o valor de correlação múltipla obtida (Multiple R), uma vez que ele não deve ser consideravelmente menor do que o valor inicial. Parâmetros insignificantes podem ser removidos a partir da análise um por um ou todos ao mesmo tempo, sendo a primeira opção mais aconselhável.

Como resultado, a tabela agora só contém parâmetros significativos (Fig. 10). O valor de correlação diminuiu em 20%, o que é provavelmente devido às coincidências aleatórias. Uma série numérica infinitamente longa é conhecida por ter um número infinito de coincidências aleatórias.

Uma vez que amostras de dados que processamos são muito grandes, coincidências aleatórias e relações aleatórias são frequentemente o caso. Por isso, é importante o uso de parâmetros estatisticamente significativos em suas estratégias.

Fig. 10. A equação inclui apenas os parâmetros significativos

Se após a seleção dos parâmetros, um grupo de vários indicadores correlacionando-se significativamente com o preço não pode ser formado, o preço provavelmente contém pouca informação sobre os eventos passados. Negociações baseadas em qualquer análise técnica devem, em casos como este, serem muito prudentes ou mesmo suspensas completamente.

No nosso caso, apenas cinco dos 33 parâmetros provaram ser eficazes no desenvolvimento de uma estratégia com base na equação de regressão. Esta qualidade da análise de regressão é de grande benefício ao selecionar indicadores para suas próprias estratégias.

3,3. Equação de regressão e sua análise

Então nós executamos a análise de regressão e obtivemos a lista dos indicadores 'corretos'. Vamos agora transformar tudo em uma equação de regressão. Os coeficientes da equação para cada indicador são mostrados na coluna B dos resultados da análise de regressão (Fig. 10). O parâmetro Intercept na mesma tabela é membro independente da equação e está incluído nele como um coeficiente independente.

Vamos gerar uma equação com base na tabela (Fig. 10), tendo coeficientes da coluna B.

Preço = 22.7 + 205.2*dDemarker - 41686.2*dAC - 139.3*DeMarker + 22468.8*Bulls - 14619.5*Bears

Esta equação foi estabelecida anteriormente na seção 1, como um código de MQL5 juntamente com os resultados de desempenho obtidos a partir do Tester para o EA desenvolvido com base nesta equação. Como pode ser visto, a análise de regressão foi adequada quando usada como um testador de estratégia. A análise apresentou uma certa estratégia e indicadores relevantes selecionados da lista proposta.

Caso você queira aprofundar a análise da estabilidade da equação, você deve verificar se há:

• Valores discrepantes na equação;
• Normalidade de distribuição dos resíduos;
• Efeito não-linear produzido por parâmetros individuais dentro da equação.

Estas verificações podem ser realizadas com a análise de resíduos. Para proceder à análise, clique em OK na janela de resultados (Fig. 8). Depois de realizar as verificações acima em relação à equação gerada, você vai ver que a equação não parece ser sensível a um pequeno número de valores discrepantes, pequeno desvio da distribuição normal dos dados e de uma certa linearidade dos parâmetros.

Se houver uma não-linearidade significativa da relação, um parâmetro pode ser linearizado. Para esta finalidade, o Statistica oferece uma análise de regressão não-linear fixa. Para iniciar a análise, vá para o menu: Statistics -> Advanced Linear/Nonlinear Models -> Fixed Nonlinear Regression. Em geral, as verificações realizadas tem demonstrado que a análise de regressão múltipla não é sensível a uma quantidade moderada de ruído nos dados analisados​​.

4. Análise de regressão como um otimizador de estratégia

Uma vez que a análise de regressão é capaz de processar milhares de parâmetros, ela pode ser utilizada para optimizar estratégias. Assim, se 50 períodos de um indicador precisam ser processados, eles podem ser salvos como 50 parâmetros individuais e enviados para a análise de regressão, de uma só vez. Uma tabela em Statistica cabem 65.536 parâmetros. Ao processar 50 períodos para cada indicador, cerca de 1300 os indicadores podem ser analisados! é muito além das capacidades do Provador Padrão MetaTrader 5.

Vamos otimizar os dados usados no nosso exemplo da mesma forma. Tal como mencionado na seção 4.1 acima, a fim de demonstrar a otimização, os valores indicadores com um período sendo o dobro do comprimento do padrão único foram adicionados aos dados. Os nomes destes parâmetros nos arquivos de dados terminam com '_p'. Nossa amostra agora contém 60 parâmetros, incluindo os indicadores de período padrão. Seguindo os passos conforme estabelecido na seção 3.2, teremos uma tabela da seguinte forma (Fig. 11).

Fig. 11. Resultados da análise dos indicadores com diferentes períodos

A equação de regressão foi composta de 11 parâmetros: seis dos indicadores período normal e cinco dos indicadores período prolongado. A correlação dos parâmetros com o preço aumentou em um quarto. Os parâmetros do MACD indicator para ambos os períodos pareceu ser incluído na equação.

Uma vez que os valores do mesmo indicador para diferentes períodos são tratados como parâmetros diferentes da análise de regressão, a equação pode compreender e combinar os valores dos indicadores para os diferentes períodos. Por exemplo a análise pode descobrir que o valor RSI(7) está associado com o aumento do preço e o valor RSI(14) está associado com a diminuição dos preços. A análise pelo provador padrão nunca é assim detalhada.

A equação de regressão gerada com base na análise estendida (Fig. 11), é a seguinte:

Preço = 297 + 173*dDemarker - 65103*dAC - 177*DeMarker + 28553*Bulls_p - 24808*AO - 1057032*dMACDms_p + 2.41*WPR_p - 2.44*Stoch_m_p + 125536*MACDms + 18.65*dRSI_p - 0.768*dCCI

Vamos ver os resultados desta equação produzirem na EA. Fig. 12 mostra os resultados dos testes de EA utilizando os dados de 1 julho a 1 de setembro de 2011 que foram aplicados na análise de regressão. O gráfico se tornou mais suave e a EA tem rendido mais lucro.

Fig. 12. Desempenho da EA durante o período de treinamento

Vamos testar a EA sobre o período de testes de 1 de setembro 01 de novembro de 2011. O gráfico de lucro tornou-se pior do que era no caso da EA com apenas indicadores do período padrão. A equação conforme gerada pode precisar ser verificada quanto à normalidade e não-linearidade de indicadores internos.

Desde que não-linearidade foi observada nos indicadores do período padrão, poderia tornar-se crítico em relação ao período prolongado. Neste caso, o desempenho da equação pode ser melhorada por linearização dos parâmetros. De qualquer forma, a EA não foi um colapso total sobre o período de testes, ela simplesmente não produziu lucro. Isto qualifica a estratégia desenvolvida como bastante estável.

Fig. 13. Desempenho da EA durante o período de teste

Deve notar-se que MQL5 suporta a saída de apenas 64 parâmetros em uma linha de um arquivo. Uma análise em larga escala de indicadores ao longo de vários períodos exigirá fusão das tabelas de dados que podem ser feitas em Statistica ou MS Excel.

Conclusão

Um pequeno estudo apresentado no artigo mostrou que a análise de regressão é uma oportunidade de escolher entre uma variedade de indicadores os mais significativos em termos de previsão de preços. Foi também demonstrado que a análise de regressão pode ser utilizada para pesquisar por períodos de indicadores que são ideais dentro de uma dada amostra.

Deve-se notar que as equações de regressão são facilmente transformadas em linguagem MQL5 e sua aplicação não necessita de alta proficiência na programação. Assim, a análise de regressão linear múltipla pode ser empregue no desenvolvimento da estratégia de negociação. Dito isso, uma equação de regressão pode servir como uma espinha dorsal para uma estratégia de negociação.