Existe um padrão para o caos? Vamos tentar encontrá-lo! Aprendizado de máquina com o exemplo de uma amostra específica. - página 7

 
Aleksey Vyazmikin #:
Posso lhe dizer quais preditores um dos modelos usou - verifique se você treinou com sucesso (quase não tenho dúvidas) - você precisa?

Você pode colocar os números das colunas entre vírgulas. Seria interessante fazer uma comparação.

 
elibrarius #:

Você pode colocar os números das colunas entre vírgulas. É interessante fazer comparações.

A primeira coluna é um zero ou um "1"? :)

Aqui está a contagem de zeros

1,225,345,625,702,725,779,798,841,1104,1118,1268,1337,1357,1639,1737,1922,1937,2027,2043,2125,2239,2354,2474,2475,2507,2796,2816,2953,3012,3207,3228,3378,3671,3717,3726,3734,3864,3927,3982,4522,4560,5007,5029,5129,5313,5359,5548
 

Aqui está outra variante - gosto ainda mais dela, pois o resultado é estável em todas as amostras.

606,1048,1060,1083,1095,1103,1108,1110,1137,1198,1347,1353,1511,1525,1526,2055,2581,2582,3078,3153,3273,3341,3676,3690,3695,3839,3919,3967,4397,4433,5052,5364,5579



Equilíbrio

 
Aleksey Vyazmikin #:

A primeira coluna é zero ou "1"? :)

É zero.

Eu tenho 0. Vou tentar ensiná-lo amanhã.
 
elibrarius #:
Estou com 0. Vou tentar treiná-lo amanhã.

Ele deve funcionar - há poucos preditores. Embora, para a triagem, eu tenha usado meu próprio método, criando tabelas quânticas forçadas e, em seguida, o algoritmo fez uma seleção a partir delas.

A questão aqui é como você pode definir os atributos do preditor para saber como selecioná-los antes do treinamento....

 
Aleksey Vyazmikin:

Есть ли закономерность в хаосе?


A própria definição de "CAOS" é um estado em que as regularidades estão FORA DE ....

É necessário começar não com o CAOS, mas com a busca de um estado semelhante ao MERCADO!

E não será o caos, mas algum estado intermediário entre o caos e os dados ordenados.....

E procurar padrões no caos é tolice.... ( leia a definição de "caos" )....

 
O mercado é um caos completo, mas você precisa ser capaz de ver um sistema nele. Ou, para ser mais preciso, conduzir o mercado para o leito procrusteano do sistema.
 
webgopnik #:
O mercado é um caos completo, mas você precisa ser capaz de ver um sistema nele. Ou, para ser mais preciso, conduzir o mercado para o leito procrusteano do sistema.

É um pouco como a expressão: "Transforme a merda em um doce!" - sabedoria popular...


Na verdade, tudo é exatamente o oposto: o mercado é um SISTEMA! E você precisa curar seu cérebro do caos para entender esse sistema....

 
Aleksey Vyazmikin #:

Deve funcionar - há poucos preditores. No entanto, para a triagem, usei meu próprio método, criando tabelas de quantum forçado e, em seguida, o algoritmo fez uma seleção a partir delas.

A questão aqui é como é possível definir os atributos do preditor para saber como selecioná-los antes do treinamento....

A propósito, seus dados podem realmente ser chamados de Big Data...

250 milhões de células em uma tabela.

Quanto tempo o catbust leva para treinar um modelo em um conjunto de dados completo?

 
elibrarius #:

A propósito, seus dados - realmente podem ser atribuídos ao Big Data.....

250 milhões de células em uma planilha.

Sim, há muitos dados, e planejo adicionar mais - portanto, é necessário desenvolver uma metodologia de triagem pré-treinamento.

elibrarius #:

Quanto tempo o catbust leva para treinar um modelo em um conjunto de dados completo?

Estou treinando-o agora e posso dizer que depende muito das configurações, especialmente do número de divisões nas tabelas quânticas.

Acabei de iniciar um experimento, no qual o treinamento é feito com as configurações padrão da placa de vídeo - uma passagem, sem levar em conta a avaliação do modelo e o teste na amostra de exame, leva de 2 a 3 minutos - dependendo do número resultante de árvores no modelo. Em meu processador FX-8350, já bastante desatualizado, ele é cerca de 60% mais lento.

Acho que a velocidade é bastante aceitável. Normalmente, treino 100 modelos com uma semente fixa, o que seria uma média da eficácia do método.

Se você treinar até o "final", o programa estima o tempo em até 2 horas.