Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 4

 
Alexey Burnakov :

NS çok iyi bir iş çıkardı.

Rastgele orman, bir dizi değişkenin etkileşiminin olduğu böyle bir görevde ustalaşamadı. Ve her tahmin edicinin bireysel önemi kasıtlı olarak sıfırdı.

Millet Meclisi'nin bir şey yaptığına dair herhangi bir kanıt göremiyorum.

Aşırı uydurma, bilimde ve özellikle bir model oluştururken dünya çapında bir kötülüktür.

Bu nedenle, üç küme için bir hata gereklidir:

  • Eğitim Seti. Çıngırak'ın anlama şekli (OOB, test, doğrulama) oldukça uygundur
  • tarihler açısından eğitim kümesinin dışında olan bir küme.
  • tarihler açısından eğitim kümesinin dışında kalan başka bir küme.

Son iki set, terminale geldikleri için karıştırmasız, bazlar çubuktur.

Her üç küme de yaklaşık olarak aynı hataya sahip olmalıdır. Bu durumda, modeli eğitirken aldığınız tahminci setini düzeltmeniz gerekecektir.

 
Alexey Burnakov :


Rastgele orman, bir dizi değişkenin etkileşiminin olduğu böyle bir görevde ustalaşamadı. Ve her tahmin edicinin bireysel önemi kasıtlı olarak sıfırdı.

Tahminciler arasındaki etkileşimi hesaba katma fikriniz istatistikte bir devrimdir. Şimdiye kadar, öngörücüler arasındaki etkileşimin kötü olduğuna inandım. Tahmin edicilerin kendileri genellikle durağan değildir, aynı zamanda bu durağan olmayan rastgele süreçler arasındaki bağlantıları da hesaba katmaya çalışırız.

Makine öğrenmesinde, etkileşimli değişkenlerden kurtulmak zorunlu olarak kabul edilir. Ayrıca, etkileşimden kurtulmanıza ve etkileşimli tahmin ediciler kümesini bir dizi bağımsız tahmin ediciye dönüştürmenize izin veren ana bileşen yöntemi gibi çok verimli algoritmalar icat edilmiştir.

 
San Sanych Fomenko :

Millet Meclisi'nin bir şey yaptığına dair herhangi bir kanıt göremiyorum.

Aşırı takma, bilimde ve özellikle model oluşturmada dünya çapında bir kötülüktür.

Bu nedenle, üç küme için bir hata gereklidir:

  • Eğitim Seti. Çıngırak'ın anlama şekli (OOB, test, doğrulama) oldukça uygundur
  • tarihler açısından eğitim kümesinin dışında olan bir küme.
  • tarihler açısından eğitim kümesinin dışında kalan başka bir küme.

Son iki set, terminale geldikleri için karıştırmasız, bazlar çubuktur.

Her üç küme de yaklaşık olarak aynı hataya sahip olmalıdır. Bu durumda, modeli eğitirken aldığınız tahminci setini düzeltmeniz gerekecektir.

Haydi Yapalım şunu. Bunun görevin bir parçası olmamasına rağmen. Üzerinde eğitilmiş modelin çalıştırılması ve çıktının tahmin doğruluğunun ölçülmesi gereken bir doğrulama örneği yayınlıyorum.

Ancak bunun gerekli olmadığını tekrarlıyorum. Doğrulamayı, temeldeki desene göre tekrar derlediğimi unutmayın.

Dosyalar:
 

Verilere gömülü kalıp:

Количество по полю input_19 output
input_1 input_3 input_5 input_7 input_9 input_11 0 1 сумма предикторов четность
1 1 1 1 1 1 143 6 ИСТИНА
1 1 1 1 1 2 100 7 ЛОЖЬ
1 1 1 1 2 1 121 7 ЛОЖЬ
1 1 1 1 2 2 119 8 ИСТИНА
1 1 1 2 1 1 114 7 ЛОЖЬ
1 1 1 2 1 2 124 8 ИСТИНА
1 1 1 2 2 1 105 8 ИСТИНА
1 1 1 2 2 2 102 9 ЛОЖЬ
1 1 2 1 1 1 101 7 ЛОЖЬ
1 1 2 1 1 2 131 8 ИСТИНА
1 1 2 1 2 1 122 8 ИСТИНА
1 1 2 1 2 2 114 9 ЛОЖЬ
1 1 2 2 1 1 111 8 ИСТИНА
1 1 2 2 1 2 98 9 ЛОЖЬ
1 1 2 2 2 1 123 9 ЛОЖЬ
1 1 2 2 2 2 112 10 ИСТИНА
1 2 1 1 1 1 128 7 ЛОЖЬ
1 2 1 1 1 2 114 8 ИСТИНА
1 2 1 1 2 1 111 8 ИСТИНА
1 2 1 1 2 2 126 9 ЛОЖЬ
1 2 1 2 1 1 143 8 ИСТИНА
1 2 1 2 1 2 95 9 ЛОЖЬ
1 2 1 2 2 1 108 9 ЛОЖЬ
1 2 1 2 2 2 117 10 ИСТИНА
1 2 2 1 1 1 112 8 ИСТИНА
1 2 2 1 1 2 132 9 ЛОЖЬ
1 2 2 1 2 1 92 9 ЛОЖЬ
1 2 2 1 2 2 134 10 ИСТИНА
1 2 2 2 1 1 110 9 ЛОЖЬ
1 2 2 2 1 2 114 10 ИСТИНА
1 2 2 2 2 1 120 10 ИСТИНА
1 2 2 2 2 2 108 11 ЛОЖЬ
2 1 1 1 1 1 109 7 ЛОЖЬ
2 1 1 1 1 2 133 8 ИСТИНА
2 1 1 1 2 1 99 8 ИСТИНА
2 1 1 1 2 2 115 9 ЛОЖЬ
2 1 1 2 1 1 123 8 ИСТИНА
2 1 1 2 1 2 116 9 ЛОЖЬ
2 1 1 2 2 1 131 9 ЛОЖЬ
2 1 1 2 2 2 119 10 ИСТИНА
2 1 2 1 1 1 96 8 ИСТИНА
2 1 2 1 1 2 120 9 ЛОЖЬ
2 1 2 1 2 1 111 9 ЛОЖЬ
2 1 2 1 2 2 99 10 ИСТИНА
2 1 2 2 1 1 132 9 ЛОЖЬ
2 1 2 2 1 2 110 10 ИСТИНА
2 1 2 2 2 1 93 10 ИСТИНА
2 1 2 2 2 2 106 11 ЛОЖЬ
2 2 1 1 1 1 100 8 ИСТИНА
2 2 1 1 1 2 127 9 ЛОЖЬ
2 2 1 1 2 1 127 9 ЛОЖЬ
2 2 1 1 2 2 101 10 ИСТИНА
2 2 1 2 1 1 119 9 ЛОЖЬ
2 2 1 2 1 2 120 10 ИСТИНА
2 2 1 2 2 1 99 10 ИСТИНА
2 2 1 2 2 2 106 11 ЛОЖЬ
2 2 2 1 1 1 133 9 ЛОЖЬ
2 2 2 1 1 2 97 10 ИСТИНА
2 2 2 1 2 1 100 10 ИСТИНА
2 2 2 1 2 2 116 11 ЛОЖЬ
2 2 2 2 1 1 119 10 ИСТИНА
2 2 2 2 1 2 118 11 ЛОЖЬ
2 2 2 2 2 1 102 11 ЛОЖЬ
2 2 2 2 2 2 128 12 ИСТИНА
 
San Sanych Fomenko :

Millet Meclisi'nin bir şey yaptığına dair herhangi bir kanıt göremiyorum.

Neuronka bu sorunu çözdü, ekte Rattle kodunu içeren bir günlük var. Nöronu çağırırken kodda birkaç değişiklik var - maksimum yineleme sayısını artırdım ve orta katmanı atlayarak girişten hemen çıkışa giden bağlantıları kaldırdım (atlama = DOĞRU). Ve sonra bu iki kısıtlama her şeyi mahvediyor.

Yeni bir dosyada doğrulama yaptım, her iki durumda da hatalar neredeyse %0 (ikinci dosyadan doğrulama yapılırken tek bir hata var).

Fakat NN bir kara kutu gibi olduğu için çözümün mantığı bilinemez. Ağırlıklara bakabilir, her girdi için ortalama mutlak değeri belirleyebilir ve bir grafik çizebilirsiniz. Ve 1, 3, 5, 7, 9, 11'in diğerlerinden daha önemli olduğunu öğrenin. Ancak aynı zamanda, girdilerin geri kalanı da bir nedenden dolayı kullanılır, hiçbir yerde sıfır ağırlık yoktur. Yani tam tersi çıkıyor, önce eğitimden geçiyor, sonra önemli girdileri belirleyebiliyoruz.

Dosyalar:
 
Dr.Tüccar :

Neuronka bu sorunu çözdü, ekte Rattle'dan gelen kodu içeren bir günlük var. Nöronu çağırırken kodda birkaç değişiklik var - maksimum yineleme sayısını artırdım ve orta katmanı atlayarak girişten hemen çıkışa giden bağlantıları kaldırdım (atlama = DOĞRU). Ve sonra bu iki kısıtlama her şeyi mahvediyor.

Yeni bir dosyada doğrulama yaptım, her iki durumda da hatalar neredeyse %0 (ikinci dosyadan doğrulama yapılırken tek bir hata var).

Fakat NN bir kara kutu gibi olduğu için çözümün mantığı bilinemez. Ağırlıklara bakabilir, her girdi için ortalama mutlak değeri belirleyebilir ve bir grafik çizebilirsiniz. Ve 1, 3, 5, 7, 9, 11'in diğerlerinden daha önemli olduğunu öğrenin. Ancak aynı zamanda, girdilerin geri kalanı da bir nedenden dolayı kullanılır, hiçbir yerde sıfır ağırlık yoktur. Yani tam tersi çıkıyor, önce eğitimden geçiyor, sonra önemli girdileri belirleyebiliyoruz.

Ve orada . Girişlerin geri kalanı gürültüdür. İşte birçok yöntemden bir eksi - gürültü değişkenleri tamamen kaldırılmaz.

Belki de daha uzun ve daha küçük adımlarla öğrenmeniz gerekiyor.

Ama genel olarak, bravo. NS zor bir sorunu çözdü.
 
San Sanych Fomenko :

Millet Meclisi'nin bir şey yaptığına dair herhangi bir kanıt göremiyorum.

Aşırı takma, bilimde ve özellikle model oluşturmada dünya çapında bir kötülüktür.

Bu nedenle, üç küme için bir hata gereklidir:

  • Eğitim Seti. Çıngırak'ın anlama şekli (OOB, test, doğrulama) oldukça uygundur
  • tarihler açısından eğitim kümesinin dışında olan bir küme.
  • tarihler açısından eğitim kümesinin dışında kalan başka bir küme.

Son iki set, terminale geldikleri için karıştırmasız, bazlar çubuktur.

Her üç küme de yaklaşık olarak aynı hataya sahip olmalıdır. Bu durumda, modeli eğitirken aldığınız tahminci setini düzeltmeniz gerekecektir.

Açık olanın kanıta ihtiyacı var mı? Öğrenme sürecinde tutarsız veri taşıyan girdilerin ağırlıkları azalmış, yani. çakışan veri akışının engellendiğini söyleyebiliriz.

Bu durumda aşırı uyum sorunu yoktur, çünkü eğitilmiş ağ başka bir amaç için kullanılmaz.

İşte böyle bir yöntemi kullanmak ne kadar uygun, soru bu. Topçu çok mu ağır?

 
Dmitry Fedoseev :

İşte böyle bir yöntemi kullanmak ne kadar uygun, soru bu. Topçu çok mu ağır?

Başka bir yol deneyebilirsiniz. Ama bence soruna uyuyor.
 
Alexey Burnakov :
Başka bir yol deneyebilirsiniz. Ama bence soruna uyuyor.
İşi halleder ve iyi yapar. Ama her zaman ilgi çekicidir ve belki daha etkili ve kolay bir şey vardır.
 
Dmitry Fedoseev :
İşi halleder ve iyi yapar. Ama her zaman ilgi çekicidir ve belki daha etkili ve kolay bir şey vardır.
Denemeden anlamayacaksın. Normal eklemeler ve hariç tutmalar işe yaramaz. Ve başka?
Neden: