Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 3334
Ticaret fırsatlarını kaçırıyorsunuz:
- Ücretsiz ticaret uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Hayır, aynı göreceli yer olacak - bölücülerin (bölmelerin) sayısı - herkes için sabit.
Çok sayıda 0 ve 1'li ikili tahminciniz var. 32'ye bölünmeyecekler. Ancak bunları normalleştirirseniz, Tekdüze niceleme ile bir şeyler elde edebilirsiniz. Tekdüze olmayan kuantum ise, o zaman sadece sayılarla tüm mesafeler bozulacaktır, normalizasyondan sonra değerleri abs yapmanız gerekir.
Eğitimde olduğu gibi gürültüden kurtulamazsanız hata tahminde olacaktır.
Busting orada daha da eğlenceli - toplamdaki belirsiz yapraklar olasılığı bir yöne veya diğerine kaydırabilir - olasılık kaymasına bağlı olarak ağırlıkların nasıl dağıldığını göstermek için bir grafik yapmak istiyorum, ancak ertelemeye devam ediyorum. Bilgisayar üç gün boyunca model yaprakların benzerliğini dikkate alıyor - algoritmayı optimize etmeyi düşünüyorum - çok uzun....
Ağaç, orman ya da çalı olması fark etmez. Model tahmini %50 ise, tahminde %50 0 ve %50 1 olacaktır.
Çok sayıda 0 ve 1'li ikili tahminciniz var. 32'ye bölünmeyecekler. Ancak bunları normalleştirirseniz, Tekdüze niceleme ile bir şeyler elde edebilirsiniz. Eğer tekdüze olmayan kuantum varsa, o zaman sadece sayılarla tüm mesafeler bozulacaktır, normalizasyondan sonra değerleri abs yapmanız gerekir.
Evet, ikili sayılarda durum daha karmaşıktır. Ancak normalleştirmenin burada nasıl yardımcı olabileceği fikrini anlamıyorum.
Genel olarak, boyutluluğu azaltmak için gerekli olduğunu tahmin ediyorum. Ancak, o zaman yazarların amaçladığı şey tam olarak bu değil. Şimdiye kadar bunun farkına varmaktan çok uzağım.
Eğitimde olduğu gibi gürültüden kurtulamazsanız tahminde bir hata olacaktır.
Bu farklı bir kavramdır - veriler iki parçaya ayrılır - "tahmin edebilir" ve "tahmin edemez" gibi - bundan bir model sorumludur. Ve yeni veriler geldiğinde, bir tahmin yapılıp yapılmayacağı değerlendirilir. Böylece tahminler yalnızca eğitim sırasında "kolayca" ayrılabilen ve sıkı bir şekilde kümelenen, yani geçerlilik işareti olan veriler üzerinde yapılır.
Ağaç, orman veya çalı olması fark etmez. Model tahmininin %50 olması, tahminde %50 0'lar ve %50 1'ler olacağı anlamına gelir.
Asıl mesele bu değil. Forest ve bousting zorunlu ağaç yapısına sahiptir, yani ağaç kötüyse atılacak bir algoritma yoktur. Her iki durumda da ağaca ağırlıklar verilir. Hem özellikler seçilirken hem de örnekler (alt örnekler) seçilirken algoritmadaki aşırı rastgelelik nedeniyle kötü olabilir.
Hayır, görmedim. Bu gece ne olduğuna bakacağım.
Bu doğru - öğrenmeyi bozan örnekleri izole etmenin bir yolu - teori bu.
Buradaki fikir, 100 modeli eğitmek ve ortalama olarak hangi örneklerin güvenilir sınıflandırmayı "engellediğini" görmek ve ardından bunları başka bir modelle tespit etmeye çalışmaktır.
Modeli aldım ve yaprak sayısına baktım. Model sadece %12,2 birim ile dengesiz. 17 bin yaprak.
Yaprakları sınıflara ayırdım - hedef "1" olan yanıtların örneği başlangıç değerinden (%12,2) fazlaysa, sınıf "1", aksi takdirde "0" olur. Buradaki sınıf fikri, sınıflandırmayı iyileştirmek için faydalı bilgilere sahip olmaktır.
Histogramda modelin yapraklarındaki değerleri (X) ve bunların modeldeki yüzdelerini (Y) görüyoruz - bunları sınıflandırmadan.
Burada da durum aynı, ancak sınıf sadece "0".
Sınıf sadece "1 "dir.
Yapraklardaki bu katsayılar toplanır ve logit ile dönüştürülür, yani "+" işareti "1" sınıfının olasılığını artırır ve "-" işareti azaltır. Genel olarak sınıfa göre dağılım geçerli görünmektedir, ancak modelde yanlılık vardır.
Şimdi sadece (sınıflandırma doğruluğu açısından) yüzde dağılımına bakabiliriz - "1" ve "0" olan sayfalar için ayrı ayrı.
"0" için histogramda "%100 "e yakın doğruluğa sahip çok sayıda yaprak bulunmaktadır.
Ve burada ilk ayırma değerinin yakınında daha büyük bir küme vardır, yani çok sayıda düşük bilgili yaprak vardır, ancak aynı zamanda %100'e yakın olanlar da vardır.
Geri Çağırma değerine bakıldığında, bu yaprakların hepsinin az sayıda aktivasyona sahip yapraklar olduğu anlaşılır - sınıflarının %5'inden az.
"0" sınıfı için geri çağırma
"1" sınıfı için hatırlama.
Daha sonra yapraktaki ağırlığın sınıflandırma doğruluğuna olan bağımlılığına bakabiliriz - her sınıf için ayrı ayrı.
Hedef "0" için
Hedef "1" için.
Bu kadar geniş bir aralıkta da olsa doğrusallığın varlığı dikkat çekicidir. Ancak 100 olasılıklı "sütun" mantık dışıdır ve sayfa değeri aralığına çok geniş yayılmıştır.
Belki de bu çirkinlik kaldırılmalıdır?
Ayrıca, Recall göstergesine bağlı olarak yapraklardaki değere bakarsak, bazen çok büyük bir yanıt değerine sahip olan yapraklarda (0'a yakın) küçük bir ağırlık görüyoruz. Bu durum yaprağın iyi olmadığını ancak ağırlığın ona bağlı olduğunu gösterir. Peki bu yapraklar da gürültü olarak kabul edilip sıfırlanabilir mi?
Hedef "0" için.
Hedef "1" için.
Acaba yeni örneklemdeki (eğitilmemiş) yaprakların yüzde kaçı sınıflarını "değiştirecek"?
Ve ek olarak, bir klasik - tamlık ve doğruluğun birbirine bağımlılığı.
Sınıf 0.
Birinci sınıf.
Her neyse.... bunu nasıl tartacağımı düşünüyorum.
Ve model olasılıklar açısından böyle görünüyor.
Tren örneğinde - bir peri masalındaki gibi - %35'e varan kar elde edilmeye başlanıyor!
Test örneğinde - 0,2 ila 0,25 aralığında büyük miktarda kar kaybediyoruz - sınıf maksimumlarının noktaları karışıyor.
Sınav örneğinde - hala kazanıyor, ancak modeli çoktan aşındırıyor.
Yeni bir örnekteki (tren değil) yaprakların yüzde kaçının sınıflarını "değiştireceğini" merak ediyorum?
Bu doğru - öğrenmeyi azaltan örnekleri vurgulamanın bir yolu - bu teoride.
Buradaki fikir, 100 modeli eğitmek ve ortalama olarak hangi örneklerin güvenilir sınıflandırmaya "müdahale ettiğini" görmek ve ardından bunları farklı bir modelle tespit etmeye çalışmaktır.