Bu kaosun bir düzeni var mı? Hadi bulmaya çalışalım! Belirli bir örnek üzerinde makine öğrenimi. - sayfa 20
Ticaret fırsatlarını kaçırıyorsunuz:
- Ücretsiz ticaret uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Peki bunu nasıl yorumluyorsunuz - bir örüntü var ama siz onu bulamayacak mısınız? Yoksa desen rastlantısallığın içinde mi?
sadece ne yazdığını dikkatlice okuyun.
Satır aralarında hiçbir şey yok, kelimesi kelimesine ve çok açık.
İkinci kez benim yazdıklarımla örtüşmeyen bir soru oluşturdunuz.
Açgözlülük olmadan bunu nasıl yaparsınız? Her bölünme için bir tane daha hesaplayın ve bir kerede bir çift seçin, ancak sizin durumunuzda hesaplama süresi 5000+ kat artacaktır. Yüz modelin ortalamasını almak daha kolay.
Ben daha ziyade kaliteye, yani ek değerlendirme kriterlerine doğru düşünüyorum.
Başka bir yaklaşım - tahmin ediciler için uygulamalarının tutarlılığını sağlayacak ağırlıklar - net bir ağaç çerçevesi değil. Bir çeşit "önce zamanı tanımla", sonra "volatiliteyi tahmin et" ve "mevcut fiyat pozisyonu".
Rastgeleliğin etkisini azaltmak için bu doğrudur. Aksi takdirde ormanda olduğu gibi 20-100 modelin ortalamasını almanız gerekir.
Burada başka bir hile daha var ve süreci tam olarak anlamıyorum - başlangıçta kesilmiş bir örneklem üzerinde bir ağaç oluşturuyorlar (tüm örneklem üzerinde zorlanmadıysa) ve ardından tüm örneklem üzerindeki yapraklardaki sonuçları sayıyorlar. Görünüşe göre bölünmeler alt örneklem üzerinde ve yapraklardaki ağırlıklar zaten tüm örneklem üzerinde.
Yani, rafine ağaçların en iyi değil, rastgele daha kötü olabileceği ortaya çıkıyor.
Bu nedenle modellerde drenajdan karlılığa doğru bir dağılım söz konusudur.
Hayır, eğitim her iterasyonda sonucu her zaman iyileştirir ve eğitim örneğindeki modeller her zaman artı taraftadır. Finansal bir farkla da olsa.
Dağılım grafiklerine bakılırsa, daha fazla drenaj modeli vardır, yani ortalama alırsak, ortalama sonuç kârsız olacaktır.
Evet, ama bu daha çok özel bir durum.
Belki random-strength = 0? Umarım Tohum değişiklikleri bundan sonra modeli değiştirmeyi durdurur. Belki de rastgele kötü olanlar yerine daha iyi arıtma ağaçlarına sahip bir model oluşturun. En iyi model bir drenaj olacaksa, bu veriler üzerinde 10000 rastgele modelden rastgele en iyisini aramak gerçek bir drenaja giden yoldur.
Sıfır ile denedim, ancak anladığım kadarıyla ağaçlarınSkoru herkes için aynı oldu ve bu nedenle aynı olanlar rastgele seçildi :)). Ya da hala bir yerlerde rastgele sayı üreteci kullanılıyor.
Ya da ormanda olduğu gibi rastgele seçilen birkaç modelin ortalaması. Çünkü en iyisi yeniden eğitilebilir.
Yani üç örnekten model seçip ortalamasını almak gibi mi? Belki de öyledir - henüz model topluluklarına geçmek istemiyorum, hala modellerin yapısını iyileştirme olasılığını araştırmam gerekiyor.
Diğer bir yaklaşım ise tahmin ediciler için uygulamada tutarlılık sağlayacak ağırlıklardır - net bir ağaç çerçevesi değil. "Önce zamanı tanımlayalım", sonra "volatiliteyi tahmin edelim" ve "mevcut fiyat pozisyonu" gibi.
Bunu denedim - önce haftanın gününe ve/veya günün saatine bölündü. Modeller, ilk bölünmeleri kendi başına bulmasından daha kötü çıktı. Bunu siz de yapabilirsiniz - örneği haftanın günlerine göre 5 parçaya bölün ve her gün için 1 model eğitin. Ya da bir saat ya da ne isterseniz.
Hayır, eğitim her iterasyonda sonucu her zaman iyileştirir ve eğitim örneğindeki modeller her zaman artıdadır. Finansal bir farkla da olsa.
İyileşme olacağı açık, ancak en iyisi değil, ancak skorun randomizasyonu ile.
Dikkatimi dağıtmamak için Trein'i hiç izlemiyorum. O her zaman iyi olacak.
Skor rastgeleleştirme olmadan gerçekleşmişse ve sonuçlar hala farklıysa, rastgeleleştirme başka bir yerde kullanılmış demektir.
Seçmek için değil - ama rastgele oluşturulmuş olanları almak için. Ve ortalamalarını almak. Bir ormandaki gibi. Orada da rastgele ağaçların ortalaması alınır. Ancak rastgele olanların en iyileriyle deney yapabilirsiniz.
Bunu denedim - önce haftanın gününe ve/veya günün saatine böldüm. Modeller, ilk bölünmeleri kendi başına bulmasından daha kötüydü. Bunu siz de yapabilirsiniz - örneği haftanın gününe göre 5 parçaya bölün ve her gün için 1 model eğitin. Ya da bir saat veya ne isterseniz.
Evet bu seçeneğim var :) Tahmin edicilerden birinde ilginç sonuçlar yakalamayı ve bunun için bir sinyal stratejisi oluşturmayı başardım.
Ancak, burada başka bir şeyden bahsediyorum, eğitim sırasında model tarafından seçilen tahmincilerin önceliği hakkında.
Skor rastgeleleştirme olmadan elde edilmişse ve sonuçlar hala farklıysa, rastgeleleştirme başka bir yerde kullanılıyor demektir.
Belli ki :) Geliştirici bu konuda hala sessiz.
Ayıklama değil - ama rastgele oluşturulmuş olanları arka arkaya almak. Ve ortalamasını almak. Bir ormandaki gibi. Orada da rastgele ağaçların ortalaması alınır. Ancak rastgele olanların en iyileriyle deney yapabilirsiniz.
Bu tür şeyler büyük bir Geri Çağırma ile veya modelleri yanıt noktalarının pozitif bir sınıfa benzerliğine göre önceden gruplandırarak yapılabilir, aksi takdirde her zaman olumsuz bir öneri olacaktır.
Son deneyin örneklemini azalttım - daha önce seçtiğim tahmin edicilerle - 2014-2015 yıllarının ikisini eğitim örnekleminden çıkardım.
Geçen sefer sınav örnekleminde 3000'in üzerinde kârı olan 208 model varken, şimdi 277 model var. Bu bir tesadüf mü yoksa örnekler daha mı benzer hale geldi?
Bu arada, geçen sefer test örneğindeki ortalama kar dengesi 982 puan ve kesilmiş örnekte 2115 idi, ancak sınavda neredeyse değişmedi -1114'e karşı -1214.
Sonucu başka nasıl iyileştirebileceğimize dair bir fikriniz var mı?
Geçen sefer örnek sınavda 3000'in üzerinde kârı olan 208 model varsa, şimdi 277 model var. Bu bir tesadüf mü yoksa örnekler daha mı benzer hale geldi?
Tohum'a, yani yeni verilere son derece yüksek bir bağımlılığınız var. Örüntülerin olduğu verilerde, resim traine'deki gibi olacaktır: küçük sapmalarla hepsi + içinde.
İlk Tohumu değiştirmeyi deneyin (birkaç varyant deneyin). Başarılı desenlerin sayısı çok fazla değişecekse, o zaman tohum değiştirilirken HNC'nin sırasının yanı sıra rastgeledir.
Bu arada, son adımdaki test modelleri örneğinde ortalama kar dengesi 982 puandır ve kesilmiş örnekte 2115'tir, ancak sınavda neredeyse değişmez -1114'e karşı -1214'tür.
Test ortalamasının 0'ın üzerinde olması garip. Belki de traine demek istediniz? Test öğrenmeye katılmıyor gibi görünüyor ya da bir traine seçmek için dolaylı olarak katılıyor.
Sonucu nasıl iyileştirebileceğimize dair bir fikriniz var mı?
Büyük olasılıkla model aşırı ya da yetersiz eğitilmiştir. Ve son seçenek - model yok.
Eğer aşırı eğitilmişse - ağaç sayısını 1'e düşürmeye çalışın. Eğer az eğitilmişse - ağaç derinliğini artırabilirsiniz.
Muhtemelen daha fazla ağaç içeren varyantı zaten denemişsinizdir.
Desen eksikliği daha zordur. Eğer 5000'den fazla tahminci ile bulamadıysanız, başka nasıl arayacağımı bile bilmiyorum. Bu 5000+ sayısına nasıl ulaştığınızı da bilmiyorum. Henüz o yönde bir araştırma yapmadım. Hesaplamak çok daha uzun sürdüğü için, ama sanırım OOS'da da yaklaşık 50/50 olduğu için yapmam gerekecek.
Bu arada, denge çizgisini yatay eksende zamanla mı yoksa sadece anlaşmalar arasında eşit bir adımla mı oluşturuyorsunuz? Grafiklere bakılırsa - ikincisi.
İşte bir örnek:
En üstte 3000+ işlem var, en altta 600+ işlem var. Bunları sadece eşit aralıklarla yaparsanız, güzel trendler elde edersiniz. Ancak burada 5 yıl boyunca ticaretin sadece birkaç gün olduğunu ve aylarca / yıllarca uyuyacak bir robot yapmanın bir anlamı olmadığını görebilirsiniz. Sadece onu kapatacaksınız.
Resim sadece siyah ve beyaz kuğular temasında. Gördüğünüz gibi, MO onları iyi "ısırıyor" ve mevcutlarsa onlara uyum sağlıyor.
@fxsaber de bu konuyu araştırdı https://www.mql5.com/ru/blogs/post/749420
Hem beyaz hem de siyah kuğuların etkisini ortadan kaldırmak gerektiği konusunda ona tamamen katılıyorum.
Optimize edicide özel bir kriter uygulayabilir ve bir şekilde diğer seçenekleri seçebilirseniz, MO'da bölünmeleri seçmek için yalnızca standart seçenekler vardır ve burada yalnızca geçmişin parçalarını kesebilirsiniz. Sorun şu ki, beyaz kuğu anı model eğitilmeden önce bilinmiyor. Ve eğer onu kesip çıkarırsanız - model tamamen farklı hale gelecektir ve kendi beyaz kuğusu olabilir. Düşünmeli ve denemeliyiz...
İyi günler, ilk gönderideki dosyaları gönderebilir misiniz, ben de bir fikir denemek istiyorum.
Merhaba. Evet, bugün göndermeye çalışacağım.
Tohum'a, yani yeni verilerdeki HGF'ye son derece yüksek bir bağımlılığınız var. Örüntülerin olduğu verilerde, resim tepsideki gibi olacaktır: küçük sapmalarla hepsi + içinde.
İlk Tohumu değiştirmeyi deneyin (birkaç varyant deneyin). Eğer başarılı örüntülerin sayısı değişiyorsa, o zaman rastgeledir ve tohum değiştirilirken HGC'nin sırası da değişir.
Her modeldeki tohum sırayla 1'den 10000'e kadar değişir - farklı modeller üretmenin amacı budur. Tohum sabit değilse ve tüm uzaydan alınırsa ne olur (veya nasıl üretilir - bu da bir soru) - bilmiyorum - kontrol edebilirsiniz.
Sonucun teste benzer olması gerektiği ifadesinin temeli nedir? Örneklerin homojen olmadığını varsayıyorum - içlerinde karşılaştırılabilir sayıda benzer örnek yok ve kuantumlar üzerindeki olasılık dağılımlarının biraz farklı olduğunu düşünüyorum.
Evet, model tesadüfen inşa edilmiş olsun - diyelim ki, ama bu tanımlanan düzenliliği tanımlamadığı anlamına mı geliyor?
Test ortalamasının 0'dan büyük çıkması garip. Belki de treni kastediyorsunuz? Test, bir traine seçmek için öğrenmeye dahil değil gibi görünüyor ya da dolaylı olarak dahil oluyor.
Sadece eğitimin durdurulmasını kontrol etmek için katılır, yani tren üzerinde eğitim yapılırken test üzerinde herhangi bir gelişme olmazsa, eğitim durur ve ağaçlar test modelinde en son gelişmenin olduğu noktaya kadar kaldırılır.
Bu öyle bir durumdur ki, iyileşme olmayabilir, ancak bozulma güçlü değildir, ancak tren örneği üzerinde daha genelleştirilmiş örneklerdir ve öğrenme algoritması bu durumu durdurmayı söyler. Bu özelliği devre dışı bırakırsak, o zaman başka bir soru ortaya çıkar - modelde kaç ağaç kullanılmalıdır. Başka bir seçenek düşünüyorum - sabit sayıda ağacı eğitiyoruz ve sonra test örneğini kullanarak modeli kesiyoruz, ancak her adımda dengeyi hesaplamamız gerekecek, ki bu kesinlikle pahalı.
Şimdi, eğitimin bir örnekle değil, bir dizi alt örnekle durdurulmasının iyi olacağını düşünüyorum, bu da modelin zaman içindeki kalıcılığını kontrol edecektir.
Büyük olasılıkla model aşırı ya da yetersiz eğitilmiştir. Son seçenek ise hiçbir modelin olmamasıdır.
Eğer fazla eğitilmişse - ağaç sayısını 1'e düşürmeye çalışın. Eğer az eğitilmişse - ağaç derinliğini artırabilirsiniz.
Çok sayıda ağaç içeren varyantı zaten denemiş olmalısınız.
Örüntü eksikliği daha zordur. Eğer 5000'den fazla tahminciyle bulamadıysanız, başka nasıl arayacağımı da bilmiyorum. Bu 5000+ sayısına nasıl ulaştığınızı ben de bilmiyorum. Henüz o yönde bir araştırma yapmadım. Hesaplamak çok daha uzun sürdüğü için, ama sanırım OOS'da da yaklaşık 50/50 olduğu için yapmam gerekecek.
Görünüşe göre kullandığım örneği açıkça belirtmemişim - bu, burada açıklanan deneyden altıncı (son) örnektir, bu nedenle yalnızca 61 tahminci vardır.
Yukarıda da belirttiğim gibi - evet, modeller örneklem dizisinin tamamını tanımlamadıkları anlamında tam olarak eğitilmemiştir ve bu genellikle normaldir, çünkü piyasa değişmektedir ve tüm kombinasyonlar orada olamaz ve sonraki her örneklemde farklı sayıda ve muhtemelen onlar için farklı bir ortalama sonuç olacaktır. Temsili bir örneklemle çalışmıyoruz, bu nedenle tam bir açıklama bekleyemeyiz - amacım birkaç istikrarlı model çıkarmak.
Ağaçlara gelince, ağaç sayısıyla ilgili olan öğrenme oranı (--learning-rate) için bir ayar vardır, yani oran ne kadar yüksekse, örneği tanımlamak için o kadar az ağaç gerekir. Dolayısıyla, oranı (0.3) artırırsanız, koşullu filtrelemeyi geçen model sayısının daha fazla, bazen iki katından fazla olduğu ortaya çıkıyor, son deneyler sadece bu tür ayarlar üzerinde ve ortalama ağaç sayısı 10 adet, derinlikleri ise 6 bölme. CB'deki ağaçlar biraz farklıdır - simetrik bir ağacın tüm seviyesinde bir bölünme vardır, bu da uygulamalarını klasik varyanttan daha hızlı hale getirir, ancak tek tek daha az bilgilendiricidirler. En son sürümlerde klasik ağaçları kullanabilirsiniz, ancak MQL5'te modelleri için bir yorumlayıcım yok, bu yüzden onları kullanmıyorum, bu yüzden üzülmüyorum.
Genel olarak, daha fazla tahminci ekleyebilirim, çünkü şimdi birkaç istisna dışında sadece 3 TF ile kullanılıyorlar - sanırım birkaç bin tane daha eklenebilir, ancak 61 tahminci için 10000 tohum varyantının böyle bir yayılma sağladığı göz önüne alındığında, hepsinin eğitimde düzgün kullanılıp kullanılmayacağı şüphelidir....
Ve tabii ki tahmin edicileri önceden taramanız gerekir, bu da eğitimi hızlandıracaktır.
Bu arada, denge çizgisini yatay eksende zamanla mı yoksa sadece işlemler arasında eşit bir adımla mı oluşturuyorsunuz? Grafiklere bakılırsa - ikincisi.
İşte bir örnek:
Üstte 3000+ işlem var, altta 600+ işlem var. Bunları sadece eşit girintili yaparsanız, güzel trendler elde edersiniz. Ancak burada 5 yıl boyunca ticaretin sadece birkaç gün olduğunu ve aylarca / yıllarca uyuyacak bir robot yapmanın bir anlamı olmadığını görebilirsiniz. Sadece onu kapatacaksınız.
Denge, takvimin kronolojisi dikkate alınmadan sırayla kurulur. Evet, ne demek istediğinizi anlıyorum, ancak benim konseptimde bu, ticaret modellerine hazırlanmanın sonraki aşamalarıyla ilgili bir konudur.
Resim sadece siyah ve beyaz kuğular konusundadır. Gördüğünüz gibi MO onları iyi "ısırıyor" ve varsa onlara uyum sağlıyor.
Emisyonların sapmalar olması mantıklıdır, ben sadece bunların beyaz gürültüyü ortadan kaldırarak öğrenilmesi gereken verimsizlikler olduğunu düşünüyorum. Diğer alanlarda, özellikle düz piyasa alanlarında basit ilkel stratejiler genellikle işe yarar.