Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 3176
Ticaret fırsatlarını kaçırıyorsunuz:
- Ücretsiz ticaret uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Elbette değişkenlik gösterir. Ancak çoğu zaman Örnek'ten hemen sonra bir arıza görebilirsiniz. Belki de bu bilişsel bir çarpıtmadır, bir şeye daha fazla dikkat ettiğinizde ve bunun çok sık gerçekleştiği izlenimini edindiğinizde.
Eğer bu sık sık oluyorsa, o zaman küresel modellerin değişmesi söz konusu olmamalıdır, aksi takdirde kırılma noktası aynı tarih civarında olurdu.
Ancak belki de, tamamen istatistiksel olarak, meydana gelme sıklıkları değişmektedir. Yani, eskileri çalışmaya devam ediyor, ancak model için daha önce çeşitli nedenlerle karşılaşılmayan yenileri de var - en önemlisi, eğitim sırasında mevcut değillerdi. Örneğin, oynaklık önemli ölçüde değişmiştir ve kodun (koşullu olarak tahmin ediciler) bazı sabit değerleri vardır veya bu tür oynaklık için çok az gözlem vardır - eğitim sırasında veya diğer aralıklarda her zaman sabittir. Başka bir deyişle, örneklemde yeni gözlemler artar (yeni veriler toplanırsa) - burada bu tür olayların ortaya çıkışını tespit etmek için bir mekanizmaya ihtiyacımız var.
Bunun tersi de olabilir - bir strateji nadir olaylar üzerine inşa edildiğinde ve trend bir yıldan fazla sürdüğünde. Geçenlerde böyle bir EA inşası mucizesine bir göz attım.
Kişi sadece EA'nın 2016'dan bu yana davranış geçmişini görmüştü (altın büyümesi) ve bir şeylerin kırıldığından ve MO'nun yardımıyla doğru grafik dökümünü optimize etmenin gerekli olduğundan şikayet etti.
Kaputun altında, her biri ortalama 100 sinyal veren bir düzine göstergenin, yani aslında geçmişte farklı göstergeler tarafından tespit edilen emisyonların bulunduğu ve ortak bir grupta birleştirildiği ortaya çıktı. Bu aykırı değerler geçmişte aynı olasılıksal sonuçla tekrarlanmaya devam edecek mi?
Evet, istatistiksel olarak aykırı olmalarına rağmen aykırı olmayanlar da vardır, ancak bunların diğerlerinden nasıl ayrılacağı bir sorudur.
Grafik üç yıllık günlük ticareti göstermektedir.
Keneler için çok gibi görünüyor, ancak daha geniş bir aralık kullanıyorum - dakikalarda 10 yıldan itibaren ve sinyaller başlangıçta çok sık değil - bir temel sinyal var.
Yapmadığım şey, her aralık için bir grafik oluşturmaktı. İstatistiksel verileri saydım, ancak grafiğin kendisine bakmadım.
Örüntülerin dinamiklerine bakın - genellikle nispeten kısa bir zaman aralığında olan kümeler olabilirler - örneğe göre, örüntü gözlemlerinin tüm aralık boyunca tekrarlama eğiliminde olması iyidir.
Aynı CatBoost ile başka bir nüans - orada yaprakların yaklaşık% 50'si yeni verilerde ölür, yani modelin üzerine inşa edildiği kalıplar oluşmayı durdurur.
Vurgulananı anlamadım.
Diğer iki örnek, eğitimin yapıldığı örneği takip eden test ve sınavdır.
Sonra bunları neden kullandığınızı sordunuz - başlangıçta test, CatBoost'ta aşırı eğitimi kontrol etmek için kullanıldı, yani yeni modeller test örneğinde iyileştirme sağlamadığında - iyileştirme yinelemeleri durdurulur. Ve sınav - modelin zaten bağımsız olarak test edilmesi. İdeal olarak, eğiterek ve test ederek sınavda başarılı olacak bir model seçmeyi öğrenmelisiniz - bu ayrı bir konudur.
Ve elbette, model seçimi görevi çözülürse, gerekirse eğitim için örnek artırılabilir veya en azından eğitim ve test örneklerini mevcut tarihe yaklaştırılabilir.
Hangi anlamlılık testlerini öneriyorsunuz? Kuantum segment seçimi algoritmasının mükemmel olduğunu söylemiyorum, tam tersine - çok fazla çöp giriyor ve ben bunu geliştirmek istiyorum.
Anlamıyorum, hangi işaretlere dayanarak bunun bir tür "pi-hacking" olduğuna karar verdiniz - ve tam olarak hangi kısmı, kuantum segmentlerinin seçimi veya kuantum segmentleri (yani inşa ettiğim grafikler) tarafından iyi ve eğitimsiz bir şekilde taranan dizelerin taranması? Evet, yöntem ahşap modeller oluşturmaya yönelik yaygın yaklaşımdan biraz farklı, ancak gerçekten çok değil, konsept kalıyor.
SB'deki örnekle ilgili olarak iki husus söz konusudur:
1. Süreç bilinmiyorsa ve yalnızca veriler varsa, o zaman ticaret yapmak için en iyi saatin olduğu bir model olarak alınabilir. Yoksa bu hipotezi reddetmek için bir düşünce var mı?
2. Eğer bu gözlemler zaman içinde nispeten eşit bir şekilde dağılmışsa (olay geçmişi), o zaman bu daha çok rastgele sayı üreteci hatasına benzer.
Eğitimde, genellikle en az 10 yıl olmak üzere uzun bir süreyi kapsayan örnekler kullanıyorum.
Deneyimi değiştirmeyi önerebilirim. Üzerinde 1'den 10'a kadar sayılar olan on kutu, yüz beyaz top ve yüz siyah top olsun (10 ve 100 sayıları koşullu olarak alınmıştır). Toplar bir şekilde kutulara dizilsin, sonra her kutuda kaç top olduğuna bakıp diziliş algoritmasında bir düzenlilik olup olmadığını anlamaya çalışın - hangi sayıların olduğu kutularda bazı renkteki topların baskın olduğunu.
Yani, her bir top (her iki renkten) rastgele ve eşit olasılıkla 0,1 çekmecelerden birine konursa, sonuçta renklerin oranında hiçbir tekdüzelik olmayacaktır! Neredeyse her zaman, neredeyse tamamı beyaz olan bir kutu ve neredeyse tamamı siyah olan bir kutu olacaktır. Ve mesele DSP'nin kalitesinde değil, gerçek bir kuantum DSP alabilirsiniz ve her şey aynı olacaktır. Bu olasılıksal rastlantısallığın doğasıyla ilgili. Her zaman düzensizlik olacaktır, ancak bir sonraki düzende bulunacağı kutuların sayısı kesinlikle tahmin edilemez. Önceki örnekte haftanın saati ile aynıdır (haftanın saati kutu numarasının analogudur).
Bunu yapmanın iki yolu vardır. Ya uygulamadaki eşitsizliğin eşit olasılık altında olacağından çok daha büyük olduğunu göstermeye çalışın. Bu, bir tür istatistiksel testle yapılır. Ya da düzensizliğin, küçük de olsa, gürültü nedeniyle zayıf bir şekilde ortaya çıkan bazı düzenliliklerden kaynaklandığından emin olun. Ama bu bir inanç ve uygulama meselesi ve eğer işe yararsa, tamam.
Umarım kutu numaralarının (haftanın saatleri) sizin kuantalarınıza bir benzetme olduğu anlaşılmıştır.
Deneyimi değiştirmeyi önerebilirim. Üzerinde 1'den 10'a kadar sayılar olan on kutu, yüz beyaz top ve yüz siyah top olsun (10 ve 100 sayıları geleneksel olarak alınır). Toplar bir şekilde kutulara dizilsin, sonra her kutuda kaç top olduğuna bakıp diziliş algoritmasında bir düzenlilik olup olmadığını anlamaya çalışın - hangi sayıların olduğu kutularda bazı renkteki topların baskın olduğunu.
Dolayısıyla, her bir top (her iki renkten) rastgele ve eşit olasılıkla 0,1 çekmecelerden birine konursa, sonuçta renklerin oranında hiçbir tekdüzelik olmayacaktır! Neredeyse her zaman, neredeyse tamamı beyaz olan bir kutu ve neredeyse tamamı siyah olan bir kutu olacaktır. Ve mesele DSP'nin kalitesinde değil, gerçek bir kuantum DSP alabilirsiniz ve her şey aynı olacaktır. Bu olasılıksal rastlantısallığın doğasıyla ilgili. Her zaman düzensizlik olacaktır, ancak bir sonraki düzende bulunacağı kutuların sayısı kesinlikle tahmin edilemez. Önceki örnekte haftanın saati ile aynıdır (haftanın saati kutu numarasının bir analogudur).
Bunu yapmanın iki yolu vardır. Ya uygulamadaki eşitsizliğin eşit olasılık altında olacağından çok daha büyük olduğunu göstermeye çalışın. Bu bir tür istatistiksel testle yapılır. Ya da tekdüze olmamanın, küçük de olsa, gürültü nedeniyle zayıf bir şekilde ortaya çıkan bir düzenlilikten kaynaklandığından emin olun. Ama bu zaten bir inanç ve uygulama meselesi ve eğer işe yarıyorsa, tamam.
Umarım kutu numaralarının (haftanın saati) sizin kuantumunuza bir benzetme olduğu anlaşılmıştır.
Eğer SB'den bahsediyorsak, o zaman ne tür modellerden bahsedebiliriz, çünkü modellerin özü (ahşap veya sinirsel) verilerdeki örüntüleri bulmaktır.
Bir kutuda aynı renkte topların çoğunlukta olabileceği gerçeği hakkında - bu yüzden deneyi 10 kez yapıyorum ve her seferinde sonuçları alıyorum (örneği 10 parçaya böldüm) ve sadece çoğu sonuçta benzer ise, bir kuantum segmenti seçiyorum. Deneyi 10 kez yaptıktan sonra aynı kutuda belirli bir renkte diğer kutulardan daha fazla top bulma olasılığımız nedir?
Bu duruma uyacak başka bir istatistiksel test biliyor musunuz?
Hiçbir şeyden emin olamazsınız, ayrıca SB'de....
Kesinliğe katkıda bulunacak yöntemler arıyorum.
Ayrıca, seçilen kuantum segmentinin hala tahmin edicinin diğer kısmından daha fazla rastgele olmayan bölünme potansiyeline sahip olduğunu varsayıyorum - bunu bir formül veya bir tür tahmin olarak nasıl ifade edeceğimi bilmiyorum. Böyle bir segmenti soyut olarak bir parke taşının içindeki değerli mineral/metal damarı olarak algılıyorum.....
Bunu nasıl daha açık hale getireceğimi bilmiyorum, bu yüzden iki ağaç bölünmesini şematik olarak gösteriyorum.
İki çubuk iki öngörücüdür - dikey çubuklar zamanı simgelemektedir (ancak bunun tam bir reprodüksiyonunu yapmadım).
Kalın çizgi, ağaç modeli tarafından tahmin edicilerin bölündüğü standart yerdir.
İkinci tahmin edici (şeklin solunda), 2 ila 3 aralığının en büyük birim birikimine sahip olduğunu göstermektedir; bu aralığı renkli olarak vurguladım.
İlk bölünmeden sonra, ilk bölünmeden kalan figürleri mavimsi renkle vurguladım (diyelim ki birimlerin dal boyunca gittiği sağ kısım).
Dolayısıyla, ilk bölünmeden sonra kalan toplam birimleri sayarsak, bölünme tam ortada yapılmalı ve 1'den 2'ye kadar bölünmelidir, ancak ilk sütun mutlak olarak yanıtlar üzerinde en zayıf istatistiksel endeksleri ve 4'ü içerir - her biri sadece 8, ortadakiler ise 10 ve 12 içerir. Kuantum kesmesi 1 ve 4 numaralı sütunları bir tarafa, 2 ve 3 numaralı sütunları ise diğer tarafa kaydırabilir, bu da kuantum kesmesi olmadan olduğundan toplamda sadece bir birim daha azdır, ancak başlangıçta bu aralıkta 8 birim daha fazla gözlemlenmiştir ki bu da önemli görünmektedir. Yani, bu aralığın komşu iki aralıktan daha fazla birim içermeye devam etmesi beklenmektedir.
Kuantum segment seçimi fikrinin özünü açıklamayı başarabildiniz mi?
Eklemeliyim: Bu bir konvansiyondur - aritmetik hatalara izin verir - burada önemli olan sayılar değil, metin ve mantıktır.Günlük anlamda -162 ve +162 aralığında sinyaller gönderen bir tahmincimiz var.
Kuantum bölümleri tespitinin yardımıyla, örneğin daha sık meydana gelen isabet, aşağıdaki seviyelere sıçradığında, seviye aralıklarını bulabiliriz. Bir seviyeye yakın olmayan kalan bölümler basitçe sırayla kategorize edilebilir. Ve bir tahmincinin, ancak verileri farklı amaçlar için temsil etmenin iki yolu olduğu ortaya çıkıyor - bir seçenek olarak.
Bu duruma uyabilecek başka bir istatistiksel test biliyor musunuz?
En evrensel olanı muhtemelen Monte Carlo'dur. Açıkça ayrılmaz sınıfların durumunu tekrar tekrar simüle edin ve kuantlarınızın ortalama olarak nasıl davrandığını görün. Eğer bir şey bulurlarsa, o zaman bu kendi kendini yenilgiye uğratır.
Makul bir şekilde bölünemez sınıflar, özelliklerle aynı dağılımla üretilen örnekler alınarak elde edilebilir.
En evrensel olanı muhtemelen Monte Carlo'dur. Açıkça ayrılmaz sınıfların durumunu tekrar tekrar simüle edin ve kuantalarınızın ortalamada nasıl davrandığını görün. Eğer bir şey bulurlarsa, o zaman bu kendi kendini kandırmadır.
Makul bir şekilde bölünemeyen sınıflar, özelliklerle aynı dağılımla üretilen örnekler alınarak elde edilebilir.
Monte Carlo, dizileri karıştırmak ve rastgele diziler elde etmekle ilgilidir - bunun nasıl bir yardımı olur? Ve eğer rastgele olmadıklarını varsayarsanız..... dizileri karıştırmak muhtemelen doğru değildir. ve zaman serilerinde rastgele değildir. Fikri anlamadım, eğer daha detaylı anlatabilirseniz.
Test için csv'de böyle bir örnek oluşturabilir misiniz? R'de yeterince hızlı olduğunu düşünüyorum. Aksi takdirde kod yazmak için bir gün daha harcayacağım ve doğru yapıp yapamayacağımı bilmiyorum.
Monte Carlo dizileri karıştırmak ve rastgele diziler elde etmekle ilgilidir - bunun ne faydası var? Ve eğer rastgele olmadıklarını varsayarsak.... dizileri karıştırmak muhtemelen doğru değildir. ve zaman serilerinde rastgele değildir. Fikirleri anlamıyorum, eğer daha ayrıntılı olarak açıklayabilirseniz.
Test için csv'de böyle bir örnek oluşturabilir misiniz? R'de yeterince hızlı olduğunu düşünüyorum. Aksi takdirde kod yazmak için bir gün daha harcayacağım ve doğru yapıp yapamayacağımı bilmiyorum.
Bunu MT5'te yapabilirsiniz, istatistik kütüphanesi farklı dağılımlar için örnekler oluşturmak için işlevlere sahiptir. Örneğin, ilk sütunda işaret olarak 200'lük normal bir örnek oluşturabilir ve ikinci sütunda 0,5 olasılıkla rastgele seçim yaparak işaretler yapabilirsiniz.
Bunu paketiniz içinde bir şekilde otomatikleştirirseniz daha iyi olur, çünkü bunu birçok kez yapmanız ve her seferinde bir şey hesaplamanız gerekir - ne olduğunu yalnızca siz bilirsiniz.
Bunu MT5'te yapabilirsiniz, istatistik kütüphanesi farklı dağılımlar için örnekler oluşturmak için işlevlere sahiptir. Örneğin, ilk sütunda işaret olarak 200'lük normal bir örnek oluşturun ve ikinci sütunda her biri 0,5 olasılıkla rastgele seçimle işaretler yapın.
Bunu paketiniz içinde bir şekilde otomatikleştirirseniz daha iyi olur, çünkü bunu birçok kez yapmanız ve her seferinde bir şeyler hesaplamanız gerekiyor - ne olduğunu yalnızca siz biliyorsunuz.
Bu özelliği daha önce hiç kullanmadım.
Bu işlevle mi ilgili?
Tıpkı rastgele aşırı atış yapmanın ne kadar verimsiz bir yaklaşım olduğunu yazdığım gibi.
Örnekleme potansiyelini test ederken tahminci seçiminin rastgelelik unsuruyla birlikte aşırı örneklemeyi kullanıyorum ve bunu CatBoost'ta uzun yıllardır kullanıyorum.
Rastgeleleştirme, modelin çalışmaya devam etmesini beklemek için herhangi bir gerekçe sunmaz, çünkü tahmin edici yanıtlar modele rastgele yerleştirilmiştir.
Yine anlamsız bir çekişmenin içine düşme riski var. Oos üzerinde çalışan rastgele bulunmuş bir set ile en zor zihinsel acılarla icat edilmiş ama aynı zamanda temel bir gerekçesi olmayan bir set arasındaki fark nedir? Doğrulama yöntemi aynı olduğunda. Retorik bir soru.
Rastgele bir arama ile seçiminde rastgelelik unsuru olan bir arama arasındaki fark nedir? ))