yeniden eğitim - sayfa 4

 
Aliaksandr Hryshyn :
Modelin/danışmanın yeniden eğitimini (geçmişe uydurma) en aza indirmek için kim hangi teknikleri kullanır?
Bu durumda, tarihsel verilerin analizi olmadan yapmanın imkansız olduğu gerçeğinden hareket etmek gerekir ve "tarihe uydurma" kavramını tamamen dışlamak gerekir. Temel aldığı TS fikri birincil olmalıdır. Her TS, bazı gösterge veya göstergelerin okumalarına dayanır. İkincisi, numune boyutu N gibi bir parametreye sahiptir ve tüm numune boyutunu analiz ettikten sonra bir karar verir. Hiçbir göstergenin tüm tarihsel verilerle eşit derecede başarılı bir şekilde başa çıkamayacağını varsaymak doğaldır. Bu nedenle, SL ve TP gibi parametreler kurtarmaya gelir. İşte optimize edilmesi gereken 3 ana parametre. TS'nin seçilen TF üzerindeki tüm geçmiş veri aralığından geçebilmesi için değerlerini bulmak gerekir. Tüm dönem için fonları artırmak için bir program aldıktan sonra, en kötü alanlarda, TS'de yer alan orijinal fikrin pazarın çeşitliliği nedeniyle çalışmadığı gerçeğini analiz etmeniz ve kabul etmeniz gerekir. Tüm siteyi "kötü" ve "iyi", ayrıca "eğitim" ve "ileri" olarak aramaya ve bölmeye çalışmak - zaman kaybı. TC, mevcut tarihi materyalin tüm hacmiyle değerlendirilmelidir.
 
Youri Tarshecki :

Pekala, bana açıklayın - forvetin bozulmasına nasıl karar veriyorsunuz - RE-antrenmanı mı yoksa ALT-antrenmanı mı? Aşırı eğitim, bir şekilde yetersiz eğitimden daha özel bir şekilde bozulur mu?

Eğitim koşullarının kalitesini belirlemenin tek yolu, örnek dışı testin ilgili kalitesini görmektir . Ve sadece sonuçları karşılaştırarak aşırı optimizasyon veya yetersiz optimizasyon söyleyebiliriz. Ancak şimdi hiçbir yerde yetersiz optimizasyonla mücadeleyle ilgili herhangi bir konu görmüyorum. Nedense herkes kötülüğün kökenini kodun kalitesinde değil, efsanevi yeniden optimizasyonda görür.

İleriye doğru bozulma, sistemin genelleme yeteneğinin bir tahminini verir (yani kararlılık, bilinmeyen veriler için uygunluk). (Yetenek) düşük olduğunda, pratik bir bakış açısına göre, aşırı veya eksik eğitim hiçbir fark yaratmaz - her durumda, bu bir israftır. Ancak danışman klasik olarak - bir dizi parametre ve bir MT test cihazı aracılığıyla - eğitilmişse, o zaman (teknik açıdan) hiçbir eksik eğitim olamaz. Ve eğitim kendi algoritmasına göre gidiyorsa, "hata minimum" olduğunda (OOS'ta en iyi sonuç) en uygun noktayı bulmak için iyi bilinen yöntemleri (örneğin erken durdurma) kullanabilirsiniz: yetersiz optimizasyon zaten var sona erdi, ancak yeniden optimizasyon henüz başlamadı. Ne yazık ki, standart test cihazı, optimizasyon dönemi ve OOS sırasında sistem verimliliğini karşılaştırmak için böyle bir otomatik işlevsellik sağlamaz. MT'deki OOS, ileri testtir. Bu nedenle, cesur aslında söylediklerimin aynısıdır. Topicstarter yeniden eğitim hakkında bir soru sordu, bu yüzden buradaki cevaplar bununla ilgili. Eksik donanıma gelince, eğer bununla optimizasyon derecesini değil, tahmin edicilerin seçimini, girdi verilerini hazırlama yöntemlerini, eğitim setinin derinliğini ve diğer meta bilgileri içeren soyut "kod kalitesini" anlarsak, o zaman Burada yetersiz donanımın tanımlanması çok kolaydır - pozitif optimizasyon sonuçlarının olmaması nedeniyle .

 

Yetersiz eğitim konusunda katılmıyorum - teknik olarak bunu yapmak zor olmayacak. Onlar. Bozulma gerçeği, yeniden eğitim olup olmadığını söylemez.

En iyi başlangıç yapan kişi terimin dışına çıkarsa ve optimumun Gauss'a göre bir şey olduğunu anlarsa, soru onun tarafından biraz farklı bir şekilde formüle edilecektir - optimal eğitim sayısı ve yoğunluğunun nasıl belirleneceği.

Ve sonra daha spesifik konuşabiliriz.

Şahsen, testin sonucuna göre belirlerim.

 

Stanislav Korotky :
Термин этот не дурацкий, а давно устоявшийся и "одобренный лучшими собаководами"

Aslında, "yeniden eğitimin" geldiği aşırı uydurma, gerçekten fazla uydurma değil, fazla uydurmadır.

 

Soruya biraz da diğer taraftan bakmaya çalışalım.

Eğitim sırasında model / TS (mümkünse) geçmiş verilerden bazı kalıpları hatırlayabiliyor, ayrıca kusurlu olması nedeniyle "gürültüyü" hatırlıyor. TS'nin "öğrenebileceğini" ve yeni veriler üzerinde iyi bir sonuç veremeyeceğini gürültü olarak ele alacağız; başka bir strateji için gürültü farklı olabilir.

İlginç bir soru, en azından kısmen, aracı / modeli gürültüyü "hatırlamaması" için nasıl sınırlayabilirsiniz? Veya tekrar ediyorum, araçla ilgili gürültüden geçmiş verilerin nasıl "temizleneceği".

İşte resimde basit bir örnek, 1. ve 2. satırların aynı desen olduğunu varsayalım.

İşte başka bir örnek, iki dikey çizgi arasındaki alanda model (kırmızı çizgiler) çok yanlış.

 
Bu resimler ne hakkında? Eksenlerde ne var? Optimizasyon sayısı?
 
Комбинатор :

Aslında, "yeniden eğitimin" geldiği aşırı uydurma, gerçekten fazla uydurma değil, fazla uydurmadır.

Oldukça doğru. Takma veya yeniden takma - turp yaban turpu daha tatlı değil
 
Youri Tarshecki :
Oldukça doğru. Takma veya yeniden takma - turp yaban turpu daha tatlı değil
Tüm geçmiş veri hacmi üzerinde takma veya yeniden yerleştirme gerçekleştirilirse, bu yalnızca TS'nin kalitesini artırır.
 
Youri Tarshecki :
Bu resimler ne hakkında? Eksenlerde ne var? Optimizasyon sayısı?
Ticarete özel değiller. Modelin (ilk şekildeki satır 1 ve 2 ve ikincideki kırmızı çizgi) verilerde (küçük kareler ve aşağıda noktalar) nasıl "hata" yapabileceğinin en basit örneklerini gösterirler.

Noktalar için gösterge değerinin yatay ve dikey olmasına izin verin - TS'nin siyah olmak için bu gösterge değerini kullanarak bazı fiyat özelliklerini nasıl tahmin etmesi gerektiği. Hatlar için - DONANIM'ın tahmin ettiği gibi. Bu tahmine dayanarak, TS ticaret yapabilir. Bu çok varsayımsal bir örnek. Tahmin edilen özellik, bir trendin veya düzlüğün varlığı, oynaklık vb. olabilir.
 
Aliaksandr Hryshyn :
Ticarete özel değiller. Modelin (ilk şekildeki satır 1 ve 2 ve ikincideki kırmızı çizgi) verilerde (küçük kareler ve aşağıda noktalar) nasıl "hata" yapabileceğinin en basit örneklerini gösterirler.

Noktalar için gösterge değerinin yatay ve dikey olmasına izin verin - TS'nin siyah olmak için bu gösterge değerini kullanarak bazı fiyat özelliklerini nasıl tahmin etmesi gerektiği. Hatlar için - DONANIM'ın tahmin ettiği gibi. Bu tahmine dayanarak, TS ticaret yapabilir. Bu çok varsayımsal bir örnek. Tahmin edilen özellik, bir trendin veya düzlüğün varlığı, oynaklık vb. olabilir.

Yatay olarak, tarihte aynı ana denk gelen bir göstergenin veya bir grup göstergenin değerlerini optimize etmek için bir takım işlemler olmalıdır. Ve dikey olarak, aslında, tüm sistemi kontrol etmenin sonucu. O zaman overtraining ve undertraining ve ne olduğu hakkında konuşmak mümkün olacak. Ve sonra eğri tamamen farklı olacak. Neredeyse olağan bir normal dağılım olacaktır, tek fark, bir noktada geçiş sayısını eklemenin (veya gösterge parametresi adımını azaltmanın) artık yeni bir şey vermeyecek olmasıdır.

Geçiş sayısı nasıl kontrol edilebilir?

1. Sadece egzersiz seanslarının sayısını değiştirerek veya gösterge parametre değerlerinin mesafesini (adım) değiştirerek.

2. OOS üzerindeki testin "adımına" göre eğitim için geçmişin derinliğini değiştirmek. Daha sonra, tarihin aynı bölümü, farklı sayıda "komşu" ile de olsa, farklı sayıda optimizasyon altına girecektir.

3. Kullanırsak, genetik optimizasyon algoritmasını değiştirmek. Örneğin, nesil sayısını değiştirmek, rastgelelik vb.

Belki de PER ve UNDO ile mücadele için mevcut tüm araçlar burada.

Ayrıca, optimizasyon sürecindeki sonuca (uydurma) değil de özellikle kontrole odaklanırsak, eğrinin doğasının sistemin kendisinin kârsız olup olmamasına bağlı olmayacağını da not ediyorum. Onlar. sistem birleşirse, o zaman aşırı yetersiz eğitimle, daha da fazla birleşecektir ve hepsi bu kadar. Öğrenmenin görevi optimum parametreleri bulmaktır. Ancak kodlamanın görevi, çalışma seçeneklerini bulmaktır, ancak optimal eğitim kendi içinde yeni bir şey yaratmaz.

Neden: