Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 596

 
Alexey Terentev :
Çapraz doğrulamayı deneyin (K-katlama).
Yeni verilerin etkisini artırmaya nasıl yardımcı olabilir?
 
elibrarius :
Yeni verilerin etkisini artırmaya nasıl yardımcı olabilir?
Kendiniz düşünün, modeli ayrı veri bloklarını besleyerek eğitiyorsunuz, bu da modele zaman serisi dizisinden biraz bağımsızlık kazandıracak ve bu da yeni verilerin "önyargı" olmadan değerlendirilmesine yol açacaktır.
 
Alexey Terentev :
Kendiniz düşünün, modeli ayrı veri bloklarını besleyerek eğitiyorsunuz, bu da modele zaman serisi dizisinden biraz bağımsızlık kazandıracak ve bu da yeni verilerin "önyargı" olmadan değerlendirilmesine yol açacaktır.

"zaman serisi dizi bağımsızlığı" karıştırılarak sağlanır. Onsuz, model hiçbir şeye gelmez.

Ve soru, karıştırırken, modelin yeni pazar trendlerini hızla yakalayabilmesi için en son verilerin önemini nasıl artıracağıdır.

 
elibrarius :

"zaman serisi dizi bağımsızlığı" karıştırılarak sağlanır. Onsuz, model hiçbir şeye gelmez.

Ve soru, karıştırırken, modelin yeni pazar trendlerini hızla yakalayabilmesi için en son verilerin önemini nasıl artıracağıdır.

Eski veriler üzerinden ön eğitim yapılır. Eğitimin son aşamaları yeni veriler üzerinde gerçekleştirilir.
 

Yani 2 adımda eğitim?
Büyük miktarda veri üzerinde eğitim + yeni veriler üzerinde elde edilen modelin ek eğitimi.
Ayrıca deneyebilirsiniz.


Bir fikrim vardı, toplam eğitim verisi dizisine 2-3 kez yeni veri ekleyin. Karıştırılsa bile önemi artacaktır.

 
elibrarius :

Bu yüzden düşündüm ki, eğer her şey birbirine karışırsa, o zaman yeni verilerin öğrenme üzerinde daha güçlü bir etkisi nasıl yapılır?

Böyle bir hile var - en son eğitim örneklerini birkaç kez çoğaltmak.
Ve mesela gbm paketinde her eğitim örneği için belirli bir önem katsayısı belirleyebilirsiniz ama bu bir nöron değil, sadece örnek olarak verdim.


elibrarius :

"zaman serisi dizi bağımsızlığı" karıştırılarak sağlanır. Onsuz, model hiçbir şeye gelmez.

Çoğu modelde, bir örnekler dizisine bağımlılık diye bir şey yoktur. Örneğin nöronlarda, her eğitim örneği için bir hata hesaplanır, ardından tüm hataların toplamı ağırlıklardaki değişiklikleri etkiler. Toplam, terimlerin yerlerindeki bir değişiklikten değişmez.

Ancak aynı zamanda, modellerde genellikle bir batch.size parametresi veya benzeri bulunur, bu, eğitim için eğitim verilerinin yüzde kaçının alınacağını etkiler. Eğitim için çok küçük bir veri yüzdesi alır ve karıştırmayı kapatırsanız, model her seferinde aynı küçük seti alacak ve her şey kötü bitecek. Darch'ı özellikle bilmiyorum, ancak karıştırmayı devre dışı bırakmak tam bir başarısızlığa neden olmamalı, diğer parametrelerde bir sorun var.


Alexey Terentev :
Çapraz doğrulamayı deneyin (K-katlama).

tamamen destekliyorum. Modelin yazarının aşırı takmaya karşı korunması hakkında yüksek sesle ifadeleri ne olursa olsun, bunun doğru olup olmadığını yalnızca k-kat gösterecektir.

 
Toparlayıp bir sonuca varmanın zamanı geldi.
Ve pratik göster.
 
Aleksandr İvanov :
Toparlayıp bir sonuca varmanın zamanı geldi.
Ve pratik göster.

çok yakında.. "neredeyse bitti"

hayatımda böyle bir jest yapmadım

 
Maksim Dmitrievski :

çok yakında.. "neredeyse bitti"

hayatımda böyle bir jest yapmadım

Vay canına, demoyu denemek için ellerini ovuşturuyorlar 😀👍👍👍 taze, lezzetli bir nine turtası gibi😂😀
 
IMHO, elbette, ama burada şubenin her sayfasında, SanSanych'in sloganıyla başlamanız gerekiyor - "Girişte çöp - çıkışta çöp." Ve her şeyden önce, tüm bilişsel ve yaratıcı yeteneklerinizi girdideki çöpleri azaltmaya hedefleyin ve ancak o zaman bilgisayar donanımını aşırı derecede yüklemeye çalışın.
Neden: