Ahem... Sanırım biliyorum :) RPRop'u ilk uyguladığımda, hatanın büyümeye başladığı ve dEdW (gradyan) değerinin +Inf'ye düştüğü bir durumla karşılaştım.
Eğitim dönemlerinin sayısını sınırlayın, 10-15 diyelim veya koddaki degradenin üst değeri için bir kontrol girin, orada şu kodum var:
if (Math::Abs(this->dEdW[j][k][i]) < 10e-25) { this->dEdW[j][k][i] = 0; }
Bu, algoritmanın yerel minimum bölgesine düştüğü veya ağ yeniden eğitimi ile uğraştığımız anlamına gelir.
Anladım. Eğitim setindeki tüm örnekleri göndererek, bunların toplamını topladığımız her bir dew için hesaplıyoruz. ve sonra dew'yi eğitim sayısına bölecek olan şey. örnekler? yani toplu mod çalışır?
gumgum>> : Anladım. Eğitim setindeki tüm örnekleri göndererek, bunların toplamını topladığımız her bir dew için hesaplıyoruz. ve sonra dew'yi eğitim sayısına bölecek olan şey. örnekler? yani toplu mod çalışır?
gumgum>> : Anladım. Eğitim setindeki tüm örnekleri göndererek, bunların toplamını topladığımız her bir dew için hesaplıyoruz. ve sonra dew'yi eğitim sayısına bölecek olan şey. örnekler? yani toplu mod çalışır?
Evet, sadece tek bir nöron için yerel gradyanı ve dEdW'yi karıştırmayın - dEdW'de nöronlar kadar yerel gradyanlara sahipsiniz - işlevin eşiğini hesaba katarak çok sayıda sinaptik bağlantınız var.
hmm... ve ayrık ile ne kastedilmektedir? Bu algoritma, bir dizi problem için herhangi bir gradyan yönteminden daha kötü değildir. Yarı-Newton yöntemlerinden daha düşüktür ya da LMA diyelim. Ancak basit degradeden daha hızlı çalışır.
hmm... ve ayrık ile ne kastedilmektedir? Bu algoritma, bir dizi problem için herhangi bir gradyan yönteminden daha kötü değildir. Yarı-Newton yöntemlerinden daha düşüktür ya da LMA diyelim. Ancak basit degradeden daha hızlı çalışır.
hmm... ve ayrık ile ne kastedilmektedir? Bu algoritma, bir dizi problem için herhangi bir gradyan yönteminden daha kötü değildir. Yarı-Newton yöntemlerinden daha düşüktür ya da LMA diyelim. Ancak basit degradeden daha hızlı çalışır.
Yarı-Newtonian ve LMA'da daha ayrıntılı olarak mümkündür.
MQL5.com web sitesine giriş yapmak için çerezlerin kullanımına izin vermelisiniz.
Lütfen tarayıcınızda gerekli ayarı etkinleştirin, aksi takdirde giriş yapamazsınız.
Hesabınıza giriş yaptınız. İki faktörlü kimlik doğrulama devre dışı bırakıldı. Yeniden kurup yeni bir QR kodu tarayın veya iki faktörlü kimlik doğrulama devre dışıyken devam edin.
Kendimi tanımak istiyorum!
Ahem... Sanırım biliyorum :) RPRop'u ilk uyguladığımda, hatanın büyümeye başladığı ve dEdW (gradyan) değerinin +Inf'ye düştüğü bir durumla karşılaştım.
Eğitim dönemlerinin sayısını sınırlayın, 10-15 diyelim veya koddaki degradenin üst değeri için bir kontrol girin, orada şu kodum var:
if (Math::Abs(this->dEdW[j][k][i]) < 10e-25)
{
this->dEdW[j][k][i] = 0;
}
Bu, algoritmanın yerel minimum bölgesine düştüğü veya ağ yeniden eğitimi ile uğraştığımız anlamına gelir.
Anladım. Eğitim setindeki tüm örnekleri göndererek, bunların toplamını topladığımız her bir dew için hesaplıyoruz. ve sonra dew'yi eğitim sayısına bölecek olan şey. örnekler? yani toplu mod çalışır?
Bu algoritmanın dezavantajı, ayrık olmasıdır.
Anladım. Eğitim setindeki tüm örnekleri göndererek, bunların toplamını topladığımız her bir dew için hesaplıyoruz. ve sonra dew'yi eğitim sayısına bölecek olan şey. örnekler? yani toplu mod çalışır?
Evet, sadece tek bir nöron için yerel gradyanı ve dEdW'yi karıştırmayın - dEdW'de nöronlar kadar yerel gradyanlara sahipsiniz - işlevin eşiğini hesaba katarak çok sayıda sinaptik bağlantınız var.
Bu algoritmanın dezavantajı, ayrık olmasıdır.
hmm... ve ayrık ile ne kastedilmektedir? Bu algoritma, bir dizi problem için herhangi bir gradyan yönteminden daha kötü değildir. Yarı-Newton yöntemlerinden daha düşüktür ya da LMA diyelim. Ancak basit degradeden daha hızlı çalışır.
hmm... ve ayrık ile ne kastedilmektedir? Bu algoritma, bir dizi problem için herhangi bir gradyan yönteminden daha kötü değildir. Yarı-Newton yöntemlerinden daha düşüktür ya da LMA diyelim. Ancak basit degradeden daha hızlı çalışır.
Hızdan bahsetmedim.
hmm... ve ayrık ile ne kastedilmektedir? Bu algoritma, bir dizi problem için herhangi bir gradyan yönteminden daha kötü değildir. Yarı-Newton yöntemlerinden daha düşüktür ya da LMA diyelim. Ancak basit degradeden daha hızlı çalışır.
Yarı-Newtonian ve LMA'da daha ayrıntılı olarak mümkündür.