Bir komut dosyası şeklinde sinir ağı - sayfa 11

 

"katmanlardaki nöronları değiştirmek"

Katmanlardaki nöron sayısı

1. aynı:

2. çeşitli:

a) katmandan katmana miktarda artış;

b) katmandan katmana miktarda azalma.

c) artış (azalma) katsayısı?

 
Neutron писал (а) >>

girdi sayısı ile eğitim örneğinin boyutunun (desen sayısı) çarpımı, NN ağırlıklarının karesine eşit olmalıdır.

Bu rakam beni biraz korkuttu. Bu genellikle normal çalışma için minimum miktar mı yoksa optimal miktar mı?

Yani, girdi olarak 20 değerlik bir vektör verirsem ve toplamda en az 50.000 böyle vektörüm varsa, ağırlıklar ağında en az Sqrt (20 * 50000) = 1000 olması gerektiği ortaya çıkıyor. ? Doğru?

 

Andy_Kon'dan biraz yorumlanmış soru.

Örneklerde dalga prensibine göre organize edilmiş ağlar gördüm. örneğin 20-50-10-1 veya 20-40-1. Yani ağ ortada genişliyor. (gizli katmanda giriştekinden birkaç kat daha fazla nöron vardır)

Şebekelerimin testlerinde, gizli katmanlarda ne kadar çok nöron varsa, eğitimin daha düzgün gittiği ve sonucun çıktının üzerine bulaştığı sonucuna vardım. Örneğin, bu 20-20-1 ise, ağ daha keskin bir çözüm bulur ve çıktılar net değerlere sahiptir.

Örneğin, giriş nöronlarının sayısına bağlı olarak, gizli katmanlardaki optimal nöron sayısının bazı teorik ve pratik prensipleri.

Teşekkür ederim.

 
Andy_Kon писал (а) >>

"katmanlardaki nöronları değiştirmek"

Katmanlardaki nöron sayısı

1. aynı:

2. çeşitli:

a) katmandan katmana miktarda artış;

b) katmandan katmana miktarda azalma.

c) artış (azalma) katsayısı?

Pekala, teoreme bir bağlantı verdim, buna göre bir gizli katman yeterli.

Bu nedenle, yukarıdaki sorunların tümü doğal olarak ortadan kalkar. Doğrusal olmayan temel bileşenler yöntemini kullanarak girdileri küçültmeye veya rekabet katmanına sahip bir hibrit NN kullanmaya karar verirseniz, bu başka bir konudur ... ancak o zaman sorular uygun olmalıdır.

Sergeyev (a) yazdı >>

Bu rakam beni biraz korkuttu. Bu genellikle normal çalışma için minimum miktar mı yoksa optimal miktar mı?

Yani, girdi olarak 20 değerlik bir vektör verirsem ve toplamda en az 50.000 böyle vektörüm varsa, ağırlıklar ağında en az Sqrt (20 * 50000) = 1000 olması gerektiği ortaya çıkıyor. ? Doğru?

Doğru.

İşte Yezhov'un Shumsky "Nörobilgisayar" kitabına bir bağlantı, bu konunun yüzeysel (anlaşılır bir şekilde) ele alındığı yer.

 
Andy_Kon писал (а) >>
Ağın boyutunun ve "katmanının" kalıp (kalıp) sayısına bağımlılığı nedir?

1. Gizli katman, girişten en az 1 eleman daha büyük olmalıdır, aksi takdirde gizli katmandaki bilgiler sıkıştırılır, bu da sonucun elde edilmesine kesinlikle yardımcı olmaz.

2. Ayarlanabilir parametreleri hesaplayın. Parametre sayısı kalıp sayısını aşarsa, aşırı eğitilmiş bir ağ alma riskiniz vardır. Daha fazla desen olmalı. Ağ öğrenirken ağın boyutunu küçültebilirsiniz.

 
sergeev писал (а) >>

Andy_Kon'dan biraz yorumlanmış soru.

Örneklerde dalga prensibine göre organize edilmiş ağlar gördüm. örneğin 20-50-10-1 veya 20-40-1. Yani ağ ortada genişliyor. (gizli katmanda giriştekinden birkaç kat daha fazla nöron vardır)

Şebekelerimin testlerinde, gizli katmanlarda ne kadar çok nöron varsa, eğitimin daha düzgün gittiği ve sonucun çıktının üzerine bulaştığı sonucuna vardım. Örneğin 20-20-1 ise, ağ daha keskin bir çözüm bulur ve çıktılar net değerlere sahiptir.

Örneğin, giriş nöronlarının sayısına bağlı olarak, gizli katmanlardaki optimal nöron sayısının bazı teorik ve pratik prensipleri.

Teşekkür ederim.

Ve daha da iyisi 20-21-1

 
TheXpert писал (а) >>

Ve daha da iyisi 20-21-1

Bu arada, gizli katmanda nöron sayısının girdinin katı olmadığını da fark ettim. Ne için?

 
Neutron писал (а) >>

Pekala, teoreme bir bağlantı verdim, buna göre bir gizli katman yeterli.

Bu nedenle, yukarıdaki sorunların tümü doğal olarak ortadan kalkar. Doğrusal olmayan temel bileşenler yöntemini kullanarak girdileri küçültmeye veya rekabet katmanına sahip bir hibrit NN kullanmaya karar verirseniz, bu başka bir konudur ... ancak o zaman sorular uygun olmalıdır.

Bununla birlikte, birçok problem 5 katmanlı bir algılayıcı tarafından çözülür, bir teoremin varlığı, 3 katmanlı bir algılayıcının her derde deva olduğu anlamına gelmez.


5-6-6-2 ağ veya 3 katlı 5-25-2 yerine kullanmak daha mı iyi? Böyle büyük bir sayı, uygun doğrusal olmayanlığı sağlamak için iyi bir şekilde elde edilebilir.

Bu arada, XORa için en yakınsayan mimariyi biliyor musunuz?

 0 ----
 \     \
   0 ---- 0 --->
 /     /
0 ----

4 nöron orta -- sigmoid

 
sergeev писал (а) >>

Bu arada, gizli katmanda nöron sayısının girdinin katı olmadığını da fark ettim. Ne için?

Uygulamama göre, girdiye ne kadar yakın olursa, o kadar iyi, 21, 20 girdi için en uygunudur.

 
TheXpert писал (а) >>

Uygulamama göre, girdiye ne kadar yakın olursa, o kadar iyi, 21, 20 girdi için en uygunudur.


Hmm .. ama bir şekilde bu optimumu genelleyebilirsiniz. Ve yaklaşık 5 ve 3 katmanlı da ilginç. Teori nerede?

Neden: