Alexey Terentev : Overfitting - A(x, w) modelinin kararsızlığına yol açan çoklu bağlantının bir sonucu olarak büyük ağırlıklar (~10^18) olduğunda oluşur.
Aşırı uyum şu şekilde giderilir: model eğitiminin erken durdurulması, ağırlıkların büyümesinin sınırlandırılması (L1 (Kement) ve L2'nin düzenlenmesi), ağdaki bağlantıların sınırlandırılması (Bırakma), ceza işlevlerinin (ElacticNet, Lasso) kullanılması da mümkündür.
Ayrıca, L1 düzenlemesi, ağırlık katsayılarını geçersiz kıldığı için özellik seçimine yol açar.
"Gürültü" özelliklerinden kurtulmak - bu özellik seçimidir. Bunun için yöntemler var. Bu, model için her zaman faydalı değildir, bu nedenle bazen L2 düzenlemesi kullanılır (çoklu doğrusallık sorununu çözmeye yardımcı olur).
SanSanych Fomenko , İşaretler ve hedefler arasındaki ilişki hakkındaki açıklamanız biraz özgüvenli. Çünkü henüz kanıtlanmamış olanı nasıl tartışabilirsiniz; MO modeli bunun için üretildi. İnşa edilen ve çalışan model, "şu şöyle" doğrulukla bir ilişki olduğu gerçeğine dair bir miktar tahminde bulunur.
Ve pantolon ve etekli örnek, araştırmacının incelenen alan hakkındaki bilgisinin kıtlığını yansıtır, çünkü böyle bir modelde ikamet yeri, mevsim, ikamet bölgesinin enlem ve boylamı vb. hakkında değerli işaretler atarsınız. .
Benim örneğim dejenere bir durum, düşünce saflığı, hatasız sınıflandırma. Ekonomide böyle bir işaret yok ama genetikte %100 değilse bile biraz daha zor.
Ve şimdi düzenleme hakkında.
Şüphesiz.
Ama tutarlılık önemlidir.
İlk olarak, her zaman, hedefle "ilişkiye" dayalı özellik seçimi. Borsalarda ise, ekonomik bağlar temelinde.
Her zaman önce ve sonra her şey.
rf ile çalışan bir aracım var. Birkaç yüz işaretten, "ilişki" kullanılarak 27 tahmin edici seçildi. Daha sonra her çubukta (H1) standart algoritma ile 27'den seçim yapıyorum, 5'ten 15'e kadar kalıyor, her zaman farklı olanlar elde ediliyor. Ağaç sayısını sınırlandırıyorum, 100 çok, 50 yetersiz, hata 50'de sabitlenmiyor.
Bu somut bir deneyimdir. ZZ sınıflandırma hatası %30'dan biraz daha azdır. Azaltmak mümkün değil - başka öngörücülere ihtiyaç var, ancak öngörücülerde hiçbir fikir yok.
Yeniden eğitimden (fazla uydurma) daha kötü ne olabilir?
Hedef veriler arasında bazı korelasyonlarla sınıflandırma için örnekleme parametreleri hakkında sorulan soruda, fazla uydurmadan bahsettiniz. Sizi düzeltmeye çalıştım ve bu soruyu özellik seçimi sorununa genelleştirdim. Aynı zamanda, seçim sorununun bir sonucu olarak ortaya çıktığı yeniden eğitim hakkında da değerlendirmelerde bulundu. Bu nedenle, gündeme getirilen soruda yeniden eğitimin ikincil olduğunu söylüyorum. Doğru bir şekilde not etmiş olmanıza rağmen, şu şekilde söylenmeliydi: "Parametrelerin seçimi yeniden eğitime ikincildir ve konuyu ondan daha ayrıntılı olarak ele almaya değer."
От имени команды Uber AI Labs, которая также включает Joel Lehman, Jay Chen, Edoardo Conti, Vashisht Madhavan, Felipe Petroski Such и Xingwen Zhang. В области обучения глубоких нейронных сетей (DNN) с большим количеством слоев и миллионами соединений, для тренировки, как правило, применяется стохастический градиентный спуск (SGD). Многие...
burada, eğitim örneğinin sınırları dışındaki basit bir sinir ağının oldukça iyi çalıştığı ortaya çıktı (hiperb. tanjant sabitine gider) .. regresyon durumunda, yani. RF'den çok daha iyi değil
Многие материалы по нейронным сетям сразу начинаются с демонстрации довольно сложных архитектур. При этом самые базовые вещи, касающиеся функций активаций, инициализации весов, выбора количества слоёв в сети и т.д. если и рассматриваются, то вскользь. Получается начинающему практику нейронных сетей приходится брать типовые конфигурации и...
burada, eğitim örneğinin sınırları dışındaki basit bir sinir ağının oldukça iyi çalıştığı ortaya çıktı (hiperb. tanjant sabitine gider) .. regresyon durumunda, yani. RF'den çok daha iyi değil
IMHO işe yaramaz bir makale, kötü bir çeviri, ya da ben kötü bir okuyucuyum, ama benim için, modası geçmiş fikirlerin banal bir yığını gibi görünüyor ve ne yazık ki, derin öğrenme krizinin en iyi teknoloji, hatta gerçek olarak başka bir doğrulaması gibi görünüyor. Bu yönlerin kurucusu - Geoffrey Hinton, kapsüler sinir ağları hakkındaki makalelerinde.
Ivan Negreshniy : IMHO, yenilik iddiası olmayan, ancak iyi bir pratik anlamı olan yararlı, gelişen bir makale.
Bu nedenle kafa karıştırmak kolay, diyelim ki lineer veya ridge regresyon kullandık ve her şey yolundaydı ve sonra aynı görevler için MLP'ye geçmeye karar verdik.. ama hiçbir şey yok :)
MLP için, çıktıları bir şekilde dönüştürmeniz ve sonra onları geri dönüştürmeniz gerekir. bu nedenle regresyon tahmin problemleri için uygun olsa da herkes sınıflandırmayı kullanmayı tercih ediyor :)
Hatta lineer veya sırt regresyonunun trendler ve MLP daireleri için daha uygun olduğunu söyleyebilirim.
Overfitting - A(x, w) modelinin kararsızlığına yol açan çoklu bağlantının bir sonucu olarak büyük ağırlıklar (~10^18) olduğunda oluşur.
Aşırı uyum şu şekilde giderilir: model eğitiminin erken durdurulması, ağırlıkların büyümesinin sınırlandırılması (L1 (Kement) ve L2'nin düzenlenmesi), ağdaki bağlantıların sınırlandırılması (Bırakma), ceza işlevlerinin (ElacticNet, Lasso) kullanılması da mümkündür.
Ayrıca, L1 düzenlemesi, ağırlık katsayılarını geçersiz kıldığı için özellik seçimine yol açar.
"Gürültü" özelliklerinden kurtulmak - bu özellik seçimidir. Bunun için yöntemler var. Bu, model için her zaman faydalı değildir, bu nedenle bazen L2 düzenlemesi kullanılır (çoklu doğrusallık sorununu çözmeye yardımcı olur).
SanSanych Fomenko , İşaretler ve hedefler arasındaki ilişki hakkındaki açıklamanız biraz özgüvenli. Çünkü henüz kanıtlanmamış olanı nasıl tartışabilirsiniz; MO modeli bunun için üretildi. İnşa edilen ve çalışan model, "şu şöyle" doğrulukla bir ilişki olduğu gerçeğine dair bir miktar tahminde bulunur.
Ve pantolon ve etekli örnek, araştırmacının incelenen alan hakkındaki bilgisinin kıtlığını yansıtır, çünkü böyle bir modelde ikamet yeri, mevsim, ikamet bölgesinin enlem ve boylamı vb. hakkında değerli işaretler atarsınız. .
Benim örneğim dejenere bir durum, düşünce saflığı, hatasız sınıflandırma. Ekonomide böyle bir işaret yok ama genetikte %100 değilse bile biraz daha zor.
Ve şimdi düzenleme hakkında.
Şüphesiz.
Ama tutarlılık önemlidir.
İlk olarak, her zaman, hedefle "ilişkiye" dayalı özellik seçimi. Borsalarda ise, ekonomik bağlar temelinde.
Her zaman önce ve sonra her şey.
rf ile çalışan bir aracım var. Birkaç yüz işaretten, "ilişki" kullanılarak 27 tahmin edici seçildi. Daha sonra her çubukta (H1) standart algoritma ile 27'den seçim yapıyorum, 5'ten 15'e kadar kalıyor, her zaman farklı olanlar elde ediliyor. Ağaç sayısını sınırlandırıyorum, 100 çok, 50 yetersiz, hata 50'de sabitlenmiyor.
Bu somut bir deneyimdir. ZZ sınıflandırma hatası %30'dan biraz daha azdır. Azaltmak mümkün değil - başka öngörücülere ihtiyaç var, ancak öngörücülerde hiçbir fikir yok.
Girişte hemen çok fazla parametreniz olduğundan, neden bahsettiğiniz açıktır.
Bu durumda, burada yeniden eğitim, büyük olasılıkla gözüme çarpan biraz ikincildir. Bu, hesaplamaları "kolaylaştırmaya" daha yakındır.
Girişte hemen çok fazla parametreniz olduğundan, neden bahsettiğiniz açıktır.
Bu durumda, burada yeniden eğitim, büyük olasılıkla gözüme çarpan biraz ikincildir. Bu, hesaplamaları "kolaylaştırmaya" daha yakındır.
Neden ikincil?
Ve birincil nedir?
Yeniden eğitimden (fazla uydurma) daha kötü ne olabilir?
Neden ikincil?
Ve birincil nedir?
Yeniden eğitimden (fazla uydurma) daha kötü ne olabilir?
Bu nedenle, gündeme getirilen soruda yeniden eğitimin ikincil olduğunu söylüyorum.
Doğru bir şekilde not etmiş olmanıza rağmen, şu şekilde söylenmeliydi: "Parametrelerin seçimi yeniden eğitime ikincildir ve konuyu ondan daha ayrıntılı olarak ele almaya değer."
https://habrahabr.ru/post/345950/
burada, eğitim örneğinin sınırları dışındaki basit bir sinir ağının oldukça iyi çalıştığı ortaya çıktı (hiperb. tanjant sabitine gider) .. regresyon durumunda, yani. RF'den çok daha iyi değil
vay güzel makale
https://habrahabr.ru/post/322438/
burada, eğitim örneğinin sınırları dışındaki basit bir sinir ağının oldukça iyi çalıştığı ortaya çıktı (hiperb. tanjant sabitine gider) .. regresyon durumunda, yani. RF'den çok daha iyi değil
vay güzel makale
https://habrahabr.ru/post/322438/
Boş zamanınızda okuyun.
https://habrahabr.ru/post/345950/
IMHO işe yaramaz bir makale, kötü bir çeviri, ya da ben kötü bir okuyucuyum, ama benim için, modası geçmiş fikirlerin banal bir yığını gibi görünüyor ve ne yazık ki, derin öğrenme krizinin en iyi teknoloji, hatta gerçek olarak başka bir doğrulaması gibi görünüyor. Bu yönlerin kurucusu - Geoffrey Hinton, kapsüler sinir ağları hakkındaki makalelerinde.
Uber taksi olmasına rağmen - saygı ..))
IMHO, yenilik iddiası olmayan, ancak iyi bir pratik anlamı olan yararlı, gelişen bir makale.
Bu nedenle kafa karıştırmak kolay, diyelim ki lineer veya ridge regresyon kullandık ve her şey yolundaydı ve sonra aynı görevler için MLP'ye geçmeye karar verdik.. ama hiçbir şey yok :)
MLP için, çıktıları bir şekilde dönüştürmeniz ve sonra onları geri dönüştürmeniz gerekir. bu nedenle regresyon tahmin problemleri için uygun olsa da herkes sınıflandırmayı kullanmayı tercih ediyor :)
Hatta lineer veya sırt regresyonunun trendler ve MLP daireleri için daha uygun olduğunu söyleyebilirim.
Grub ile yapılan egzersizler sırasında harika bir çizim elde ettim.
İşte EURCAD teklifi
Ve işte mutlak artışların otokorelasyonu
İnanılmaz düzenlilik!
1. Bu ne anlama geliyor?
2. Bu düzenlilik nasıl kullanılabilir?
not.
Tüm döviz çiftlerinde bu tür yoktur.
İşte USD/JPY