Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 3311

 
Aleksey Vyazmikin #:

"Kompaktlık Profili" yöntemini kimler denedi?

Yöntemin amacı, K en yakın komşu öğrenme yöntemleri kullanıldığında öğrenmeyi iyileştirmesi ve model boyutunu azaltması gereken tutarsız örnekleri örneklemden elemektir.

Python'da bir uygulama bulamadım.....

Aynı linkte "profil "in çapraz doğrulama ile ilişkilendirilmesinden bahsediliyor, bunun için paket bulmak daha kolay olabilir.
 
Aleksey Vyazmikin #:

"Kompaktlık Profili" yöntemini kimler denedi?

Yöntemin amacı, K en yakın komşu öğrenme yöntemleri kullanıldığında öğrenmeyi iyileştirmesi ve model boyutunu azaltması gereken tutarsız örnekleri örneklemden elemektir.

Python'da bir uygulama bulamadım.....

Çalışma deneyseldir. İşte http://www.ccas.ru/frc/papers/students/VoronKoloskov05mmro.pdf adresinden bir alıntı

Bu çalışma RFBR 05-01-00877, 05-07-90410 projeleri ve OMN RAS programı çerçevesinde gerçekleştirilmiştir.

Her deneyin bir paket oluşturması olası değildir.

Evet ve deney yapaydır. Sınıflara göre net bir şekilde ayrılmış veri setine gürültü eklenmiştir. Ve net ayrım sadece 1 özellik ile yapılır - Y ekseni. Gürültüyü kaldırırsak (0,2 ila 0,8 arasındaki tüm veriler), yalnızca başka bir sınıfa uzaklığı 0,6'dan az olmayan örnekler bıraktığımız ortaya çıkıyor. Resimdeki en zor 3. seçenekten bahsediyorum:


Gerçek hayata gidin ve gürültü olacak 5000 tahmincinizi bu tek çalışan fişe ekleyin. Kümelemede bu 5001 boyutlu uzayda noktalar arasındaki toplam uzaklığı hesaplarsınız. 0.6 çalışma bu kaosun içinde asla bulunamayacaktır.

Bence herhangi bir sınıflandırıcı bunu daha iyi yapacaktır, aynı ağaç bu tek özelliği bulacak ve ona bölecektir, önce 0.5 ile sonra 0.2 ve 0.8'lik bölünmelere ulaşacak ve ardından %100 saflıkta yapraklara ulaşacaktır.

 
Aleksey Vyazmikin #:

"Kompaktlık Profili" yöntemini kimler denedi?

Yöntemin amacı, K en yakın komşu öğrenme yöntemleri kullanıldığında öğrenmeyi iyileştirmesi ve model boyutunu azaltması gereken tutarsız örnekleri örneklemden elemektir.

Python'da bir uygulama bulamadım....

Vladimir Perervenko'nun makalelerinden birinde böyle bir yöntem anlatılıyordu ve tabii ki kodlu bir örnek de vardı
 
Forester #:

Çalışma deneyseldir. İşte http://www.ccas.ru/frc/papers/students/VoronKoloskov05mmro.pdf adresinden bir alıntı

Her deneyin bir paket oluşturması olası değildir.

Ayrıca deney yapaydır. Sınıflara göre net bir şekilde ayrılmış veri setine gürültü eklenmiştir. Ve net ayrım sadece 1 özellik içindir - Y ekseni. Gürültüyü kaldırırsak (0,2 ila 0,8 arasındaki tüm veriler), yalnızca başka bir sınıfa olan uzaklığı 0,6'dan az olmayan örnekler bıraktığımız ortaya çıkıyor. Yani resimdeki en karmaşık 3. varyantı kastediyorum:


Gerçek hayata gidin ve bu tek çalışan fişe gürültü olacak 5000 tahmincinizi ekleyin. Kümelemede bu 5001 boyutlu uzayda noktalar arasındaki toplam mesafeyi hesaplarsınız. 0.6 çalışma bu kaos içinde asla bulunamayacaktır.

Bence herhangi bir sınıflandırıcı bunu daha iyi yapacaktır, aynı ağaç bu tek özelliği bul acak ve ona bölecektir, önce 0.5 ile sonra 0.2 ve 0.8'lik bölünmelere ulaşacak ve ardından% 100 saflıkta yapraklara ulaşacaktır.

Asla bulamayacak. Herhangi bir MO onu bulamayacaktır. Modeli eğitmeden ÖNCE çöplerden kurtulunmalıdır. "Çöp girer - çöp çıkar" istatistik yasasıdır.

 
СанСаныч Фоменко #:

Asla bulamayacak. Herhangi bir IO bunu bulamayacaktır. Modeli eğitmeden ÖNCE çöplerden kurtulmanız gerekir. "Çöp girer, çöp çıkar" istatistik yasasıdır.

Üzerinde deneyler yapılan belirli bir yapay örnekten bahsediyorum. Çöp girip çöp çıkmıyor. Bu örnekte çöp olan şeyi kesip atmak kolaydır.

 
Optimizasyoncuların anlayamadığı şey de tam olarak budur. Kararlılık, küresel bir maksimum arayışıyla değil, basitleştirme yoluyla geliştirilebilir.
En basit örnek, destek vektörleri arasında belirli bir mesafe olan SVM'dir. Çapraz şaft daha da esnektir. Ve orada göreceksiniz ve sonra yarım sayfalar için matstat'a girebilirsiniz.
Baştan kozul'a giremezseniz, başlamak için bu seviyede düşünebilirsiniz.

Konu dışı: starfield oynadınız mı? Besdazd nasıl atmosferik yapılacağını biliyor. Sürükleyici.
 
Forester #:

Deneylerin üzerinde yapıldığı özel yapay örnekten bahsediyorum. Çöp girip çöp çıkmıyor. Bu örnekte bilinen şeyi kesip atmak kolaydır.

Demek istediğimi açıklığa kavuşturmak için.

Herhangi bir MO algoritması hatayı azaltmaya çalışır. Hata azaltma çöp üzerinde daha etkilidir, çünkü hata azaltma için "uygun" değerlere sahip olma olasılığı çok daha yüksektir. Sonuç olarak, çöp için tahmin edicilerin "öneminin" çöp olmayanlara göre daha yüksek olacağı kesindir. Bu nedenle, model uydurmanın kendisinden çok daha fazla emek gerektiren ön işleme vardır.

 
СанСаныч Фоменко #:

Ne demek istediğimi açıklayayım.

Herhangi bir MO algoritması hatayı azaltmaya çalışır. Hata azaltma çöp üzerinde daha etkilidir, çünkü hata azaltma için "uygun" değerler çöpte çok daha yaygındır. Sonuç olarak, çöp için tahmin edicilerin "öneminin" çöp olmayanlara göre daha yüksek olacağı kesindir. Bu nedenle, model uydurmanın kendisinden çok daha fazla emek gerektiren ön işleme vardır.

Lütfen söyleyin, saçma olmayan nedir? Hiç kimsenin saf girdi verisi hakkında konuştuğunu görmedim. Ama forumda her zaman saçmalıklar duyuyorum.

Nedir onlar? Eğer saçmalıktan bahsediyorsanız, o zaman saçmalık yaşamamışsınızdır, aksi takdirde karşılaştıracak bir şey yoktur

 
СанСаныч Фоменко #:

Ne demek istediğimi açıklayayım.

Herhangi bir MO algoritması hatayı azaltmaya çalışır. Hata azaltma çöp üzerinde daha etkilidir, çünkü hata azaltma için "uygun" değerler çöpte çok daha yaygındır. Sonuç olarak, çöp için tahmin edicilerin "öneminin" çöp olmayanlara göre daha yüksek olacağı kesindir. Bu nedenle, gerçek model uydurmadan çok daha yoğun emek gerektiren ön işleme vardır.

Ön işleme normalleştirme ile ilgilidir, çöp ile değil.
Enkaz, özellik seçimi ve kısmen özellik mühendisliğidir.

Sanych, olgunlaşmamış insanların girdilerine saçmalık katmayı bırak.
 
Ivan Butko #:

Lütfen bana neyin çöp olmadığını söyleyebilir misiniz? Hiç kimsenin temiz girdi verisinden bahsettiğini görmedim. Ama forumda her zaman saçmalıklar duyuyorum.

Nedir bunlar? Çöpten bahsediyorsanız, o zaman çöp yememişsinizdir, aksi takdirde karşılaştıracak bir şey yoktur

Kimse neyin çöp olup olmadığını bilmiyor, bunlar varsayımsal kavramlar.

Eğer neyin ne olduğunu tam olarak bilselerdi, 3 bin sayfalık bir konu başlığı olmazdı)))

Kişi basitçe şu ya da bu sınırın ötesine geçmenin "saçmalık" olduğuna dair bir varsayımda bulunur, bu sınırlar da varsayımsaldır. Bu nedenle "çöp içeri - çöp dışarı" ifadesi güzel bir ifadeden başka bir şey değildir, bir araştırmacı için çöp olan başka bir araştırmacı için çöp değildir. Eliot'un dalgaları gibi.

Neden: