Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 100

 
Michael Marchukajtes :
En başta, kesinlikle haklısın. Nihayet şubede aklı başında insanlar var. Evet, sınıflandırma modeli doğruluk veya yanlışlık açısından değerlendirir veya Reshetov'un önerdiği gibi bilinmeyene söyler. O. Ve bu tepki öğrenmedekiyle aynıysa, ağ doğru sonucu verecektir. Yani böyle bir şey....
O zaman ne yapmalı? Çekmeye veya jPredictors'ı incelemeye çalışmak için saf bir Bayes sınıflandırıcısı mı?
 
Yuri Evseenkov :
O zaman ne yapmalı? Saf Besovsky sınıflandırıcısını çekmeye mi yoksa Predictors'ı mı incelemeye çalışın?
x Ne tür bir sınıflandırıcı Besovsky???? Anlamadım, Şimdi Reshetov, aç, kapat, yağma prensibine göre çok havalı bir şey yaptı. Ve hepiniz R'nizle buhar banyosu yapıyorsunuz. Bir sürü gereksiz veri manipülasyonu yapıyorsunuz. Ve irisin nesi var???? Tahmincinin onu nasıl ısıracağını görmek ilginç ....
 
Michael Marchukajtes :
x Ne tür bir sınıflandırıcı Besovsky???? Anlamadım, Şimdi Reshetov, aç, kapat, yağma prensibine göre çok havalı bir şey yaptı. Ve hepiniz R'nizle bir buhar banyosu yapıyorsunuz. Bir sürü gereksiz veri manipülasyonu yapıyorsunuz. Ve irisin nesi var???? Tahmincinin onu nasıl ısıracağını görmek ilginç ....
Evet, R'yi burada öğrendim. Ve kelimede, Bayes sınıflandırıcısı yanlışlıkla bir mektubu kaçırdı (belki Freud'a göre). Ve Reshetov'un programının harika olduğunu iddia etmiyorum. iris hakkında bilgim yok
 
Yuri Evseenkov :
Evet, R'yi burada öğrendim. Ve kelimede, Bayes sınıflandırıcısı yanlışlıkla bir mektubu kaçırdı (belki Freud'a göre). Ve Reshetov'un programının harika olduğunu iddia etmiyorum. iris hakkında bilgim yok
Shaitan Reshetov'un makinesi :-)
 
Michael Marchukajtes :
x Ne tür bir sınıflandırıcı Besovsky???? Anlamadım, Şimdi Reshetov, aç, kapat, yağma prensibine göre çok havalı bir şey yaptı. Ve hepiniz R'nizle bir buhar banyosu yapıyorsunuz. Bir sürü gereksiz veri manipülasyonu yapıyorsunuz. Ve irisin nesi var???? Tahmincinin onu nasıl ısıracağını görmek ilginç ....

Dün için işlem sonucunu görebilir miyim?

 
Michael Marchukajtes :
Shaitan Reshetov'un makinesi :-)
Yazım hatalarımdan başlayan gönderileri silebilir miyiz?
 
mytarmailS :

Göstergeler neden hiç çalışmadı ve asla çalışmayacak? Benim fikrim...

kim bir şey denedi? hangi düşünceler geldi Yoksa ne olduğu bile belli değil miydi?
 
2 Dr.Tüccar.

Merhaba.

Evet, bir komite kurmaya çalıştım.

1000 eğitimli modelim var. 5 yıllık gecikmeli bir örnek var. Meslektaşımdan komitelerin nasıl toplandığı konusunda tavsiye istedim. Gecikmiş numunenin bir kısmı için bir komitenin toplanmasını ve diğer kısmının test edilmesini önerdi. İşte tökezledim. Komite, ilk bölüm için yeniden eğitildi ve ikinci bölümde bir drenaj gösterdi.

Bireysel modellerle aynı hikaye. Modeli gecikmeli örnekleme ile örnekleyerek hata yapıyorum. Ondan sonra, model kolayca birleşebilir.
 

Siz kendiniz biliyorsunuz ve bunun çoğunu yaptınız, ancak aynı şekilde konuştuğumuz bazı varsayımları hariç tutmak için daha eksiksiz yazacağım, ancak bunu farklı şekilde yapacağız.

Modelin parametrelerini tahmin etmek için dikkatlice honlanmış bir uygunluk fonksiyonuna sahip olmak gereklidir. İşlev, belirli model parametrelerini ve seçilen tahmin edicileri yüksek puanla değerlendiriyorsa, yeni veriler üzerinde testte iyi sonuçlar olmalıdır.
(herhangi bir değerlendirme için ne kadar yüksek olursa o kadar iyi olduğunu aklımda tutacağım)

Örneğin, 5 yıllık eğitim verileriniz var. Ve gbm için parametreler n.ağaçlar, etkileşim.derinlik, büzülme, n.minobsinnode, dağıtım, torba.fraction'dır.

Döngüdeki uygunluk işlevi en az 50 kez tekrarlanmalıdır:
1) verileri %50/%50 olmak üzere 2 parçaya bölün. Hem örnek hem de sıralı seçimler kullanılarak rastgele seçimler olmalıdır (eğitim için bir parça ortada bir yerdedir ve doğrulama için - kaynak verilerin başında ve sonunda onu çevreleyen şey). Eğitimin tablonun ilk yarısında olduğu ve doğrulamanın sonuncusu olduğu ve bunun tam tersi olan uç seçenekler dahil. Hem sıralı hem de rastgele seçilmiş örneklere sahip olmanın eğitim için önemli olduğunu düşünüyorum. Resim, rastgele ve sıralı olarak bölmenin birkaç örneğini daha açık bir şekilde göstermektedir, yeşil çizgiler eğitim içindir, sarı çizgiler doğrulama içindir.


2) modeli eğitim örneğinde eğitin (döngü boyunca kullanılan model parametreleri ve tahmin ediciler aynıdır, değerlendirmeye çalıştığınız parametrelerdir), ardından bu modelle bu verileri tahmin edin ve tahmin - doğruluğu, r'yi değerlendirin ^ 2 veya başka bir şey. Örneğin, regresyon sonucunu sınıflara yuvarladım ve tahmin için Cohen'in Kappa işlevini kullanıyorum, bu şapkadan, sınıflandırma doğruluğundan veya regresyon doğruluğundan daha çok beğendim. Ama sadece iki sınıf için çalışıyor. Üç sınıf için bir şey önermek zor, değerlendirmenin her bir sınıf için doğruluğunu ayrı ayrı hesaba katması ve buna dayalı bir tür genel değerlendirme vermesi önemlidir.
3) Doğrulama kümesinden verileri tahmin etmek için eğitilmiş modeli uygulayın, tahmini aynı fonksiyonla değerlendirin.
4) her iki değerlendirme (eğitim ve doğrulama) birbirine yakın ve aynı zamanda mümkün olduğunca yüksek olmalıdır. Bu kodu son puan için kullanıyorum - (min(skor1,skor2) - (maks(skor1,skor2)-min(skor1,skor2))) - deltaları minimum değerden çıkarılır.

Her yinelemenin sonunda bir puan elde edilecektir ve verilerin rastgele bölümleri nedeniyle -1 ile 1 arasında (veya kullanılan işleve bağlı olarak başka bir aralıkta) değişebilir. Ortalama değerlerini dikkate alırız ve sonuç olarak uygunluk fonksiyonunu döndürürüz. Ek olarak, modeli çok büyük bir gerekli veri kümesine sahip olduğu için cezalandırmak için kullanılan her bir tahmin edici için uygunluk değerinden küçük bir sayı (0.0001) çıkarırım.

Bunu, tahmin edicileri ve model parametrelerini seçen ve uygunluk değerini en üst düzeye çıkaran genetik ile birlikte kullanıyorum.

Sonunda, ortalama olarak mevcut eğitim verileri üzerinde iyi tahmin sonuçlarına sahip olan bir dizi tahmin edici ve model parametresi elde edeceksiniz. Model, verilerdeki bazı kalıpları bulabilir, onlardan öğrenebilir ve aynı zamanda eğitim için hangi veri örneğinin kullanıldığına bakılmaksızın aynı kalıpları yeni doğrulama verilerinde başarılı bir şekilde bulabilir.
Model her seferinde mevcut verilerin sadece %50'si kullanılarak eğitildiğinden ve parametreler ve tahmin ediciler buna göre seçildiğinden bu model için önemli bir durumdur.
Modelleri aynı koşullar altında komite için eğitmek gerekir - bir örneklemle veya eğitim için verilerin %50'sini sırayla seçin. Her yeni model için, bir örnek (veya sıralı küme) için de yeni bir tane gerekir.

Böyle bir komitenin ne zamana kadar iyi öngörülerde bulunacağı bilinmiyor ancak eğitim verilerinin 5 yıllık olduğu göz önüne alındığında komitenin önümüzdeki 5 yıldan daha az yaşayacağı açık.
Ve bir önemli nokta daha - komitenin oluşturulması için harcanan tüm zamandan sonra, kârsız bir şekilde işlem görürse, tahmin için kullanılan paket Forex için uygun değildir. Belki çok fazla serbestlik derecesine sahiptir veya tam olarak uymuyordur. Başka bir paket almak daha iyidir. Veya antrenman verilerinin yüzdesini %50'den daha da aza indirmeyi deneyebilirsiniz.

Tüm bu tavsiyeler bu forumdan ve deneyimden.

 
Dr.Tüccar :

Siz kendiniz biliyorsunuz ve bunun çoğunu yaptınız, ancak aynı şekilde konuştuğumuz bazı varsayımları hariç tutmak için daha eksiksiz yazacağım, ancak bunu farklı şekilde yapacağız.

Modelin parametrelerini tahmin etmek için dikkatlice honlanmış bir uygunluk fonksiyonuna sahip olmak gereklidir. İşlev, belirli model parametrelerini ve seçilen tahmin edicileri yüksek puanla değerlendiriyorsa, yeni veriler üzerinde testte iyi sonuçlar olmalıdır.
(herhangi bir değerlendirme için ne kadar yüksek olursa o kadar iyi olduğunu aklımda tutacağım)

Örneğin, 5 yıllık eğitim verileriniz var. Ve gbm için parametreler n.ağaçlar, etkileşim.derinlik, büzülme, n.minobsinnode, dağıtım, torba.fraction'dır.

Döngüdeki uygunluk işlevi en az 50 kez tekrarlanmalıdır:
1) verileri %50/%50 olmak üzere 2 parçaya bölün. Hem örnek hem de sıralı seçimler kullanılarak rastgele seçimler olmalıdır (eğitim için bir parça ortada bir yerdedir ve doğrulama için - kaynak verilerin başında ve sonunda onu çevreleyen şey). Eğitimin tablonun ilk yarısında olduğu ve doğrulamanın sonuncusu olduğu ve bunun tam tersi olan uç seçenekler dahil. Hem sıralı hem de rastgele seçilmiş örneklere sahip olmanın eğitim için önemli olduğunu düşünüyorum. Resim, rastgele ve sıralı olarak bölmenin birkaç örneğini daha açık bir şekilde göstermektedir, yeşil çizgiler eğitim içindir, sarı çizgiler doğrulama içindir.


2) modeli eğitim örneğinde eğitin (döngü boyunca kullanılan model parametreleri ve tahmin ediciler aynıdır, değerlendirmeye çalıştığınız parametrelerdir), ardından bu modelle bu verileri tahmin edin ve tahmin - doğruluğu, r'yi değerlendirin ^ 2 veya başka bir şey. Örneğin, regresyon sonucunu sınıflara yuvarladım ve tahmin için Cohen'in Kappa işlevini kullanıyorum, bu şapkadan, sınıflandırma doğruluğundan veya regresyon doğruluğundan daha çok beğendim. Ama sadece iki sınıf için çalışıyor. Üç sınıf için bir şey önermek zor, değerlendirmenin her bir sınıf için doğruluğunu ayrı ayrı hesaba katması ve buna dayalı bir tür genel değerlendirme vermesi önemlidir.
3) Doğrulama kümesinden verileri tahmin etmek için eğitilmiş modeli uygulayın, tahmini aynı fonksiyonla değerlendirin.
4) her iki değerlendirme (eğitim ve doğrulama) birbirine yakın ve aynı zamanda mümkün olduğunca yüksek olmalıdır. Bu kodu son puan için kullanıyorum - (min(skor1,skor2) - (maks(skor1,skor2)-min(skor1,skor2))) - deltaları minimum değerden çıkarılır.

Her yinelemenin sonunda bir puan elde edilecektir ve verilerin rastgele bölümlenmesi nedeniyle -1 ile 1 arasında (veya kullanılan işleve bağlı olarak başka bir aralıkta) değişebilir. Ortalama değerlerini dikkate alırız ve sonuç olarak uygunluk fonksiyonunu döndürürüz. Ek olarak, modeli çok büyük bir gerekli veri kümesine sahip olduğu için cezalandırmak için kullanılan her bir tahmin edici için uygunluk değerinden küçük bir sayı (0.0001) çıkarırım.

Bunu, tahmin edicileri ve model parametrelerini seçen ve uygunluk değerini en üst düzeye çıkaran genetik ile birlikte kullanıyorum.

Sonunda, ortalama olarak mevcut eğitim verileri üzerinde iyi tahmin sonuçlarına sahip olan bir dizi tahmin edici ve model parametresi elde edeceksiniz. Model, verilerdeki bazı kalıpları bulabilir, onlardan öğrenebilir ve aynı zamanda eğitim için hangi veri örneğinin kullanıldığına bakılmaksızın aynı kalıpları yeni doğrulama verilerinde başarılı bir şekilde bulabilir.
Model her seferinde mevcut verilerin sadece %50'si kullanılarak eğitildiğinden ve parametreler ve tahmin ediciler buna göre seçildiğinden bu model için önemli bir durumdur.
Modelleri aynı koşullar altında komite için eğitmek gerekir - bir örneklemle veya eğitim için verilerin %50'sini sırayla seçin. Her yeni model için, bir örnek (veya sıralı küme) için de yeni bir tane gerekir.

Böyle bir komitenin ne zamana kadar iyi öngörülerde bulunacağı bilinmiyor ancak eğitim verilerinin 5 yıllık olduğu göz önüne alındığında komitenin önümüzdeki 5 yıldan daha az yaşayacağı açık.
Ve bir önemli nokta daha - komitenin oluşturulması için harcanan tüm zamandan sonra, kârsız bir şekilde işlem görürse, tahmin için kullanılan paket Forex için uygun değildir. Belki çok fazla serbestlik derecesine sahiptir veya tam olarak uymuyordur. Başka bir paket almak daha iyidir. Veya antrenman verilerinin yüzdesini %50'den daha da aza indirmeyi deneyebilirsiniz.

Tüm bu tavsiyeler bu forumdan ve deneyimden.

Harika bir özetleme.

Tebrikler!

Neden: