Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 365

 
elibrarius :

Girdileri nasıl iyileştireceğimi düşünerek, ilişkili girdilerin kaldırılmasını zaten yaptım.

Bu nedenle, hedefle bir korelasyon olması gerektiği konusunda sizinle hemfikirim ve bu nedenle, örneğin Kcorr<0.5 veya 0.3 ile hedef girdilerle en ilişkisiz olanı da kaldırmak istiyorum. Bu, kaliteyi çok fazla düşürmeden öğrenme sürecini hızlandırmalıdır. Ancak tüm girdileri kaldırmanız gerekeceği varsayımı var)))

Kullanılan girdilerde (bu göstergelerden rastgele alınanlar), şu ana kadar hedefle bir korelasyon bulamadım, öğrenme hatası = 0,44, yani. neredeyse bir madeni para. Bak denge düşüyor.


hiçbir durumda hedefle bir korelasyon olmamalıdır, nerede yazılır? bu ne mantıklı? Hedefle 1 korelasyonunuz varsa, geleceği biliyorsunuzdur ve bir sinir ağına ihtiyacınız yoktur.
 
Maksim Dmitrievski :

hiçbir durumda hedefle bir korelasyon olmamalıdır, nerede yazılır? bu ne mantıklı? Hedefle 1 korelasyonunuz varsa, geleceği biliyorsunuzdur ve bir sinir ağına ihtiyacınız yoktur.


Tüm ML, girdi değişkenlerinin çıktı değişkeni ile ilişkili olması gerektiği gerçeğine dayanır.

Aksi takdirde, TÜM MO modellerinde hiçbir anlamı yoktur.

Veri Madenciliğinde, MODEL İÇİN DEĞİŞKEN SEÇİMİ TÜM MODELLERİNDE, girdi değişkeni ile çıktı değişkeninin maksimum korelasyon mekanizması uygulanır:

İleri Seçim prosedürü (doğrudan seçim),
Geri Eleme prosedürü (ters hariç tutma),
adım adım prosedür,
prosedür En İyi Alt Kümeler (en iyi alt kümeler).
 
Dmitry :


Tüm ML, girdi değişkenlerinin çıktı değişkeni ile ilişkili olması gerektiği gerçeğine dayanır.

Aksi takdirde, TÜM MO modellerinde hiçbir anlamı yoktur.

Veri Madenciliğinde, MODEL İÇİN DEĞİŞKEN SEÇİMİ TÜM MODELLERİNDE, girdi değişkeni ile çıktı değişkeninin maksimum korelasyon mekanizması uygulanır:

İleri Seçim prosedürü (doğrudan seçim),
Geri Eleme prosedürü (ters hariç tutma),
adım adım prosedür,
prosedür En İyi Alt Kümeler (en iyi alt kümeler).

Girdi ve çıktı vektörleri (eğriler) anlamında korelasyon korelasyonlu olmalıdır, yoksa korelasyon genel anlamda çıktı değişkeninin girdiye bağımlılığı anlamına mı gelir?
 
Maksim Dmitrievski :

Girdi ve çıktı vektörleri (eğriler) anlamında korelasyon korelasyonlu olmalıdır, yoksa korelasyon genel anlamda çıktı değişkeninin girdiye bağımlılığı anlamına mı gelir?


Bağımlılık, korelasyonun özel bir durumudur. İki değişken bağımlıysa, kesinlikle bir korelasyon vardır. Bir korelasyon varsa, mutlaka bir bağımlılık yoktur.

İstatistiksel modellerde bağımlılığı saptamak için hiçbir yöntem yoktur. Yalnızca girdi değişkenleri seti ile çıktı değişkeni arasındaki ortaya çıkan korelasyonun bir bağımlılık olduğu umudu vardır.

Bu nedenle, değişkenler ilişkili olmalıdır.

 
Dmitry :


Bağımlılık, korelasyonun özel bir durumudur. İki değişken bağımlıysa, kesinlikle bir korelasyon vardır. Bir korelasyon varsa, mutlaka bir bağımlılık yoktur.

İstatistiksel modellerde bağımlılığı saptamak için hiçbir yöntem yoktur. Yalnızca girdi değişkenleri seti ile çıktı değişkeni arasındaki ortaya çıkan korelasyonun bir bağımlılık olduğu umudu vardır.

Bu nedenle, değişkenler ilişkili olmalıdır.


ve eğer tersi doğruysa, o zaman bu artık bir bağımlılık değil mi, yoksa ne? ) ve NS bu yaklaşımla körleşecek

Hallelujah .. bir vardiya ile girişe zikzak ve çıkışa zikzak veriyoruz .. korelasyon neredeyse mükemmel, ama ne anlamı var? )

 
Maksim Dmitrievski :

ve eğer tersi doğruysa, o zaman bu bir bağımlılık değil mi? ) ve NS bu yaklaşımla körleşecek


Korelasyon katsayısı 0 olduğunda korelasyon olmaz.

Gelen ve giden hiç korelasyon göstermiyorsa nasıl bir model oluşturabilirsiniz?

 
Dmitry :


Korelasyon katsayısı 0 olduğunda korelasyon olmaz.

Gelen ve giden hiç korelasyon göstermiyorsa nasıl bir model oluşturabilirsiniz?


Evet, çünkü model bir dizi tahmin edicide kalıp ararken girdilerin ve çıktıların korelasyonu hiç önemli değildir ... Bu bir çelişkidir - birbiriyle ilişkili girdileri kaldırmak, ancak korelasyonlu girdileri aramak çıktılara .. )) Yani. en azından çıktıyla ilişkili bir girdimiz olacak, o zaman diğer tüm girdileri silmemiz gerekecek, çünkü ayrıca çıktıyla ve buna göre girdilerin geri kalanıyla da ilişkilidirler .. harika, değil mi?
 
Maksim Dmitrievski :

Evet, çünkü model bir dizi tahmin edicide kalıp ararken girdilerin ve çıktıların korelasyonu hiç önemli değil ... Bu bir çelişkidir - birbiriyle ilişkili girdileri kaldırmak, ancak korelasyonlu girdileri aramak çıktılara .. )) Yani. en azından çıktıyla ilişkili bir girdimiz olacak, o zaman diğer tüm girdileri silmemiz gerekecek, çünkü ayrıca çıktıyla ve buna göre girdilerin geri kalanıyla da ilişkilidirler .. harika, değil mi?


Hayır, havalı değil.

Giden değişkenle bir katsayılı, örneğin 0,7 ve ikincisi 0,65 katsayılı korelasyonlu ilk değişkene sahipseniz, bu, bu iki değişkenin birbiriyle güçlü bir şekilde ilişkili olduğu anlamına gelmez.

Ve şimdi ilkinin 0,7 ve ikincisinin -0,69 katsayılı olduğunu hayal edin.

 
Dmitry :


Hayır, havalı değil.

Giden değişkenle bir katsayılı, örneğin 0,7 ve ikincisi 0,65 katsayılı korelasyonlu ilk değişkene sahipseniz, bu, bu iki değişkenin birbiriyle güçlü bir şekilde ilişkili olduğu anlamına gelmez.

Ve şimdi ilkinin 0,7 ve ikincisinin -0,69 katsayılı olduğunu hayal edin.


Ve eğer korelasyonun "benzerliği" çok tuhaf bir şekilde tanımladığını da hayal edersek... Ona gerçekten güvenmezdim.

Doğru bir yüksek teknolojili sinir ağı inşa ediyoruz ve tahmin edicileri seçerken korelasyon tarafından yönlendiriliyoruz? her nasılsa biraz yanlış falan .. ama tüm bunlar “bence” ..)

 
Maksim Dmitrievski :

Ve eğer korelasyonun "benzerliği" çok tuhaf bir şekilde tanımladığını da hayal edersek... Ona gerçekten güvenmezdim.


O zaman ikinci seçenek, Ulusal Meclis'teki her şeyi yapıştırmaktır. Ama iki AMA var:

1. ilintisiz değişkenlerin modelin kalitesini düşürmediğini umuyoruz (regresyon için böyle bir şey var).

2. boyut ve zamandan fedakarlık yapın.

Neden: