Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 391

 
Dr. tüccar :

Olasılıksal bir model olan Reshetov'un RNN'sinde.

Ayrıca Mikhail'in kullandığı jPredictor var. Neuronka Reshetov, birçok girdi var ve gradyan inişi yerine bir tür öğrenme var.


Alglib'den Millet Meclisi'ndeki ilk yazıdan sorunu çözmeye çalıştım. Ağ 20-5-1. Başarıyla. Ama çok uzun, yaklaşık 2 saniyelik bir çözümünüz var. Ortalama 10-20 dakikalık hesaplamalarım var, 1 döngüden 2 dakika için seçenekler var, ancak görünüşe göre yanlışlıkla tökezliyor, güvenilirlik için aşağıdaki seçenekte olduğu gibi 20 eğitim döngüsü ... veya 100.000 yineleme ayarlamam gerekiyor

Uyarı: Eğitimde ortalama hata (%60.0) segment =0.000 (%0.0) nLearns=2 NGrad=68213 NHess=0 NCholesky=0 codResp=2
Uyarı: Doğrulamada ortalama hata (%20,0) alan =0,000 (%0,0) nLearns=2 NGrad=68213 NHess=0 NCholesky=0 codResp=2
Uyarı: Testteki ortalama hata (%20,0) =0,000 (%0,0) nLearns=2 NGrad=68213 NHess=0 NCholesky=0 codResp=2

Hesaplama süresi=22.30 dk
0 toplam ağırlık=3.2260
1 sum ağırlık = 0.0000
2 toplamı. ağırlık=3.2258
3 toplamı. ağırlık = 0.0000
4 soum ağırlık=8.7035
5 toplam. ağırlık = 0.0000
6 toplamı. ağırlık=3.2253
7 soum ağırlık = 0.0000
8 soum ağırlık=3.2258
9 soum ağırlık = 0.0000
10 soum ağırlık=3.2251
11 toplamı. ağırlık = 0.0000
12 toplamı. ağırlık = 0.0000
13 toplamı. ağırlık = 0.0000
14 soum ağırlık = 0.0000
15 toplam. ağırlık = 0.0000
16 soum ağırlık = 0.0000
17 soum ağırlık = 0.0000
18 soum ağırlık = 0.0000
19 toplamı. ağırlık = 0.0000

daha hızlı istiyorum...
Sorun 20 girişte değil, 200'de ise, o zaman onlarca saat olacaktır.
Çıktılarla düşük korelasyonlu veya diğer girdilerle yüksek korelasyonlu tarama - önemli girdileri kaldırır, hatta Fisher'in LDA'sını denedi - önemli girdileri de kaldırır. Onlar. bu yöntemlerle tarama yardımcı olmaz, aksine engeller.

Görünüşe göre, tüm girdiler için bir kez, girdileri ağırlıkların toplamına göre filtreleyen ve gelecekte kullanılmak üzere bir model elde eden uzun bir çözüm var. Ardından, örneğin kısaltılmış girdi sayısına göre haftada bir ek eğitim.

Düşünüyordum, belki hız için, girdilerin toplam ağırlıklarını almak için bu görevi MS Azure'a verebilir ve ardından bunları modelimde kullanabilirim. Biraz denedim, ama bir şekilde oradan ağırlığı nereden alacağımı göremiyorum ...

 
Aynen öyle kardeşlerim!!! Yani, Kararlı optimize ediciyi kullanıyorum. Ve böylece GPU üzerinde hesaplamalara başlamak için. Bunu yapan var mı??? JPrediction paralelleştirildiğinden geriye sadece programı GPU üzerinde çalıştırmak kalıyor. JAVA programını GPU'da nasıl çalıştıracağını kimse bilmiyor mu? faydalı olacağını düşünüyorum...
 
Michael Marchukajtes :
Aynen öyle kardeşlerim!!! Yani, Kararlı optimize ediciyi kullanıyorum. Ve böylece GPU üzerinde hesaplamalara başlamak için. Bunu yapan var mı??? JPrediction paralelleştirildiğinden geriye sadece programı GPU üzerinde çalıştırmak kalıyor. JAVA programını GPU'da nasıl çalıştıracağını kimse bilmiyor mu? faydalı olacağını düşünüyorum...

Ve çalışan sürüme ve açıklamaya bir bağlantı verin
 
Michael Marchukajtes :
Merhaba!!!! Şubenin ölmemesine ve bir yer olmaya devam etmesine sevindim ve bu nedenle halka bir sorum var. Eğitim için bir veri setim var ama ne yazık ki o kadar büyüdü ki eğitim çok uzun sürüyor. Birisi kendi geliştirmelerini kullanarak bir model oluşturabilir ve sonra birlikte nasıl çalıştığını göreceğiz !!!!!.
Setiniz tam tersi, ÇOK küçük 111 özellik, 452 puan. Ancak veriler akıllıca toplanırsa (hedef özelliklerle karıştırılmaz), orta vadede ticaret yaparken büyük bir yatırım fonu veya banka için %3-4'lük bir avantaj (doğruluk - %53,5) vardır. yeterli, devasa kaldıraçlı bir gün içi için ve birkaç $ depo elbette değil.
 
Alyoşa :
%3-4 avantaj var (doğruluk - %53,5)
Hangi modeli ve hangi konfigürasyonda kullandınız? Neden bunun rastgele bir sonuç olmadığına karar verdiler, hiçbir şey bu veri kümesiyle aynı fikirde değil, sonra %47 sonra 50 sonra 53
 
Alyoşa :
Setiniz tam tersi, ÇOK küçük 111 özellik, 452 puan. Ancak veriler akıllıca toplanırsa (hedef özelliklerle karıştırılmaz), orta vadede ticaret yaparken büyük bir yatırım fonu veya banka için %3-4'lük bir avantaj (doğruluk - %53,5) vardır. yeterli, devasa kaldıraçlı bir gün içi için ve birkaç dolar deposu elbette değil.

Bir gün içi için sinyalden 50 pips daha iyi girmenizin yeterli olacağını düşünüyorum. Mevduat. Yayılmadan daha iyi kazanacağınız ortaya çıkıyor.
 
Maksim Dmitrievski :

Ve çalışan sürüme ve açıklamaya bir bağlantı verin

Ne? JPrediction'a bağlantı?
 
Alyoşa :
Setiniz tam tersi, ÇOK küçük 111 özellik, 452 puan. Ancak veriler akıllıca toplanırsa (hedef özelliklerle karıştırılmaz), orta vadede ticaret yaparken büyük bir yatırım fonu veya banka için %3-4 (doğruluk - %53,5) bir avantaj vardır. yeterli, devasa kaldıraçlı bir gün içi için ve birkaç dolar deposu elbette değil.

Küçüklük hakkında bir bilgim yok. Bu, 3 aylık vadeli işlem sözleşmesinin tamamıdır. Soru farklı. Sette olmayan 2 haftam daha var. Ben de düşündüm ki, bir model oluştur ve bu örnek üzerinde oyna. Ancak JPrediction'ın yardımıyla, eğitim haftalarca sürecek ve bu iyi değil. Bu nedenle, diğer algoritmaları kullanarak bir model elde etmek ve modelin nasıl çalıştığını görmek istedim.
 
Yine, bu küme sınıflandırma içindir. Yani, çıktı değişkeni zaten tahmini taşır. Bir regresyon modeli kullanıyorsanız, o zaman çıktı değişkenini tahmin etmenize gerek yoktur, çıktı zaten geleceğe gittiğinden, modeli ona yaklaştırmak yeterlidir. Böyle bir şey, eğer beni doğru anladıysan.
 

Başka bir şey de programı GPU üzerinde çalıştırmak ve hesaplamaların hızını en az 10-20 kat arttırmaktır. Burada ilerleme olacağını düşünüyorum... Sadece internetteki bilgiler çok eski ve bununla nasıl yapacağımı çözemiyorum. Ben sadece bir programcıyım. Tavuk pençesi :-)

Ve tüm bu yaygara fikri aşağıdaki gibidir. Hangi algoritmanın kullanıldığı önemli değil (yalan söylüyor olmama rağmen elbette önemli. İçinde yeniden eğitimin minimumda tutulması önemlidir) Verinin doğasının ne olduğu, nasıl toplandığı ve hazırlandığı ÖNEMLİDİR. eğitim için. Kontrol etmek istediğim buydu. Topladığım verilerde gerçekten bir balık var mı? Sana bir örnek vereceğim.

Neden: