Mat araştırma. paketler - sayfa 8

 
Alexey Volchanskiy :
Tartışmaya katılan herkese geçen bir soru. Kene verileriyle mi çalışıyorsunuz? Çubuk analizinden uzun zaman önce uzaklaştım, sadece DSP yöntemleri üzerinde çalışıyorum.
Seviye2'nin yanı sıra, M1-çubuk teklifleri sorulu olarak kullanıyorum.
 
zaskok3 :
Seviye2'nin yanı sıra, M1-çubuk teklifleri sorulu olarak kullanıyorum.
L2, MT5'te mi?
 
Vladimir Perervenko :

Bağlandığınız makale regresyonla ilgili. sınıflandırıyoruz. Bunlar iki büyük fark..

Ve hala sorunuzu anlamıyorum.

İyi şanlar

Burada ne tür bir regresyon veya sınıflandırma olduğu önemli değildir. Önemli değil. Bu sadece regresyon hakkında bir makale.

Açıklığa kavuşturmak istedim: Hangi adımın atıldığı, bir çubuk (yani, veri dizisinin her satırının girişleri) veya n çubuk ile satırlar arasında bir zaman aralığı olacak şekilde eğitim örnekleriniz var mı?

Ben sadece sıkıcı değilim, hatta dahası, çalışmanızı itibarsızlaştırmak istemiyorum (makaleleriniz bana yardımcı oluyor).

Fikrimi istatistiksel çalışmalardan alıntılara kapılmadan pratik bir örnekle açıklayacağım:

karar ağacında, diyelim ki, m terminal düğümünüz olacak. Her düğüm, giriş vektörlerinde benzer durumlar alacaktır - giriş değerlerinin bir alt alanı. Bu nedenle, birkaç çubuk (en kötü durumda, yüzlerce çubuk) için geçmişe bakan girişleri kullanarak bir çubuğa geçişle ardışık örnekleriniz varsa, bitişik noktalar arasında parlak bir otokorelasyon olacaktır, ancak aynı zamanda , geleceği birkaç bar ileride tahmin ettiğimiz için (en kötü durumda, ayrıca yüzlerce bar), bitişik çıkışlar aynı olacaktır. Örneğin, çıktı sütunu 0 0 0 0 0 0 0 00 0 1 1 1 1 1 1 1 1 1 dizileriyle oluşturulacaktır. Böylece, bitişik - benzer - girdilerle ilgili düzinelerce aynı çıktı, terminal düğümlerimize düşecektir. . Cevapların dağılımını en kategorik şekilde çarpıtacak, zaman noktalarıyla dolu, özdeş örneklerin fazlalığı olacağını söyleyebiliriz. Bu nedenle, piyasada birden fazla pozisyonda yer almamak için popüler bir tavsiye var, çünkü terminalde bir Uzman Danışman yetiştirilirken, komşu girdi ve çıktıların bağımlılığının etkisi de ortaya çıkıyor.

Bu durumda, zor bir yeniden eğitim veya daha doğrusu bağımsız gözlemler üzerine istatistiklerin oluşumu olacaktır. Yani zaman serilerini analiz ederek elde edilebilecek en tatsız şey, komşu veri vektörlerinin bağımlılığıdır. Veri vektörleri zamanda çok uzaktaysa, her şey yolunda demektir. Bu durumda, makine öğrenimi zamanla değişmeyen kalıpları bulmaya indirgenecektir.

Daha sonra ise yazıda örnek olarak verdiğiniz hata matrisine atıfta bulunarak:

OOB confusion matrix:
          Reference
Prediction   -1    1 class.error
        -1 1066  280      0.2080
        1   254 1043      0.1958
Test set
Error rate: 19.97 %

Confusion matrix:
          Reference
Prediction  - 1    1 class .error
        - 1 541 145        0.2114
         1    119 517        0.1871

Sadece bunun harika olduğunu söyleyebilirim. ) Deney bir hata ile gerçekleştirilmiştir. Test veri setini zaman içinde eğitim veri setinden kesin olarak ayırırken (ileriye dönük önyargı) bağımsız örneklere sahip bir örnek üzerinde bu kadar dik bir hata matrisi elde etmek asla mümkün olmayacaktır.

Ve test setindeki hata matrisinin de harika olması, bir örneğin zaman içinde bir eğitimle karıştırıldığını ve benzer örneklerin de "kalabalık" olduğunu gösteriyor. Yani, inşa edilmiş modelin piyasayı tahmin etme yetenekleri hakkında hiçbir şey söylemeyen bu sonuçtur.

Kendiniz biraz daha veri alıp, tail(all_data, 1/3) mantığına göre bir test seti yaparak matris hücrelerindeki gözlem sayısının nasıl eşitleneceğini deneyebilirsiniz. Fal söylemenin neredeyse rastgele hale geldiğinden emin olmak için ki-kare testi bile uygulayabilirsiniz.

Size iletmek istediğim her şeyi yapmaya çalıştım. İyi niyetle bak)

İyi şanlar! Alexey

 
Alexey Volchanskiy :
L2, MT5'te mi?
MT4. Kaynaklar forumda kaymış...
 
zaskok3 :
MT4. Kaynaklar forumda kaymış...

Arkadaşlar ve meslektaşlar, bir sorum var.

Yayınlanmış ticaret verilerine dayalı bir algoritmayı nasıl formüle edebilirsiniz?

 
Alexey Volchanskiy :

Arkadaşlar ve meslektaşlar, bir sorum var.

Yayınlanmış ticaret verilerine dayalı bir algoritmayı nasıl formüle edebilirsiniz?

Yanlışlıkla yazdığımı biliyorum - formül kelimesinden formüle etmektir)
 
Alexey Volchanskiy :

Yayınlanmış ticaret verilerine dayanarak bir algoritma nasıl formüle edilebilir?

TS'yi duruma göre yalnızca otomatik olarak yeniden yapılandırmanız gerekiyorsa, o zaman makine öğrenimi yoluyla:

girişte bir grup gösterge değeri alın, çıkışta durum. Matı ayarlayın. modeller.

Böyle bir saçmalık yapmadı.

 
Alexey Volchanskiy :
Tartışmaya katılan herkese geçen bir soru. Kene verileriyle mi çalışıyorsunuz? Çubuk analizinden uzun zaman önce uzaklaştım, sadece DSP yöntemleri üzerinde çalışıyorum.

DSP kullanımı son derece şüphelidir.

Kene verileri için eşbütünleşme fikirleri daha uygundur.

 
Alexey Burnakov :
Burada ne tür bir regresyon veya sınıflandırma olduğu önemli değildir. Önemli değil. Bu sadece regresyon hakkında bir makale.

Açıklığa kavuşturmak istedim: Hangi adımın atıldığı, bir çubuk (yani, veri dizisinin her satırının girişleri) veya n çubuk ile satırlar arasında bir zaman aralığı olacak şekilde eğitim örnekleriniz var mı?

Sadece sıkıcı değilim, hatta daha da fazlası, bu yüzden çalışmanızı itibarsızlaştırmak istemiyorum (makaleleriniz bana yardımcı oluyor).

Fikrimi istatistiksel çalışmalardan alıntılara kapılmadan pratik bir örnekle açıklayacağım:

karar ağacında, diyelim ki, m terminal düğümünüz olacak. Her düğüm, giriş vektörlerinde benzer durumlar alacaktır - giriş değerlerinin bir alt alanı. Bu nedenle, birkaç çubuk (en kötü durumda, yüzlerce çubuk) için geçmişe bakan girişleri kullanarak bir çubuğa geçişle ardışık örnekleriniz varsa, bitişik noktalar arasında parlak bir otokorelasyon olacaktır, ancak aynı zamanda , geleceği birkaç bar ileride tahmin ettiğimiz için (en kötü durumda, ayrıca yüzlerce bar), bitişik çıkışlar aynı olacaktır. Örneğin, çıktı sütunu 0 0 0 0 0 0 0 00 0 1 1 1 1 1 1 1 1 1 dizileriyle oluşturulacaktır. Böylece, bitişik - benzer - girdilerle ilgili düzinelerce aynı çıktı, terminal düğümlerimize düşecektir. . Cevapların dağılımını en kategorik şekilde çarpıtacak, zaman noktalarıyla dolu, özdeş örneklerin fazlalığı olacağını söyleyebiliriz. Bu nedenle, piyasada birden fazla pozisyonda yer almamak için popüler bir tavsiye var, çünkü terminalde bir Uzman Danışman yetiştirilirken, komşu girdi ve çıktıların bağımlılığının etkisi de ortaya çıkıyor.

Bu durumda, zor bir yeniden eğitim veya daha doğrusu bağımsız gözlemler üzerine istatistiklerin oluşumu olacaktır. Yani zaman serilerini analiz ederek elde edilebilecek en tatsız şey, komşu veri vektörlerinin bağımlılığıdır. Veri vektörleri zamanda çok uzaktaysa, her şey yolunda demektir. Bu durumda, makine öğrenimi zamanla değişmeyen kalıpları bulmaya indirgenecektir.

Daha sonra ise yazıda örnek olarak verdiğiniz hata matrisine atıfta bulunarak:

Sadece bunun harika olduğunu söyleyebilirim. ) Deney bir hata ile gerçekleştirilmiştir. Test veri setini zaman içinde eğitim veri setinden kesin olarak ayırırken (ileriye dönük önyargı) bağımsız örneklere sahip bir örnek üzerinde bu kadar dik bir hata matrisi elde etmek asla mümkün olmayacaktır.

Ve test setindeki hata matrisinin de harika olması, bir örneğin zaman içinde bir eğitimle karıştırıldığını ve benzer örneklerin de "kalabalık" olduğunu gösteriyor. Yani, bu sonuç, inşa edilen modelin piyasayı tahmin etme yetenekleri hakkında hiçbir şey söylemez.

Kendiniz biraz daha veri alıp, tail(all_data, 1/3) mantığına göre bir test seti yaparak matris hücrelerindeki gözlem sayısının nasıl eşitleneceğini deneyebilirsiniz. Falın neredeyse rastgele olup olmadığını görmek için ki-kare testi bile uygulayabilirsiniz.

Size iletmek istediğim her şeyi yapmaya çalıştım. İyi niyetle bak)

İyi şanlar! Alexey

İzinsiz girdiğim için özür dilerim, ama halka açık bir tartışma gibi görünüyor.

Benim için, yazınızda birkaç birbiriyle ilişkili, ancak farklı problemler bir demet halinde karıştırılıyor.

1. Modele ne öğretiyorsunuz? Eğilimler?, seviye dağılımı? Bir şeyden sapma mı? Örnek öğretmen seçmek çok kolay gibi görünse de uygulamada bazı zorluklarla karşılaşılmaktadır. Her durumda, öğretmenleri (modelin eğitildiği vektör) oldukça özel olarak ticaret fikriniz için, örneğin "ticaret trendleri" için hazırlamak gerekir.

2. Ne öğretiyorsun? Gönderinizde, komşu barlar arasında bir ilişkinin varlığı hakkında yazıyorsunuz. Evet, komşu çubuklar arasındaki bağımlılıkları hesaba katan ahşap modeller (CORELearn) var, ancak ortaya çıkardığınız sorun çok daha geniş ve daha tatsız ve kullanılan modele çok az bağlı. Bu, modelin fazla takılmasıdır. Benim düşünceme göre, HER ZAMAN aşırı donanımlı modeller üreten veri kümeleri var. Ve burada aşırı antrenmanı ortadan kaldırmak için hiçbir hile yardımcı olmuyor.

Aralarında yeniden eğitilmiş DEĞİL modeller oluşturabileceğiniz tahmin edicilerin bulunduğu girdi verisi kümeleri (tahmin edici kümeleri) vardır. Ancak kalan tahminciler o kadar çok gürültü üretirler ki, bu gürültülü tahmin ediciler, mevcut tahmin edici seçim paketleri tarafından ayıklanamaz.

Bu nedenle, yordayıcıların “öğretmenimizle ilgili görünüyorlar - hedef değişken” kriterine göre manuel seçim aşaması zorunludur.

not.

Söylemesi komik, ancak ticaret eğilimlerinde, özellikle MA olmak üzere yumuşatma yoluyla elde edilen herhangi bir tahminci son derece gürültülüdür ve modeller her zaman yeniden eğitilir. Üstelik GLE örnekleri üzerinde eğitim yaparken %5'e kadar hata alabilirsiniz!

 
Alexey Burnakov :
Burada ne tür bir regresyon veya sınıflandırma olduğu önemli değildir. Önemli değil. Bu sadece regresyon hakkında bir makale.

Açıklığa kavuşturmak istedim: Hangi adımın atıldığı, bir çubuk (yani, veri dizisinin her satırının girişleri) veya n çubuk ile satırlar arasında bir zaman aralığı olacak şekilde eğitim örnekleriniz var mı?

Kaynak veri kümesi, girdi ve hedefi içeren bir matris veya veri çerçevesidir. Eğitim ve test kümelerine bölünürken (katmanlı), örnekler rastgele karıştırılır, ancak kümelerdeki sınıfların dağılımı orijinaldekiyle aynı kalır. Dolayısıyla örneklerin atıldığı adımdan bahsetmek mümkün değil. Açıkçası, bir vektörün bir matrise dönüşümünü karıştırıyorsunuz, burada zaman gecikmesi hakkında konuşabilirsiniz.

Sadece sıkıcı değilim, hatta daha da fazlası, bu yüzden çalışmanızı itibarsızlaştırmak istemiyorum (makaleleriniz bana yardımcı oluyor).

Evet, bu tür düşüncelerden uzağım. Ama soruyu gerçekten anlayamıyorum.

Fikrimi istatistiksel çalışmalardan alıntılara kapılmadan pratik bir örnekle açıklayacağım:

karar ağacında, diyelim ki, m terminal düğümünüz olacak. Her düğüm, giriş vektörlerinde benzer durumlar alacaktır - giriş değerlerinin bir alt alanı. Bu nedenle, birkaç çubuk (en kötü durumda, yüzlerce çubuk) için geçmişe bakan girişleri kullanarak bir çubuğa geçişle ardışık örnekleriniz varsa, bitişik noktalar arasında parlak bir otokorelasyon olacaktır, ancak aynı zamanda , geleceği birkaç bar ileride tahmin ettiğimiz için (en kötü durumda, ayrıca yüzlerce bar), bitişik çıkışlar aynı olacaktır. Örneğin, çıktı sütunu 0 0 0 0 0 0 0 00 0 1 1 1 1 1 1 1 1 1 dizileriyle oluşturulacaktır. Böylece, bitişik - benzer - girdilerle ilgili düzinelerce aynı çıktı, terminal düğümlerimize düşecektir. . Cevapların dağılımını en kategorik şekilde çarpıtacak, zaman noktalarıyla dolu, özdeş örneklerin fazlalığı olacağını söyleyebiliriz. Bu nedenle, piyasada birden fazla pozisyonda yer almamak için popüler bir tavsiye var, çünkü terminalde bir Uzman Danışman yetiştirilirken, komşu girdi ve çıktıların bağımlılığının etkisi de ortaya çıkıyor.

Bu durumda, zor bir yeniden eğitim veya daha doğrusu bağımsız gözlemler üzerine istatistiklerin oluşumu olacaktır. Yani zaman serilerini analiz ederek elde edilebilecek en tatsız şey, komşu veri vektörlerinin bağımlılığıdır. Veri vektörleri zamanda çok uzaktaysa, her şey yolunda demektir. Bu durumda, makine öğrenimi zamanla değişmeyen kalıpları bulmaya indirgenecektir.

Daha sonra ise yazıda örnek olarak verdiğiniz hata matrisine atıfta bulunarak:

Sadece bunun harika olduğunu söyleyebilirim. ) Deney bir hata ile gerçekleştirilmiştir. Test veri setini zaman içinde eğitim veri setinden kesin olarak ayırırken (ileriye dönük önyargı) bağımsız örneklere sahip bir örnek üzerinde bu kadar dik bir hata matrisi elde etmek asla mümkün olmayacaktır.

Ve test setindeki hata matrisinin de harika olması, bir örneğin zaman içinde bir eğitimle karıştırıldığını ve benzer örneklerin de "kalabalık" olduğunu gösteriyor. Yani, inşa edilmiş modelin piyasayı tahmin etme yetenekleri hakkında hiçbir şey söylemeyen bu sonuçtur.

Kendiniz biraz daha veri alıp, tail(all_data, 1/3) mantığına göre bir test seti yaparak matris hücrelerindeki gözlem sayısının nasıl eşitleneceğini deneyebilirsiniz. Fal söylemenin neredeyse rastgele hale geldiğinden emin olmak için ki-kare testi bile uygulayabilirsiniz.

Böylece parmaklarınıza ne açıklayacağınıza dair bir örnek veriyorsunuz. . Yoksa bu tür kontroller yapmadığımı mı düşünüyorsunuz?

Size iletmek istediğim her şeyi yapmaya çalıştım. İyi niyetle bak)

Anlatmaya çalıştığın şeyi gerçekten anlamak istiyorum. Bir örnekle daha anlaşılır olacağını düşünüyorum.

Deneyin bir hata ile yapıldığını söylediklerinde bu hatanın ne olduğunu belirtmeniz ve doğru çözümü vermeniz gerekmektedir. Bir paket var, örnekler var, sizce hesaplamanın nasıl yapılması gerektiğini yazın.

Suç yok.

İyi şanlar


Neden: