Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 170

 
Alexey Burnakov :

Yine düzinelerce modelim var, aynı zamanda tahmincileri ve parametreleri de karıştırıyorum. Ve bu modeller, her biri 8 yıllık bir süre için sağlam bir artıya gidiyor! Ve bu bir test dönemidir. Ancak testin seçtiği "en iyi" modeller gecikmeli örnekleme ile kontrol edildiğinde sürprizlerle karşılaşılıyor. Ve buna denir - Model çapraz doğrulama için ayarlanmıştır.

Örneğin, gecikmeli bir örnek üzerinde doğrulama yaptınız. Ertelenen verilerin birleştirilmesiyle ilgili modeli kabul edelim. Böyle bir durumda ne yaparsınız? Ertelenmiş numunede doğrulamayı başarılı bir şekilde geçmek için parametrelerde bir şey seçmeye yeniden başlarsanız, esasen ertelenmiş numuneden gelen verileri çapraz doğrulamanıza dahil edersiniz ve çapraz doğrulama da uygun hale gelir. Bu, yeni bir gecikmeli getirme eklenerek düzeltilebilir. Peki ya model onun üzerinde de birleşirse? Geçilecek parametreleri ve bekleyen yeni bir örneği seçmek için? Bu sonsuz bir yarış.

Çapraz doğrulamaya gecikmeli örneklemeyi dahil etmek ve yeni bir gecikmeli örnekleme oluşturmak bir seçenek değildir, ancak şans size gülene ve model yanlışlıkla gecikmeli doğrulamayı geçene kadar sonsuz bir tekrarlamadır. O zaman durabilirsin, ama bu bir forex kararı değil, sadece şans sana gülümsedi, ancak istatistiklere göre bu bir tahliye olacak.

Öyleyse soru şu - diyelim ki ertelenmiş veriler üzerindeki model birleşti. Böyle bir durumda ne yaparsınız?

 
Dr.Tüccar :

Öyleyse soru şu - diyelim ki ertelenmiş veriler üzerindeki model birleşti. Böyle bir durumda ne yaparsınız?

Ben de öyle düşündüm, soru çok kişisel çıktı :)

Bu şekilde daha iyi - modeliniz gecikmeli örnekleme testinde başarısız olursa, gecikmeli örneklemeyi çapraz doğrulamaya dahil eder ve yeni bir gecikmeli örnekleme oluşturur musunuz? Yoksa farklı mı davranıyorsunuz?


Örneğin, San Sanych'in 1000 kez tekrarladığını temel aldım - tahmin edicilerin kalitesini değerlendirmeniz gerekiyor. "Kalite" gevşek bir kavramdır. Örneğin, bunu böyle bir çapraz doğrulama yoluyla yapıyorum ve bu, model parametrelerinden ziyade bir tahmin edici seçimi . Model, eğitim sırasında, herhangi bir sitedeki verilerde aynı bağımlılıkları bulursa, bu, tahmin edicilerin yaklaşık olduğu ağır bir argümandır.
Topluluğu takas etmek zorunda kalma yaklaşımımdan hoşlanmıyorum. Bağımlılıklar sabitse, sonunda seçilen tahminciler üzerinde yalnızca bir modeli eğitmek yeterlidir ve yine aynı bağımlılıkları bulacak ve kendi kendine ticaret yapabilecektir. Ama tahmin edicilerin seçiminde eksik olan bir şey var, bir model baş edemiyor.

 
Dr.Trader : tahmin edicilerin kalitesi....
İlkel örnekten, hedefin özelliklerinin daha az önemli olmadığı sonucu çıkar...
 
Hatta daha fazlasını söyleyeceğim. Amaç fonksiyonu, bir model oluştururken ÇOK önemli bir noktadır, çünkü algoritmanın ayırma yapmasına yardımcı olacak olan amaç fonksiyonudur. Bu problemle bir kereden fazla karşılaştım ama tam çözemedim bu yüzden golü 50 pip şeklinde bıraktım. Yayılımın biraz üzerinde...
 
Alexey Burnakov :

Yine onlarca modelim var, aynı zamanda tahmincileri ve parametreleri de karıştırıyorum. Ve bu modeller, her biri 8 yıllık bir süre için sağlam bir artıya gidiyor! Ve bu bir test dönemidir. Ancak testin seçtiği "en iyi" modeller gecikmeli örnekleme ile kontrol edildiğinde sürprizlerle karşılaşılıyor. Ve buna denir - Model çapraz doğrulama için ayarlanmıştır.

Bu anlaşıldığında saf deney devam eder. Bu net değilse , gerçek hayatta kalitede birden fazla düşüş göreceksiniz. Hangi vakaların% 99'unda görülür.

Bütün bunlar, piyasanın kendi mega istatistiklerine karşı sık sık karşı çıkması nedeniyle oluyor...

1) Önce neden böyle düşündüğümü göstereceğim ve kanıtlayacağım

2) Sonra bunun neden olduğunu, sürecin mekaniğini açıklayacağım.

bana birkaç saat ver...

Hazır çözümler vermeyeceğim, çünkü bende yok, ancak sürecin anlaşılması zaten bir şey ...

1)

================================================= ===============

Yaptığım ilk şey, olasılıksal çıktıları olan iki derin ağı eğitmekti, aslında, herhangi bir ağ yapacak, asıl şey, ağın çıktısının net bir sınıf cevabı değil - “1”, “0”, ancak olasılık olmasıdır. sınıfa ait olmak, yani çıktı geçerli olacaktır - "0.13" ve bu, mevcut verilerin olasılıkla "1" sınıfına ait olduğu anlamına gelir - "%0.13"

Bir ağı yalnızca satın almak için, ikincisini yalnızca satmak için eğittim.

Köydeki sinyal (hedef eğlencesi) en az bir düşüşün olduğu noktadır.   fiyatın %0,2'si,


inci

yani   aslında bir dönüş noktası arıyoruz... Hedef şuna benziyor   "00000000000000000000" burada "1" köylerde bir dönüş, "0" bir dönüş değil.

Bir dönüş için, sırasıyla her şey aynı ...

Son üç OHLC mumunun tüm fiyatları tahmin edici olarak alınmıştır. ve her türlü kombinasyonu inşa etti   aralarındaki farklar

Yani ağlar eğitiliyor, ağ tahminlerini (çıktılarını) alıyoruz ve fiyatın altında grafikler oluşturuyoruz. Aşağıdaki çizelgeler, satın almak ve yerleşmek için iki şebekenin çıkışlarını göstermektedir, örneğin, şebekenin bir köye çıkışı, bir sonraki mumda aşağı yönlü bir tersine dönüşün ne olasılıkla olacağı anlamına gelir. Bkz. 1, bay için her şey aynı..

Yeşil renk, körfeze ağ çıkışını, kırmızı renk ise köye ağ çıkışını gösterir.

f

Dikkatlice bakarsan   ŞEK. 2, fiyat tablosunun bu olasılıklara aykırı olduğu gözle bile fark edilir,   olasılık ne zaman   yukarıya doğru tersine çevirmenin aşağı doğru tersine çevirme olasılığı daha yüksektir (yeşil grafik kırmızıdan daha yüksektir), o zaman fiyat her zaman düşer, aslında ağa tam tersini öğretmiş olmamıza rağmen, piyasanın kendi istatistiklerine göre hareket ettiğini varsayabiliriz, hadi verileri daha görsel bir şekilde sunmaya çalışın.   Başlangıç olarak, buy ve köy için ağ çıktılarının kümülatif toplamlarını oluşturalım.

Cumsum (satın al.nöral)     ;    Cumsum(sell.nöral)

İ

pilav. 3

Ve şimdi vaftiz babası arasındaki farkı inşa edeceğiz. satın alma ve kum için ağ miktarı. toplam   köyler için ağlar

Cumsum (satın al.nöral)     -     Cumsum(sell.nöral)


c

Görüldüğü gibi, bkz. 4 mavi grafik ve fiyat grafiği, fiyat ile tamamen ters orantılıdır.   ağ tahminleri (mavi grafik). Daha da netleştirmek için mavi grafiğin işaretini değiştireceğim (ters çevireceğim).

Cumsum (satın al.nöral)     -     Cumsum(sell.nöral)   /   -1

ile

ŞEK. 5 şüphe kaldı   fiyat ağların tahminlerine aykırıdır ve ayrıca ilginç bir sonuç çıkarabilirsiniz.   ne   sinir ağları ve istatistiksel olasılıkları yardımıyla, tamamen   fiyatı sadece bir sonraki mumda bir tersine dönüş olup olmayacağına dair olasılık bilgisine dayanarak yeniden oluşturmak.

Ve tüm bunlar çok havalı, ama esasen işe yaramaz, çünkü mavi grafiğimizin tahmin etme yeteneği yok, fiyattan daha iyi performans göstermiyor, ancak ona “ayak uyduruyor”, yani aslında hiçbir fark yok, fiyata bakın veya mavi. grafik, ancak piyasanın mekaniği anlaşılabilir, bu da kulağa şöyle bir şey geliyor   - “eğer aşağı yönlü bir tersine dönüş olasılığı   tersine dönme olasılığından daha fazla, o zaman fiyat yükselir ” gelecekte üzerine inşa edebilirsiniz ...

================================================= =======================

Devam et....

eğitimli gizli markov modelleri HMM veya burjuva HMM - gizli markov modeli

bu, özellikle durağan olmayan veriler için kullanılan olasılıksal bir modeldir, pazarlar için de dahil olmak üzere ...

iki model de inşa edildi, yalnızca hedef geri dönüşler için değildi, ancak, olduğu gibi, bir trend yakalamak, bu modellerden biri bir yukarı trend belirledi ve olasılıksal bir tahmin verdi ve diğer model bir düşüş eğilimi olasılığını verdi.

n

işlemlere dikkat etmeyin orda bir şey denedim..

yani aşağıda, yükseliş trendi yeşili ve düşüş trendi kırmızısı olasılıklarına sahip iki vektörümüz var , siyah çizgi tıpkı modelin ürettiği tepe olasılıkları gibidir, bu sadece standart sapmadır, hatta daha basit olan bolinger

Şimdi bakalım - model bir olayın tepe olasılıklarını vermeye başladığında (aşağıdan yukarıya siyah çizginin ötesine geçerek), o zaman her şey tam tersi olur ...
Yani burada, aslında, kendi istatistiklerimize karşı bir fiyat hareketi var...

Ve şimdi düşünelim, eğer piyasa böyle bir canavarsa) böyle bir davranışla, MO algoritmaları bunu - piyasayı - tahmin edebilir mi? aslında RF nedir, ağ nedir, SMM nedir vb. .. öyle ya da böyle tahminlerini istatistiksel olarak oluştururlar ....

Aslında, (optimizasyon) en az üç kez genetik ve dört kez çapraz doğrulanmış olsun, modelin optimizasyonundan neredeyse ikinci günde neden bozulduğunun cevabı budur ...

Ne yapalım??? bilene kadar

 
mytarmailS :

1)

================================================= ===============

Yaptığım ilk şey, olasılıksal çıktıları olan iki derin ağı eğitmekti, aslında, herhangi bir ağ yapacak, asıl şey, ağın çıktısının net bir sınıf cevabı değil - “1”, “0”, ancak olasılık olmasıdır. sınıfa ait olmak, yani çıktı geçerli olacaktır - "0.13" ve bu, mevcut verilerin olasılıkla "1" sınıfına ait olduğu anlamına gelir - "%0.13"

Bir ağı yalnızca satın almak için, ikincisini yalnızca satmak için eğittim.

Köydeki sinyal (hedef eğlencesi) en az bir düşüşün olduğu noktadır.   fiyatın %0,2'si,


yani   aslında bir dönüş noktası arıyoruz... Hedef şuna benziyor   "00000000000000000000" burada "1" köylerde bir dönüş, "0" bir dönüş değil.

Bir dönüş için, sırasıyla her şey aynı ...

Son üç OHLC mumunun tüm fiyatları tahmin edici olarak alınmıştır. ve her türlü kombinasyonu inşa etti   aralarındaki farklar

Yani ağlar eğitiliyor, ağ tahminlerini (çıktılarını) alıyoruz ve fiyatın altında grafikler oluşturuyoruz.

Dikkatlice bakarsan   ŞEK. 2, gözle bile fiyat tablosunun bu olasılıklara aykırı olduğu fark edilir.

ŞEK. 5 şüphe kaldı   fiyat ağların tahminlerine aykırıdır ve ayrıca ilginç bir sonuç çıkarabilirsiniz.   ne   sinir ağlarının ve istatistiksel olasılıklarının yardımıyla, tamamen   fiyatı sadece bir sonraki mumda bir tersine dönüş olup olmayacağına dair olasılık bilgisine dayanarak yeniden oluşturmak.

Sonuçta, akıllı insanlar her türlü sinir ağını geliştirir ve eğitir, ancak yine de basit şeyleri göremezler. Yazınızı okudum ve şaşırdım. Her şeyi doğru anladıysam, kabaca konuşursak, belirli bir yüksekten sonra tüm fiyat düşüşlerini% 0,2 buldunuz, sonra bu yüksek alanda üç mum aldı ve fiyatları ile bir tür manipülasyon yaptınız, sonunda onları getirdi. belirli bir olasılık için. Ama afedersiniz, bu yaklaşım size çok ilkel gelmiyor mu? :) Yanlış yeri kazıyorsun. Bu yüzden sonuç gerçeğin tam tersidir. Yaklaşımınızı şu şekilde karakterize ederim: FullHD bir görüntüden 3 piksel almaya çalışıyorsunuz ve bu üç pikseli kullanarak resmin tamamı hakkında bir fikir ediniyorsunuz. Peki, hepsi değil ama görüntü alanının en az %10'unun doğru tahmin edilme olasılığı nedir? Umarım örneğim açıktır. Resmi görmek için piksellere bakmanıza gerek yok. Başka bir deyişle, grafiği anlamak için tek tek çubuklara değil, grafiğin tamamına bakmanız gerekir. Ve sorunun çözümü, örneğin cebir, fizik veya biyolojide değil, geometri alanındadır. İnsanların burada yaptıkları araştırmaların bir kısmını okuduğumda, insanın yapısını coğrafya yardımıyla anlamaya çalıştıklarını güçlü bir şekilde hissediyorum. :)
 

Kara Tomcat :
1) Yazınızı okudum ve çok şaşırdım. Eğer doğru anlıyorsam,

2) sonunda onları bir sinir ağı yardımıyla belirli bir olasılığa getirmek. Ama afedersiniz, bu yaklaşım size çok ilkel gelmiyor mu? :) Yanlış yeri kazıyorsun. Bu yüzden sonuç gerçeğin tam tersidir.

3) Yaklaşımınızı şu şekilde karakterize ederim: FullHD bir görüntüden 3 piksel almaya çalışıyorsunuz ve bu üç pikseli kullanarak resmin tamamı hakkında bir fikir ediniyorsunuz. Peki, hepsi değil ama görüntü alanının en az %10'unun doğru tahmin edilme olasılığı nedir? Umarım örneğim açıktır. Resmi görmek için piksellere bakmanıza gerek yok.

4) Yani grafiği anlamak için tek tek çubuklara değil, grafiğin tamamına bakmanız gerekir. Ve sorunun çözümü, örneğin cebir, fizik veya biyolojide değil, geometri alanındadır. İnsanların burada yaptıkları araştırmaların bir kısmını okuduğumda, insanın yapısını coğrafya yardımıyla anlamaya çalıştıklarını güçlü bir şekilde hissediyorum. :)

1) doğru..

2) tamam, ama o zaman neden olasılık tam tersi, aslında aptalca rastgele olmalı ve ters korelasyon değil

3) Katılıyorum, olabildiğince fazla bilgiyi en sıkıştırılmış haliyle almanız gerekiyor, bu yüzden son zamanlarda hacim profilinden bahsediyorum, peki ya da bazı alternatifler..

Ağ verilerinin nasıl temsil edileceğine dair herhangi bir öneriniz var mı? lütfen paylaşın, bu yüzden hepimiz buradayız

4) Size kesinlikle katılıyorum, kendim uzun zamandır bunun nasıl yapılacağı konusunda kafa karıştırıyorum, örneğin, şu anda fiyatın olduğu aralığa dahil olan tüm seviyeleri hatırlamanız gerekiyor, bunun nasıl yapılacağı ? seviyeler ağa nasıl gönderilir? ayrıca, her mumun üzerindeki sayıları farklı olacak, biliyor musunuz?, bu hiç de önemsiz bir iş değil, benim için kesin ..

ps Yalvarırım yazılarımdan alıntı yapmayın, bana hitap ettiğinizi anlamak için birkaç kelime yeterli, lütfen fazlalıkları silin

 
Kara Tomcat :
Sonuçta, akıllı insanlar her türlü sinir ağını geliştirir ve eğitir, ancak yine de basit şeyleri göremezler. Yazınızı okudum ve şaşırdım. Her şeyi doğru anladıysam, kabaca konuşursak, belirli bir yüksekten sonra tüm fiyat düşüşlerini% 0,2 buldunuz, sonra bu yüksek alanda üç mum aldı ve fiyatları ile bir tür manipülasyon yaptınız, sonunda onları getirdi. belirli bir olasılık için. Ama afedersiniz, bu yaklaşım size çok ilkel gelmiyor mu? :) Yanlış yeri kazıyorsun. Bu yüzden sonuç gerçeğin tam tersidir. Yaklaşımınızı şu şekilde karakterize ederim: FullHD bir görüntüden 3 piksel almaya çalışıyorsunuz ve bu üç pikseli kullanarak resmin tamamı hakkında bir fikir ediniyorsunuz. Peki, hepsi değil ama görüntü alanının en az %10'unun doğru tahmin edilme olasılığı nedir? Umarım örneğim açıktır. Resmi görmek için piksellere bakmanıza gerek yok. Başka bir deyişle, grafiği anlamak için tek tek çubuklara değil, grafiğin tamamına bakmanız gerekir. Ve sorunun çözümü, örneğin cebir, fizik veya biyolojide değil, geometri alanındadır. İnsanların burada yaptıkları araştırmaların bir kısmını okuduğumda, insanın yapısını coğrafya yardımıyla anlamaya çalıştıklarını güçlü bir şekilde hissediyorum. :)

Kabul ediyorum. Resmin tamamını görmeniz gerekiyor.

Ancak bu yalnızca statik bir görüntü için iyidir. Yani, resmin tamamını koşullu olarak 100 parçaya bölebilir, 70 parçada öğrenebilir ve 30 parçada mükemmel tahmin yetenekleri elde edebiliriz. Yaklaşık olarak aynısı piyasa tahmini ile yapılır. Sonra ne var? Neden sorunlar zaten gerçek zamanlı olarak ortaya çıkıyor?

Ve yakalama, resmin statik olmamasıdır. Bu film. Doğal olarak, filmin karelerinden birinde çalışıp tahmin etmeyi öğrendikten sonra, resmin komşu alanlarını gerçek hayatta tahmin etmek işe yaramaz - bir sonraki kare zaten farklıdır! Ve bu filmin hiçbir karesinin mutlak kopyası yoktur ve geçmişte olduğu gibi gelecekte benzer kareler bulunsa bile, bu karelerden sonra, benzer bir kare için geçmişte izlenenlerin aynısı değil, diğerleri gelir. Sorun bu.

Bu nedenle, filmin tek tek karelerine bakarsanız, karelerin rastgele olduğu sonucuna bile varabilirsiniz, tıpkı birçoğunun piyasanın %100 değilse bile çok rastgele olduğuna ikna olması gibi. Ama biliyoruz ki bir film izlediğimizde mantıklı geliyor, filmin sonunda ne olacağını bile kolayca tahmin edebiliyoruz! Anlaşma nedir? - belki de daha geniş bakmanız gerektiğinden, asla değişmeyen daha fazla küresel kalıp keşfetmeniz gerekiyor - örneğin, bir şekilde fiyatın ortalama olarak ne kadar geri döndüğünü kontrol ettim ve böylece %30 gibi bir şey çıktı ( hafıza bana doğru bir şekilde hizmet ediyorsa ), ancak sonuçta bu rakam tüm TF'ler ve tüm enstrümanlar için neredeyse aynı (döviz çiftleri ve metaller, CFD'leri ve diğerlerini kontrol etmedim, ancak ortaya çıkacak gibi görünüyor aynısı)! Bu harika. Kullanılması gereken tam olarak böyle sabit kalıplardır, ancak bunu herhangi bir sinir ağı , orman vb. olmadan yapmak genellikle daha kolaydır, çünkü MO'yu kullanmak için filmdeki anlamı belirleyebilmeniz gerekir, ve bu imkansız değilse de çok zor..

 
Andrey Dik :

Ve yakalama, resmin statik olmamasıdır. Bu film.

Size başka bir benzetme yapayım.

Smart kullanan hemen hemen herkesin akıllı klavyeleri vardır. Bir sözcük yazarsanız, klavye bir sonraki sözcüğü önerir. Sözcüğe ve yazılan önceki sözcüklere bağlıdır. Denedim, Claudia'nın sunduğu kelimelerden oldukça anlamlı metinler bile yazabilirsiniz. Kelimeler kalıptır, bir grup kelime bir kalıp grubudur.

Ancak bu teknoloji, tıpkı burada ele alınan ML gibi piyasada güçsüz olacaktır, çünkü piyasada "kelimeler" zamanla değişir (bireysel harflerin sırası ve kombinasyonu) ve tek tek "kelimelerin" anlamı değişir. Geriye, elbette, bizim için mevcut olmayan, tüm metnin belirli bir yüksek anlamı kalıyor.

Şimdi bana soracaklar: Şimdi ne yapmalı? - MO ile ne yapacağımı bilmiyorum, sonuç yine de kötü olacak.

Hatta birisi şöyle diyecek: "Evet, sadece MO pişirmeyi bilmiyorsun!" - Muhtemelen evet, yapamam. Ama yine de kim yapabilir? MO'yu piyasada kim kullanmayı başardı? Böyle başarılı örnekler bilen var mı? Evet, şimdi örnek olarak Better'ı gösterecekler, ama o da sonraki zamanda birleşti ...

 
mytarmailS :

2) tamam, ama o zaman neden olasılık tam tersi, aslında aptalca rastgele olmalı ve ters korelasyon değil

Ağ verilerinin nasıl temsil edileceğine dair önerileriniz var mı? lütfen paylaşın, bu yüzden hepimiz buradayız

Bu kadar büyük bir alıntı için özür dilerim ama şimdi telefondan yazıyorum ve burada düzenleme seçenekleri sınırlı. Bir teklifin üzerine yazmaya başlayabilir ve ardından metniniz için boş bir alana geri dönemeyebilirsiniz. PC'de bunu düzeltmek kolaydır, ancak telefonda sorun haline gelir.
2. paragrafa göre - Bunun tamamen rastgele olması gerektiği konusunda sizinle aynı fikirdeyim, ancak aslında tam tersi sonucu aldığınız ileri test sürenizin, eğitim gerçekleştirildi. Bu dönemler arasında bir zaman aralığınız var mı? Genellikle, model (piyasadaysa) yavaş yavaş çalışmayı durdurur: Test cihazındaki denge tablosu önce eğimini düşürür ve ardından düşer. Desen söndü, tanındı ve birçok kişi bundan yararlanmaya başladı. Bu nedenle, ters bir desene dönüşür. Ancak, bu model için mantıklı bir (piyasa) gerekçesi varsa, bir süre sonra tekrar çalışmaya başlayabilir. Ama burada bana öyle geliyor ki, aşağıdakiler doğru: kalıp daha önce ne kadar uzun süre çalışıyorsa, "unutma" süresi o kadar uzun sürecek. Ama bunu henüz tam olarak test etmedim.
Sinir ağlarıyla çalışmıyorum, bu yüzden onları eğitmek için nasıl veri hazırlayacağımı bilmiyorum. Grafiksel ( geometrik ) yöntemler gözle iyi tanınır, ancak bunları resmileştirmek zordur. Şu anda grafiksel yöntemler kullanan bir TS üzerinde çalışıyorum. Benim düşünceme göre, hala herhangi bir yerde çalışan kalıplar varsa, o zaman sadece burada.
Bir önceki mesajıma bazı açıklamalar eklemek istiyorum. Orada, tek tek çubukların analizinden geçtim. Ama aslında öyle değil. Tek tek çubukların analizinin var olma hakkı vardır, ancak bu kilit çubuklar genellikle üst alanlarda bulunmaz.
Neden: