"Kapsamlı Olmayan İstatistiksel Dağılımların Yapısal Analizine Öz-Koordinatlar Yönteminin Uygulanması" makalesi için tartışma - sayfa 2

 
alsu:

Tüm bunlarla ne demek istiyorum. Elimizde belli bir model olduğunu ve buna dayanarak teorik bir fonksiyon elde ettiğimizi varsayalım. Ve bilgisizliğimiz nedeniyle çok önemsiz ama sistematik bir faktörü hesaba katmamış olalım. Bu durumda, olağanüstü hassasiyeti nedeniyle öz-koordinatlar yöntemi, gerçek verilerin modele uymadığını söyleyerek bize bir tokat atacaktır. Ancak bu doğru değildir! - Model doğrudur, ancak tek bir faktörü hesaba katmaz ve pratik açıdan bakıldığında bu eksikliğin hiç de önemli olmadığı ortaya çıkabilir (aynı Hilhorst-Schell örneğinde olduğu gibi, farkı gözle bile fark etmek zordur). Bu nedenle, "sadece temel bakış açısından" ifadesini "daha ziyade temel bakış açısından" olarak okuyorum; yani, maksimum doğrulukta tekabüliyetin değeri, uygulamalı bakış açısından (pratik bir sorunun çözümü için) çok önemli olmayabilir, ancak temel bakış açısından (gerçekleşen tüm süreçlerin tam olarak anlaşılması için) çok önemlidir.

Uygulamalı bir bakış açısından, modelin sınırlarını önceden biliyorsanız, maksimum uyum doğruluğu değeri o kadar da önemli değildir. Örneğin, deneysel veriler var, bunları bazı alanlarda iyi açıklayan bir teori var (her modelin sınırlamaları vardır). Birdenbire yöntemin bir hata yaptığı ortaya çıkarsa, bunu modelin dışında da yapar (örneğin modelimiz yüksek/düşük sıcaklıklarda çalışmaz), bunu görürüz. Öte yandan, genellikle modelin özellikleri hakkında bilgimiz vardır, örneğin bazı varsayımlarla türetilmiştir, bu sıcaklıklarda modelde hesaba katılmayan başka etkiler ortaya çıkar. Bunda yanlış bir şey yok, modelin bir uygulanabilirlik alanı var.

Köktencilik her zaman daha güçlüdür, çünkü uygulanabilirlik alanı daha geniştir. Geniş bir uygulanabilirlik alanına sahip olmak için özel niteliklere sahip olmanız gerekir.

Ayrıca, yöntem bize sadece modelin deneysel verilere uymadığına dair bir karar verir, ancak tutarsızlığın nedenleri hakkında hiçbir şey söylemez (örneğimde olduğu gibi - modelin küçük kusurlarla "genel olarak" doğru olup olmadığını veya tamamen revize edilmesi gerekip gerekmediğini belirleyemeyiz) ve bu bir kusurdur.

Bu tür durumlar için daha soğuk bir sihir vardır - simetri hususları.

Bana öyle geliyor ki istatistiksel mekaniğin mimari kusuru, gösterge dağılımının yardımıyla pek düzeltilemez.

 

Quantum:

Bana öyle geliyor ki, gösterge dağılımı aracılığıyla istatistiksel mekaniğin mimari hatasını düzeltmek pek mümkün değil.

Ve hata yok, hesaplamalarınızda mu=0, nu=1, a=gamma yerine koymaya çalışın (makalenin 2.3-2.4. paragrafları). İşte makaleden bir alıntı


Bu durumda hesaplamalar neredeyse önemsizdir - 3 koordinatın değiştirilmesinden sonra sadece 2 koordinat kalır, ancak X1 ve X2'nin doğrusal olarak bağımlı olduğunu fark edebilirsiniz, yani aslında bir koordinatı daha ortadan kaldırmamız gerekir. Ardından, gerçek verileri, örneğin EURUSD ile değiştirin. Sonuçlar sizi çok şaşırtacak (grafik doğrusallığı açısından). En ilginç şey, hatırladığım kadarıyla, doğrusallıktan sadece "yüksek sıcaklıklar" alanında (büyük modül getirileri alanında) sapmalar olması ve hiç de beklediğiniz yönde olmamasıdır - aslında, her şeyi dikkatlice çizerseniz, dağılımın "kalın kuyruğunun" sonunda keskin bir şekilde inceldiğini göreceksiniz (tahmin etmek zor, yeterli nokta yok, ancak exp(-x^3) veya exp(-x^4) gibi bir şey. Bu, a) tüm bölgelerde çalışacak tek bir model oluşturmanın mümkün olup olmadığı (muhtemelen değildir, çünkü "doygunluk modundaki" doğrusal olmayan etkiler baskın bir rol oynar) ve b) böyle bir kuyruk q-Gaussian'a karşılık gelir, bu konuda bir keçi için bir akordeon gibi.
.

Bunu tam tersi şekilde de yapabilirsiniz - sapma modüllerinin gerçek dağılımını içeren csv dosyasını paragraf 2.4'teki betiğe aktarın ve ne olacağını görün. Sorun oldukça aşırı belirlenmiş olduğundan (C3 katsayılarından biri sıfıra çok yakın ve diğer ikisi C1 ve C2 çok doğrusal olarak bağımlı), sonucu tahmin bile edemiyorum (MNC taşabilir). Eğer üşeniyorsanız, akşama kadar bekleyin, kendim yapabilirim. Resimleri gördüğümüzde kimin haklı olduğu ve bundan sonra ne hakkında konuşacağımız belli olacak).

Bu arada, üstel dağılımın her derde deva olduğunu iddia etmiyorum, tam tersine, kapsamlı olmama açısından sizi destekliyorum ve [0;+inf) üzerinde Q-entropiyi maksimize eden dağılımı hesaplamanızı öneriyorum (varyasyonlar hesabını biliyor musunuz? Çok iyi bilmiyorum ama prensipte yapabilirim, çok karmaşık değil). Tam olarak resmileştirilmemiş olsa da teorik düşünceler var (yukarıda bilgi hakkında yazdım), ayrıca isterseniz biraz sezgi de var.

 
Ah, evet, kıçımı kaldırıp internete bakmalıydım ve q-eksponansiyelinin nazik insanlar tarafından zaten hesaplanmış olduğu ortaya çıktı. Alıntılardaki düzeltmeleri kim yapacak?
 

Özellikle sevindirici olan

q-eksponansiyel dağılımı, servetin (varlıkların) bireyler arasındaki dağılımını tanımlamak için kullanılmıştır
 
alsu:

Ve eklem yoktur, hesaplamalarınızda (makalenin 2.3-2.4. paragrafları) mu=0, nu=1, a=gamma yerine koymaya çalışın. İşte makaleden bir alıntı


Bu durumda hesaplamalar neredeyse önemsizdir - 3 koordinatın değiştirilmesinden sonra sadece 2 koordinat kalır, ancak X1 ve X2'nin doğrusal olarak bağımlı olduğunu fark edebilirsiniz, yani aslında bir koordinatı daha ortadan kaldırmamız gerekir. Ardından, gerçek verileri, örneğin EURUSD ile değiştirin. Sonuçlar sizi çok şaşırtacak (grafik doğrusallığı açısından). En ilginç şey, hatırladığım kadarıyla, doğrusallıktan sadece "yüksek sıcaklıklar" alanında (büyük modül getirileri alanında) sapmalar olması ve hiç de beklediğiniz yönde olmamasıdır - aslında, her şeyi dikkatlice çizerseniz, dağılımın "kalın kuyruğunun" sonunda keskin bir şekilde inceldiğini göreceksiniz (tahmin etmek zor, yeterli nokta yok, ancak exp(-x^3) veya exp(-x^4) gibi bir şey. Bu, a) tüm bölgelerde çalışacak tek bir model oluşturmanın mümkün olup olmadığı (muhtemelen değildir, çünkü "doygunluk modundaki" doğrusal olmayan etkiler baskın bir rol oynar) ve b) böyle bir kuyruk q-Gaussian'a karşılık gelir, bu konuda bir keçi için bir akordeon gibi.
.

Bunu tam tersi şekilde de yapabilirsiniz - sapma modüllerinin gerçek dağılımını içeren csv dosyasını paragraf 2.4'teki betiğe aktarın ve ne olacağını görün. Sorun oldukça aşırı belirlenmiş olduğundan (C3 katsayılarından biri sıfıra çok yakın ve diğer ikisi C1 ve C2 çok doğrusal olarak bağımlı), sonucu tahmin bile edemiyorum (MNC taşabilir). Eğer üşeniyorsanız, akşama kadar bekleyin, kendim yapabilirim. Resimleri gördüğümüzde kimin haklı olduğu ve bundan sonra ne hakkında konuşacağımız belli olacak).

Bu arada, üstel dağılımın her derde deva olduğunu iddia etmiyorum, aksine, kapsamlı olmama açısından sizi destekliyorum ve [0;+inf) üzerinde Q-entropiyi maksimize eden dağılımı hesaplamanızı öneriyorum (varyasyonlar hesabını biliyor musunuz? Çok iyi bilmiyorum, ama prensipte yapabilirim, çok karmaşık değil). Tam olarak resmileştirilmemiş olsa da teorik düşünceler var (yukarıda bilgi hakkında yazdım), ayrıca isterseniz biraz sezgi de var.

Modüllerle çalışmak çok iyi bir fikir, neler olacağını görmek ilginç olurdu.

P1(x), P2(x)'ten daha zayıftır - ikincisi dif. denklemine göre daha zengin dinamiklere sahiptir, ayrıca P2(x) bir Gauss içerir, bu da onu evrensel yapar (göründüğü tüm sorunları düzeltebilirsiniz).

Bence P(U)'ya yönelmeliyiz - neredeyse Gauss'tur, ancak erf-1(x) aracılığıyla argümanın doğrusal olmayan zor bir dönüşümü ile - Scher'de kuyruklar bu şekilde kesildi.

P(U)'nun türevini alırken ve integralini alırken, erf(a*erf-1(x)) şeklinde argüman dönüşümü olan yapılar vardır. - bunun ne olduğu tam olarak açık değildir.

Yani fikir, denklemleri karşılaştırarak bilinen kesin çözümlerden (Scher'in ikinci bir örnek slayt 25'i vardır), çözümleri belirli durumlarda bilinen fonksiyonların şeklini alacak olan diferansiyel denklemin genel formunu kurtarmaktır (hipergeometrik fonksiyonla benzerlik kurarak).

plot InverseErf - Wolfram|Alpha
  • www.wolframalpha.com
x
 
alsu:
Ah, evet, kıçımı kaldırıp internete bakmam gerekti ve q-eksponansiyelinin nazik insanlar tarafından zaten hesaplanmış olduğu ortaya çıktı

Daha az nazik insanlar, "özel seçim" h(x)=tanh(x) ve lamda=1'den sonra g->q elde ettiğimiz küresel bir çatal (eşitlik 32) olduğunu göstermiştir.

"Gauss" seçeneği ile birlikte başka "özel seçim" seçenekleri olup olmadığını merak ediyorum. Bence olmalı - yeni bir niteliğin doğuşu "herhangi bir özel rol oynamama" temelinde olamaz - burada basitçe temelliğe ihtiyaç vardır.

UPD: "Herhangi bir özel rol oynamama" ifadesinin birkaç özel durum temelinde yapılmış yanlış bir ifade olması mümkündür.

 
Quantum:

Uygulama açısından bakıldığında, modelin sınırlarını önceden biliyorsanız, uyumun doğruluğunu en üst düzeye çıkarmanın değeri o kadar da önemli değildir.

"Yulaf lapasını yağ ile bozamazsınız" ilkesi pratik modellemede çok tartışmalıdır.

Sadece ekonomik zaman serilerine odaklanırsanız, diğer sorunları çözme ihtiyacının yanı sıra, her zaman modelin iki yüzlü "fazlalık / yetersizlik" sorununu çözmeniz gerekir. Bu durumda, modeller eşit olduğunda, daha basit olan seçilir. İstatistikte bu sorunu çözmek için, bu sorunu bir şekilde çözmeye çalışmayı sağlayan bir dizi test vardır.

Tüm modelleme mekanizması dengeli olmalıdır. Elbette, bazı yerlerde atılımlar yapmak ilginçtir, ancak modellerin diğer unsurlarını bu atılımın seviyesine çekerken pratik olarak ilginçtir.

Şu anda, modellemede hesaba katılamayan gündelik hayattaki bükülmelerin (kırılma noktalarının) olması hala bir sorundur. Bu sorun çözülene kadar, herhangi bir model iyileştirmesi anlamsızdır.

 

Evet, belki de önce deneysel verilere bakmak daha iyidir.

SP500 dağılımını q-Gaussian (P2(x) fonksiyonu) kullanarak açıklayan klasik bir örneği (makaledeki Şekil 4) ele alalım.

SP500 kapanış fiyatlarına ilişkin günlük veriler şu bağlantıdan alınmıştır: http://wikiposit.org/w?filter=Finance/Futures/Indices/S__and__P%20500/.


SP 500 kapanış fiyatları

SP500 logaritmik getirileri

SP 500 logaritmik getiri dağılımı


SP500-data.csv dosyasını kontrol etmek için \Files\ klasörüne kopyalayın, ardından CalcDistr_SP500.mq5 (dağılım hesaplaması) ve ardından q-gaussian-SP500.mq5 (öz-koordinatlar analizi) çalıştırın.

Hesaplama sonuçları:

2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    2: theta=1.770125768485269
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    1: theta=1.864132228192338
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    2: a=2798.166930885822
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    1: a=8676.207867097581
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    2: x0=0.04567518783335043
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    1: x0=0.0512505923716428
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    C1=-364.7131366394939
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    C2=37.38352859698793
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    C3=-630.3207508306047
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    C4=28.79001868944634
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    1  0.00177913 0.03169294 0.00089521 0.02099064 0.57597695
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    2  0.03169294 0.59791579 0.01177430 0.28437712 11.55900584
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    3  0.00089521 0.01177430 0.00193200 0.04269286 0.12501732
2012.06.29 20:01:19    q-gaussian-SP500 (EURUSD,D1)    4  0.02099064 0.28437712 0.04269286 0.94465120 3.26179090
2012.06.29 20:01:09    CalcDistr_SP500 (EURUSD,D1)    checking distibution cnt=2632.0 n=2632
2012.06.29 20:01:09    CalcDistr_SP500 (EURUSD,D1)    Min=-0.1229089015984444 Max=0.1690557338964631 range=0.2919646354949075 size=2632
2012.06.29 20:01:09    CalcDistr_SP500 (EURUSD,D1)    Total data=2633

Öz-koordinatlar yöntemiyle elde edilen q parametresi tahminleri (q=1+1/theta): q~1.55

Örnekte (makalenin Şekil 4'ü), q~1.4.

SP 500 öz koordinatlar X1 Y1

SP 500 öz koordinatlar X2 Y2

SP 500 öz koordinatlar X3 Y3

SP 500 öz koordinatlar X4 Y4

Sonuçlar: genel olarak, bu veriler q-gaussian'a oldukça iyi uymaktadır, veriler olduğu gibi alınmıştır, ancak SP500-endeks aracı+günlük grafiklerden beri ortalama alma hala mevcuttur.

X1 ve X2 doğası gereği hassastır, X3 ve X4'te kuyruklar biraz bozulmuştur, ancak q-gaussian'ın doğru işlev olmadığı kadar değil - daha belirgin bir sorunu olan bir örnek bulmanız gerekir.

X1 ve X2'yi JX1 ve JX2 ile değiştirerek iyileştirebilirsiniz, düzelmeleri gerekir. X3 ve X4'teki kuyruklar, kuadratik bağımlılığı genelleştirerek, yani x0 (+yeni parametreler) etrafındaki simetriyi terk ederek öz-koordinatlar kümesini genişleterek düzeltilebilir. (1+a(x-x0)^3)^theta ve uzantılarının kübik durumuna bakabiliriz (+yeni parametreler).

Alet, zaman aralığı ve zaman dilimi bağımlılığının incelenmesini gerektirir.

Quandl - Find, Use and Share Numerical Data
  • wikiposit.org
Browse pages curated by Quandl .
Dosyalar:
 
faa1947:

Şu anda kotir'de hala modellemede dikkate alınamayan bir kırılma noktası sorunu vardır. Bu sorun çözülene kadar, herhangi bir model iyileştirmesi anlamsızdır.

Kırılma noktaları ile ilgili olarak (eğer doğru anladıysam).

AA, M5 (2011.12.01 21:15:00 -2012.06.29 18:10:00) için logaritmik getirilerin dağılımını ele alalım.

Hesaplama CalcDistr.mq5 komut dosyası kullanılarak yapılmıştır, #AA, M5 sembolü için 10000 veri.

#AA

Bu durumda logaritmik getirilerin dağılımı (M5 ölçeği) karmaşık bir yapıya sahiptir:

#AA dağıtım

Logaritmik getirilerin dağılımını ~ bir yönde hareket olasılığını düşünürsek, burada açıkça bir dağılımlar toplamı vardır - küçük ölçeklerdeki dağılımların yapısı durağan olmamayı gösterir.

Mevcut dinamikler yerel dağılım tarafından belirlenir ve kırılma noktalarında yeniden düzenlenir:

Yani dağılım doğası gereği asimetriktir (|x| geçmeyecektir), 2 parçadan/dağılımdan oluşur (pozitif ve negatif), yerel dinamikler beherdeki en büyük hacim tarafından belirlenir.

Dosyalar:
CalcDistr.mq5  4 kb
 

İlginç bir materyal, teşekkürler. Burada hüküm süren matematiksel nezaketi bozmak istemem ama yine de iki basit soru sormadan edemeyeceğim:

1. Bu dağılımların pratik değeri sorusu. Sonuç olarak ne elde etmeliyiz? Kendi iyiliği için tanımlama iyidir, ancak (elbette özür dilerim) botanik kokuyor.

2. Piyasada farklı "seviyelerde" meydana gelen tamamen farklı nitelikteki süreçleri tek bir dağılımla tanımlamaya çalışmak mantıklı mıdır? Burada "bükülme" sorunundan daha önce bahsedilmişti, ancak bu var olan sorunların yalnızca bir kısmıdır. Dahası, farklı tarihsel zaman aralıklarında süreçlerin bileşimi önemli ölçüde değişir, bunu tek bir dağılımla nasıl tanımlamak istiyorsunuz - anlamıyorum.