Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 2493

 
ekcom # :
TensorFlow belgelerini okuyun, her şey bir kurucu biçimindedir... pratik olarak. Doğru, bunlar kara kutular. Eğer ilgilenirseniz size elle yazılmış perceptron koduna bir göz atabilirim ve bu arada her şey tamamen matris hesabıdır, her şey onların üzerine kuruludur.

Az önce Evgeny Dyuka ve onun ServerNN'sinden (kodu okuyun) TensorFlow'daki gönderiye döndüm

çünkü Habre'de Python kitaplıklarına yönelik bir tür eleştiriyle karşılaştım.

Sklearn yığınında, xgboost, lightGBM paketlerinde, "ahşap modeller" için özelliklerin önemini (özellik önemi) değerlendirmek için yerleşik yöntemler vardı:

1. Kazanç
Bu ölçü, her bir özelliğin modele göreli katkısını gösterir. hesaplamak için her ağacın üzerinden geçiyoruz, ağacın her bir düğümüne, hangi özelliğin düğümün bölünmesine yol açtığına ve metriğe göre modelin belirsizliğinin ne kadar azaldığına (Gini safsızlığı, bilgi kazancı) bakıyoruz.
Her özellik için, tüm ağaçlara katkısı özetlenir.

2. Kapak
Her özellik için gözlem sayısını gösterir. Örneğin 4 özelliğiniz, 3 ağacınız var. 1, 2 ve 3 ağaçlarında sırasıyla 10, 5 ve 2 gözlem içerdiğini varsayalım.

3. Frekans
Bu özelliğin ağacın düğümlerinde ne sıklıkta meydana geldiğini gösterir, yani her ağaçtaki her bir özellik için ağacın düğümlere toplam bölünme sayısı hesaplanır.

Tüm bu yaklaşımlardaki temel sorun, bu özelliğin modelin tahminini tam olarak nasıl etkilediğinin net olmamasıdır. Örneğin, bir bankanın müşterisinin kredi ödeme gücünü değerlendirmede gelir düzeyinin önemli olduğunu öğrendik. Ama tam olarak nasıl? Daha yüksek gelir, modelin tahminlerini ne kadar saptırıyor?

Ancak burada "ahşap modeller" hakkında - onlardan kaçınmak istiyorum çünkü. çok fazla operatör yiyorlar (ve ben hız ve kompaktlığın destekçisiyim) ...

- genel olarak, sorunuzun cevabı - TALEPLİ, İLGİNÇ ... evet, Sinir Ağlarında sürekli matris hesapları olduğunu düşündüm (bu yüzden onları ve onlar için kütüphaneleri sordum)

ps

Sadece anlamıyorum, eğer alıntıdaki kütüphaneler polinom katsayılarını tahmin edemezse (cevap: ne kadar), o zaman dinamik modeli nasıl tanımlayacaklar? (lineer değil, regresyon değil [aynı şey]).. bu yüzden şimdilik bir model derlemeyi düşünüyorum (farklılaşmayı hatırlamaya çalışıyorum ... zorlukla)

Машинное обучение в трейдинге: теория, практика, торговля и не только
Машинное обучение в трейдинге: теория, практика, торговля и не только
  • 2021.10.23
  • www.mql5.com
Добрый день всем, Знаю, что есть на форуме энтузиасты machine learning и статистики...
 
JeeyCi # :

Şimdi Evgeny Dyuka'nın görevine döndüm

çünkü Habre'de Python kitaplıklarına yönelik bir tür eleştiriyle karşılaştım.

Sklearn yığınında, xgboost, lightGBM paketlerinde, "ahşap modeller" için özelliklerin önemini (özellik önemi) değerlendirmek için yerleşik yöntemler vardı:

  1. Kazanmak
    Bu ölçü, her bir özelliğin modele göreli katkısını gösterir. hesaplamak için her ağacın üzerinden geçiyoruz, ağacın her bir düğümüne, hangi özelliğin düğümün bölünmesine yol açtığına ve metriğe göre modelin belirsizliğinin ne kadar azaldığına (Gini safsızlığı, bilgi kazancı) bakıyoruz.
    Her özellik için, tüm ağaçlara katkısı özetlenir.
  2. örtmek
    Her özellik için gözlem sayısını gösterir. Örneğin 4 özelliğiniz, 3 ağacınız var. 1, 2 ve 3 ağaçlarında sırasıyla 10, 5 ve 2 gözlem içerdiğini varsayalım.
  3. Sıklık
    Bu özelliğin ağacın düğümlerinde ne sıklıkta meydana geldiğini gösterir, yani her ağaçtaki her bir özellik için ağacın düğümlere toplam bölünme sayısı hesaplanır.


Tüm bu yaklaşımlardaki temel sorun, bu özelliğin modelin tahminini tam olarak nasıl etkilediğinin net olmamasıdır. Örneğin, bir bankanın müşterisinin kredi ödeme gücünü değerlendirmede gelir düzeyinin önemli olduğunu öğrendik. Ama tam olarak nasıl? Daha yüksek gelir, modelin tahminlerini ne kadar saptırıyor?

Eh, benim zevkime göre Python, pişirmeyi bilmeyenler tarafından eleştiriliyor. Geriye kalan her şeyi hazır çözümler alarak değil, bunları kitaplıklar kullanarak yazarak yapmak daha kolaydır ve bu arada örneğin numpy kullanarak muhtemelen C++'dan daha fazla hız elde edersiniz. Fortran dilinde yazılmıştır. Ayrıca, Python artık doğrudan MT5 ile kolayca entegre edilmiştir, tabiri caizse bu, AI'yı soketli sunucular olmadan kullanmanıza olanak tanır.

 
JeeyCi # :

Şimdi Evgeny Dyuka'nın görevine döndüm

çünkü Habre'de Python kitaplıklarına yönelik bir tür eleştiriyle karşılaştım.

Sklearn yığınında, xgboost, lightGBM paketlerinde, "ahşap modeller" için özelliklerin önemini (özellik önemi) değerlendirmek için yerleşik yöntemler vardı:

  1. Kazanmak
    Bu ölçü, her bir özelliğin modele göreli katkısını gösterir. hesaplamak için her ağacın üzerinden geçiyoruz, ağacın her bir düğümüne, hangi özelliğin düğümün bölünmesine yol açtığına ve metriğe göre modelin belirsizliğinin ne kadar azaldığına (Gini safsızlığı, bilgi kazancı) bakıyoruz.
    Her özellik için, tüm ağaçlara katkısı özetlenir.
  2. örtmek
    Her özellik için gözlem sayısını gösterir. Örneğin 4 özelliğiniz, 3 ağacınız var. 1, 2 ve 3 ağaçlarında sırasıyla 10, 5 ve 2 gözlem içerdiğini varsayalım.
  3. Sıklık
    Bu özelliğin ağacın düğümlerinde ne sıklıkta meydana geldiğini gösterir, yani her ağaçtaki her bir özellik için ağacın düğümlere toplam bölünme sayısı hesaplanır.


Tüm bu yaklaşımlardaki temel sorun, bu özelliğin modelin tahminini tam olarak nasıl etkilediğinin net olmamasıdır. Örneğin, bir bankanın müşterisinin kredi ödeme gücünü değerlendirmede gelir düzeyinin önemli olduğunu öğrendik. Ama tam olarak nasıl? Daha yüksek gelir, modelin tahminlerini ne kadar saptırıyor?

Bu yöntemlerin hepsi işe yaramaz. İşte çekleri https://www.mql5.com/en/blogs/post/737458
Ağaçlar ve ormanlar hızla sayılır - özellikleri birer birer ekleyebilir / çıkarabilirsiniz. Ve sonucu iyileştirenleri ve sonucu kötüleştirenleri bulun.

Сравнение разных методов оценки важности предикторов.
Сравнение разных методов оценки важности предикторов.
  • www.mql5.com
Провел сравнение разных методов оценки важности предикторов. Тесты проводил на данных титаника (36 фичей и 891 строки) при помощи случайного леса из 100 деревьев. Распечатка с результатами ниже. За
 
Modellere gelince, mesele onlarda değil, AI'nın esasen bir tahmin edici olduğu gerçeğinde ve bu, piyasa dışındaki diğer tüm durumlarda gücüdür, çünkü. denizin altında çok fazla balık ve godzilla fiyat dalgalarına neden oluyor. Her şeyin fiyata dahil olduğu varsayımı doğru olsa da, bu çok fazla. Bir sinir ağı, bir tür sistemin yalnızca küçük bir parçası olabilir ve buna katılmayan herkes kendini kandırır.
 
ekcom # :
Modellere gelince, mesele onlarda değil, AI'nın esasen bir tahmin edici olduğu gerçeğinde ve bu, piyasa dışındaki diğer tüm durumlarda gücüdür, çünkü. denizin altında çok fazla balık ve godzilla fiyat dalgalarına neden oluyor. Her şeyin fiyata dahil olduğu varsayımı doğru olsa da, bu çok fazla. Bir sinir ağı, bir tür sistemin yalnızca küçük bir parçası olabilir ve buna katılmayan herkes kendini kandırır.
Ve AI tahmincileri diyen kişi ne yapıyor? )
 
mytarmailS # :
Ve AI tahmincileri diyen kişi ne yapıyor? )
Şey, muhtemelen yapay zekayı çağırırken yanılmışım çünkü sadece bir sinir ağını kastetmiştim ve bu yapay zekanın özel bir durumu. Herkes gibi ben de Kâse arayışıyla meşgulüm, isteğe bağlı olarak fanatizm olmadan yapıyorum). Buraya modeller hakkında fikir aramaya geldim (tam olarak sinir ağının anlaşılmasında), kendimle paylaşacak bir şeyim var. Tabii 20 yıllık tecrübem yok ama Millet Meclisi için yüzlerce seçenek üzerinden geçtim. Kısa mesafelerde maksimum verimlilik yaklaşık %68'e ulaştı, ancak muhtemelen bunun istikrarlı ve durumsal olmadığını anlıyorsunuz.
 
ekcom # :
Şey, muhtemelen yapay zekayı çağırırken yanılmışım çünkü sadece bir sinir ağını kastetmiştim ve bu yapay zekanın özel bir durumu. Herkes gibi ben de Kâse arayışıyla meşgulüm, isteğe bağlı olarak fanatizm olmadan yapıyorum). Suda, modeller hakkında fikir aramaya geldi (tam olarak sinir ağının anlaşılmasında), kendi başına paylaşacak bir şey var. Tabii 20 yıllık tecrübem yok ama Millet Meclisi için yüzlerce seçenek üzerinden geçtim. Kısa mesafelerde maksimum verimlilik yaklaşık %68'e ulaştı, ancak muhtemelen bunun istikrarlı ve durumsal olmadığını anlıyorsunuz.
Evet, elbette anlıyorum...
Ancak, diğerlerinden kod için yalvaran 20 yıllık deneyime sahip uzmanlara dikkat edin. ;)
 
mytarmailS # :
Evet, elbette anlıyorum...
Ancak, diğerlerinden kod için yalvaran 20 yıllık deneyime sahip uzmanlara dikkat edin. ;)
Evet, kişi iyiyse kod için üzülmüyorum). Bu arada, Mihail Marchukajtes'in makalesini okudum, orada uygulanan bazı fikirlerden de yararlandım, ancak bunun nedenleri yazarınkinden tamamen farklıydı. Hangi katmanların en etkili olduğu ortaya çıkan modellerin hangi varyantlarını tartışmak ilginç olurdu. İkincil kanıtlara göre değerlendiren Michael, tamamen bağlantılı Sequential() katmanları kullanıyor gibi görünüyor.
Mihail Marchukajtes
Mihail Marchukajtes
  • 2021.10.12
  • www.mql5.com
Профиль трейдера
 
ekcom # :
Evet, kişi iyiyse kod için üzülmüyorum). Bu arada, Mihail Marchukajtes'in makalesini okudum, orada uygulanan bazı fikirlerden de yararlandım, ancak bunun nedenleri yazarınkinden tamamen farklıydı. Hangi katmanların en etkili olduğu ortaya çıkan modellerin hangi varyantlarını tartışmak ilginç olurdu. İkincil kanıtlara göre değerlendiren Michael, tamamen bağlantılı Sequential() katmanları kullanıyor gibi görünüyor.

Nöronları hiç kullanmıyor, hazır bir yazarın vasat programını kullanıyor (bir tür SVM ve MGUA melezi var), sırasıyla python veya R-ke'de programlamıyor, Sıralı ( ) ona aşina değil, sinir ağlarında 20 yıllık deneyim aynı, böyle bir şeyle ilgilenmek için çok erken ...


 
mytarmailS # :
Nöronları hiç kullanmıyor, hazır bir yazarın vasat programını kullanıyor (bir tür SVM ve MGUA melezi var), sırasıyla python veya R-ke'de programlamıyor, Sıralı ( ) ona aşina değil, sinir ağlarında 20 yıllık deneyim aynı, böyle bir şeyle ilgilenmek için çok erken ...


))))) Görüyorum ki, sağlam bir iletişim bagajınız var gibi görünüyor. Kendim itiraf etmeliyim ki 10 vakadan 8'inde Hindu kodu yazıyorum)), ancak deneyim alışverişinde bulunmayı başarırsam yine de mutlu olacağım. Ve sadece sinir ağını değil, bir bütün olarak danışmanların tüm yapısını Python'da yazanları bulmak harika olurdu.
Neden: