Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 2037

 
Rorschach :

Son sütun hedef, gerisi girdidir

Genelde numuneyi %60 eğitim ve 20 kontrol eğitimi olmak üzere 3 parçaya ve eğitime katılmayan bir numuneye böldüm.

Bellek çok yer - 18 gigabayt - şaşırttı. Ne kadar hafızan var?

Öğrenme sürecini neredeyse varsayılan ayarlarla başlattım ancak sonucun eğitim örneğinde hızla geliştiğini ve ilk ağaçtan sonra kontrol örneğinde hiçbir gelişme olmadığını görüyorum.

Bu nedenle, soru şu - orada bir kalıp olduğundan emin misiniz?

Sınıfların çok kötü dengelendiği varsayımı var, öyle görünüyor ki birim yüzdesi %10 civarında?

 
Igor Makanu :

onlar. TS kavramını resmileştiremez miyiz?

TC'nin ilham kaynağı olduğu ortaya çıktı mı? Ya da bir müzik aleti çalmak?

Bir dilde kapsamlı bir şekilde resmileştirmek ve yazmak mümkün olur olmaz, hemen bazı kurnaz yoldaşlar bu dil için bir derleyici bulacak ve tüccarlar unutulmaya başlayacak)

Igor Makanu :

peki ya da bizim ... - TS'nin öncelikle piyasa bilgisi ve karar verme analizi olduğu ortaya çıktı

Evet, sadece bu kelimelerin ne anlama geldiğinin açık ve net bir şekilde formüle edilmesinin imkansızlığının farkına varmak) ve bu nedenle aynı bilgiyi analiz etmenin sonuçlarının kişiden kişiye büyük ölçüde değişebileceğini ve sadece geleceğin kimin haklı olduğunu gösterebileceğini anlamak. )

 
dr.mr.mom :

Neden birdenbire böylesine küresel bir karamsarlık? ))) "Zyril" nasıl eğitildiklerini NeuroShell Day Pro'daki tüm modern paketlerden önce bile. Ve o zaman bile, içeride nasıl çalıştığı bilinmeyen sağlam bir sonuç aldım ve o zaman onu MT4'e bağlamak zor, neredeyse imkansızdı.

GPU, sabitlemenin istendiğini kabul eder.

NS Forex'te çalışır) Soru, ne tür NS oldukları ve hangi paradigmada toplandılar / eğitildiler, benimkiler gelişiyor.

Evet, ilk sağlam sürüm bir günlüğüne bile eğitilebilir (pratikte eski bir ev dizüstü bilgisayarında 8 saatte olmasına rağmen). Ancak, bir ay içinde sağlamlığı nedeniyle ilk seçeneğin daha da geliştirilmesi ihtiyacına geri dönmemiz gerekecek. Onlar. gerçek hayatta on çalışma aracıyla bile önceden yeni bir sürüm olacak.

Şimdi mimari ile ilgili olarak, gadget'ları ile desteklenen NEAT algoritması temel alınmıştır. Sonuç olarak, mimari de gelişir.

Bunun gibi bir şey.

Aynı zamanda mikrobiyoloji vb. üzerine kitaplar/dersler okumanızı tavsiye ederim.

Ve anlaşmazlıklarda, ne yazık ki, bir aptal (bilgisiz tartışıyor), başka bir piç (bilgiyle tartışıyor), tartışarak / gerekçelendirerek fikir alışverişini tercih ediyorum.

Sonuçta, asıl şey iyi olmak, onlarla dama cehenneme - hadi gidelim)))

tartışılacak bir şey yok, çünkü herhangi bir normal çerçevede minimum kodla yaptım ve gösterdim

ev yapımı ürünler burada özellikle tartışılmıyor, yalnızca catbust veya modern sinir ağları gibi yetişkin modeller

mql nöronlarıyla bu fare telaşı tartışmak bile ilginç değil, çünkü dünya çok ileri gitti ve her yıl liderlik ikiye katlanıyor

Diyelim ki bana şunu söylüyorsunuz: "Tensorflow üzerinde şöyle bir modelim var" Ve bana mql'de bir şey kodladığını söylüyorsun. Ve neden bu bilgiye ihtiyacım var? nasıl çoğaltırım?

 
Alexey Vyazmikin :

Genelde numuneyi %60 eğitim ve 20 kontrol eğitimi olmak üzere 3 parçaya ve eğitime katılmayan bir numuneye böldüm.

Bellek çok yer - 18 gigabayt - şaşırttı. Ne kadar hafızan var?

Öğrenme sürecini neredeyse varsayılan ayarlarla başlattım ancak sonucun eğitim örneğinde hızla geliştiğini ve ilk ağaçtan sonra kontrol örneğinde hiçbir gelişme olmadığını görüyorum.

Bu nedenle, soru şu - orada bir kalıp olduğundan emin misiniz?

Sınıfların çok kötü dengelendiği varsayımı var, öyle görünüyor ki birim yüzdesi %10 civarında?

Ağaç benzeri sistemler, büyük bir örneklemi olan sınıflara göre dengeleme gerektirmez. Sinir ağları dengesizlikten dolayı sıkışmış ve ağaçlar açıkça yaprakların üzerine dağılmış durumda.
Ağaçlara geçmemin sebeplerinden biri de bu.

https://www.mql5.com/en/blogs/post/723619

Нужна ли деревьям и лесам балансировка по классам?
Нужна ли деревьям и лесам балансировка по классам?
  • www.mql5.com
Я тут читаю: Флах П. - Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных - 2015 там есть несколько страниц посвященных этой теме. Вот итоговая: Отмеченный
 
Aleksey Nikolaev :

Evet, sadece bu kelimelerin ne anlama geldiğinin açık ve net bir şekilde formüle edilmesinin imkansızlığının farkına varmak) ve bu nedenle aynı bilgiyi analiz etmenin sonuçlarının kişiden kişiye büyük ölçüde değişebileceğini ve sadece geleceğin kimin haklı olduğunu gösterebileceğini anlamak. )

piyasa bilgilerinin analizi ile genel olarak, piyasanın sadece kendisine bilgi verdiğine ve tüm verilerin işlenmesi gerektiğine inanan araştırmacının açgözlülüğü dışında... burada görev, tekrar eden bir model aramak olarak resmileştirilmiştir , verilerin geri kalanı atılmalıdır (kullanılmaz)

bir karar vermekle ilgili her şey üzücü - testi geçecek ve ileriye gidecek bir TS oluşturmak mümkündür, ancak sorun burada

, yani gelecekte sorunu nasıl yazıyorsunuz?


Genel olarak, görevi resmileştirmede bir miktar ilerleme kaydettiğimizi düşünüyorum.

Prensip olarak, test istatistiklerini yüklemek ve Python'da NN'yi eğitmeye çalışmak zor değildir,

piyasa bağlamının tanımı, IMHO yazdığınız gibi - sadece tüccarın kararı, yani. Resmileştirmenin, algoritmalaştırmanın veya keşfetmenin mümkün olduğundan şüpheliyim.

 
elibrarius :
Ağaç benzeri sistemler, sınıflara göre dengeleme gerektirmiyor gibi görünüyor. Sinir ağları dengesizlikten dolayı sıkışmış ve ağaçlar açıkça yaprakların üzerine dağılmış durumda.
Ağaçlara geçmemin sebeplerinden biri de bu.

CatBoost gereklidir, ancak kendi dengeleyicisi vardır, ancak görünüşe göre bununla baş edemez.

Genel olarak, güçlü bir dengesizlik varsa, öğrenme devam edecektir, ancak istatistiksel olarak, yapraklarda daha fazla sayıda sıfır olduğunda, yalnızca sıfırlar olacaktır, yani. küçük bir sınıfı çıkarmak için birkaç net kural varsa, o zaman işe yarayabilir, aksi takdirde tüm yapraklara bulaşır.

 
Alexey Vyazmikin :

CatBoost gereklidir, ancak kendi dengeleyicisi vardır , ancak görünüşe göre bununla baş edemez.

Genel olarak, güçlü bir dengesizlik varsa, öğrenme devam edecektir, ancak istatistiksel olarak, yapraklarda daha fazla sayıda sıfır olduğunda, yalnızca sıfırlar olacaktır, yani. küçük bir sınıfı çıkarmak için birkaç net kural varsa, o zaman işe yarayabilir, aksi takdirde tüm yapraklara bulaşır.

Veya, her zaman olduğu gibi, verilerde neredeyse hiç kalıp yoktur.

Alexey Vyazmikin :

Genel olarak, güçlü bir dengesizlik varsa, öğrenme devam edecektir, ancak istatistiksel olarak, yapraklarda daha fazla sayıda sıfır olduğunda, yalnızca sıfırlar olacaktır, yani. küçük bir sınıfı çıkarmak için birkaç net kural varsa , o zaman işe yarayabilir, aksi takdirde tüm yapraklara bulaşır.

Kural açıktır - en çok yaprakları başka bir sınıfın safsızlıklarından temizleyen bölünme alınır.

Bloga bir bağlantı ekledim, geniş bir seçimle, küçük bir sınıfla yapraklar oluşturacak bir şey olacak, ayrıca Gini dizininin kökünü kullanabilirsiniz (sadece formülünü bulamadım).

 
Alexey Vyazmikin :

Bu kadar büyük miktarda veri için ağaçların daha derine inmesi gerektiğini düşünüyorum, böylece yapraklar daha iyi temizlenebilir.
Sayfada 10 bin örnek kaldıysa doğal olarak bulaşır ama bölmeyi 100'e getirirseniz daha net olur diye düşünüyorum.

Alglibovsky ormanı bir sayfada en fazla 1 örnek getirir, bölünme %100'dür. Yapraklarda sadece 0 veya 1 kalacaktır.
 
elibrarius :
Alexey Vyazmikin :

Veya, her zaman olduğu gibi, verilerde neredeyse hiç kalıp yoktur.

Kural açıktır - en çok yaprakları başka bir sınıfın safsızlıklarından temizleyen bölünme alınır.

Bloga bir bağlantı ekledim, geniş bir seçimle, küçük bir sınıfla yapraklar oluşturacak bir şey olacak, ayrıca Gini dizininin kökünü kullanabilirsiniz (sadece formülünü bulamadım).

Bu yüzden çok az tahmincisi var - küçük bir boyut elde edildi , bu nedenle ağaç kombinasyonları için de birkaç seçenek var.

Numunenin %1'ini aldım - testte %100 eğitim var - sadece belirgin bir kalıp olmadığını düşünüyorum.

Ve CatBoost, tahmin edicileri biraz rastgele oluşturmak için alır - bu, onların anlayışındaki uyumu azaltır.

elibrarius :

Bu kadar büyük miktarda veri için ağaçların daha derine inmesi gerektiğini düşünüyorum, böylece yapraklar daha iyi temizlenebilir.
Sayfada 10 bin örnek kaldıysa doğal olarak bulaşır ama bölmeyi 100'e getirirseniz daha net olur diye düşünüyorum.

Derinliği 6 olan bir ağaç ve bence derinliğe daha fazla sayıda tahmin edici ile ihtiyaç duyuluyor.

Izgara 256 tarafından yapılmıştır.

 
Alexey Vyazmikin :

Derinliği 6 olan bir ağaç ve bence derinliğe daha fazla sayıda tahmin edici ile ihtiyaç duyuluyor.

Izgara 256 tarafından yapılmıştır.

Daha fazla çizgi, daha fazla derinlik gerekir.
Gigabayt varsa, o zaman milyonlarca satır. 6 derinliğinde, son sayfa toplam örnek/satır sayısının 1/64'üne sahip olacaktır, yani. girdi milyonlarca ise on binlerce.

15 derinliği deneyin (bu maksimum gibi görünüyor, satırların 1/32768'i sayfada kalacak)

Neden: