Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 2837

 

Ayrıca, yukarıdaki örnek gibi problemleri çözmek için neden bir fonksiyonun türevlerini kullanırlar? Fonksiyonun yüzeyini daha pürüzsüz hale getirmek için.

Başka bir örnek, pratiğe oldukça yakın. 10 soruluk bir problem var, ağ 10 soruya cevap vermeli. cevapların sayısını sayalım. bu durumda maksimum 10 olacaktır. yani, bu problemin fonksiyonu ayrıktır. birçok yerel ekstremum ile. neden? buraya bakalım:

Doğru ve yanlış cevapları sayalım. 0 yanlış, 1 doğru.

0 1 1 0 0 0 0 1 0 0 1 1 : 4 doğru.

1 1 1 0 0 0 0 0 0 0 0 1 : 4 doğru.

0 1 0 1 0 1 0 0 0 1 0 0 0 : 4 doğru

0 0 0 0 0 1 0 0 0 1 1 1 1 : 4 doğru

0 1 1 1 1 1 0 0 0 0 0 0 0 0 0 : 4 doğru

.......................................

ağın 4 puanlık cevap seçenekleri verdiğini görebiliriz. bu, ağın nasıl sıkıştığının bir örneğidir. daha fazla büyüme görmez. cevapları karıştırmak daha fazla puan kazandıramaz.

ağ nasıl daha verimli hale getirilir? doğru, bunu yapmak için, orijinal cevap fonksiyonu bir hata fonksiyonuna dönüştürülür. böylece, tüm cevaplar üzerindeki toplam hatayı en aza indirerek, ağ tüm doğru cevapları bulacaktır. bu durumda, problem hatayı en aza indirmeye indirgenir, minimum küresel 0'dır, fonksiyonun birçok ekstreması vardır, ancak şimdi pürüzsüzdür, oyun soğuk, sıcak, sıcak, sıcak'a indirgenir, bu sadece evet veya hayırdan çok daha "pürüzsüzdür".

ancak. ne yazık ki, problem fonksiyonu her zaman pürüzsüz bir fonksiyona dönüştürülemez. makalelerde sunulan fonksiyonlar zaten dönüştürülmüş olarak alınmalıdır, orijinal olanlar ise çok daha karmaşık bir topografyaya sahiptir. bu nedenle optimizasyon algoritmalarının etkinliği, fonksiyonun türevinin ekstremumunu bulma yeteneğinde yatmaktadır.

 

Başka bir sitede olsaydım, o zaman şaşırtıcı bir şey olmazdı, ancak milyonlarca test sonucu görmüş insanlarla aşırı uçları tartışmak - kelime bulmak imkansız. Bir düşünce de boşanmış olduklarıdır.

Bir kez daha: aşırı uçlar yoktur! Hayır, onları görüyoruz, hatta kâra göre ya da başka türlü sıralanmış olsalar bile, ama aşırı uçlar yok. Tıpkı kartal yukarı doğru düşen bir madeni paranın üzerinde kartal olmadığı gibi, çünkü bu bir kartal değil, kartal olasılığıdır. Tüm uç değerleriniz uç değerlerin olasılıklarıdır. Matematiksel beklenti ve güven aralığı anlamında bir ekstremum değeri hakkında konuşabilirsiniz, ancak bunun hakkında konuşmak imkansızdır, çünkü matematiksel bir beklenti yoktur, çünkü ekstremum değeri durağan değildir!


Bir Uzman Danışmanı bir aralıkta optimize ettiğinizde bunu milyonlarca kez görmüşsünüzdür - bir dizi optimum sonuç içeren bir dizi parametre elde edersiniz. Başka bir aralık alırsanız, genellikle sadece artırırsanız, farklı sonuçlara sahip başka bir parametre seti elde edersiniz ve bir kayıp yaşayabilirsiniz. Ne? Hiçbiriniz bunu görmediniz mi? Ve bunun optimizasyon algoritmasıyla hiçbir ilgisi yoktur. Genetik yapabilirsiniz, genetiği iyileştirebilecek aşırı örneklemeyi tamamlayabilirsiniz, ancak optimizasyon örneğinin dışında sonuç bir, büyük olasılıkla üzücü olacaktır.

 
СанСаныч Фоменко #:

Bir Uzman Danışmanı bir aralıkta optimize ettiğinizde bunu milyonlarca kez görmüşsünüzdür - bir dizi optimum sonuçla bir dizi parametre elde edersiniz. Başka bir aralık alırsanız, genellikle sadece artırırsanız, farklı sonuçlara sahip başka bir parametre seti elde edersiniz ve bir kayıp yaşayabilirsiniz. Ne? Hiçbiriniz bunu görmediniz mi? Ve bunun optimizasyon algoritması ile hiçbir ilgisi yoktur. Genetik yapabilirsiniz, genetiği iyileştirebilecek aşırı örneklemeyi tamamlayabilirsiniz, ancak optimizasyon örneğinin dışında sonuç bir, büyük olasılıkla üzücü olacaktır.

bu nasıl gereksiz yapılacağına dair bir örnek))) bu yüzden hangi ekstremumlardan bahsettiğimize dair yanlış bir fikir.

yukarıda ızgara cevapları olan bir örnek var. optimizasyon problemini özetlenmiş "maksimum bakiye" cevabına değil, örneğin her işlemdeki bakiyelerin doğrudan farkından ikinci dereceden sapmaya indirgeyin. bu, orijinal problemin bir türeve nasıl dönüştürüleceğinin bir örneğidir. sonuç, bakiye açısından ayrık bir fonksiyon değil, pürüzsüz bir fonksiyon olacaktır. sahip olduğunuz son bakiye benim örneğimde 10 gibi.

 
Andrey Dik grup yol varyantı olarak anlaşılmalıdır.

Genel olarak bu böyledir. Her algoritma "güvenli" bir yol bulamaz. hem arama özellikleri hem de yakınsama ve yakınsama hızı önemlidir.

En basit durumda, dağın etrafında zirveye yükselen spiral bir eğri olacaktır. dağ pürüzsüz olmadığından, yol yapımının en az birkaç çeşidi olduğu açıktır - bu, dağ yüzeyinde bir yerde bir alan şeklinde bir plato değil, belirli kriterleri karşılayan bir çözüm platosudur. dağdaki bir plato optimal bir çözüm değildir. bir çözüm platosu optimal bir çözümdür.

bu arada, tester karmaşık bir optimizasyon kriterine sahiptir, sadece denge, kar faktörü ve diğer kriterlerden ayrı ayrı daha yumuşak bir fonksiyondur. optimizasyon fonksiyonunu daha yumuşak hale getirmeye çalışan özel bir kriter hala yapılabilir.

 

https://habr.com/ru/post/318970/

Ağları öğrenmeye yönelik özel algoritmalar genel amaçlı algoritmalardan ne kadar farklıysa, her ikisinin de karşılaştırmalı testlerini yapmak o kadar ilginç olacaktır
Методы оптимизации нейронных сетей
Методы оптимизации нейронных сетей
  • 2017.01.04
  • habr.com
В подавляющем большинстве источников информации о нейронных сетях под «а теперь давайте обучим нашу сеть» понимается «скормим целевую функцию оптимизатору» лишь с минимальной настройкой скорости обучения. Иногда говорится, что обновлять веса сети можно не только стохастическим градиентным спуском, но безо всякого объяснения, чем же...
 
Karmaşık kriteri nedense son sürümlerde kaldırıldı :)
 
СанСаныч Фоменко #:

Bir kez daha: ekstremin hiçbir değeri yoktur: kararsız bir nokta, üstelik var olmayan, çünkü rastgele süreçlerle ve durağan olmayanlarla uğraşıyoruz.

Kârlı olduğu sürece, yerel ve küresel minimumun üzerinde olsa bile, şekilde gösterildiği gibi bir plato aramamız gerekir. Böyle bir plato teorik olarak TS'nin karlılığının üst sınırını gösterecektir. Ve bulunan ekstremumlar hiçbir şey değildir - kesinlikle gelecekte değildirler, ancak bir plato için umut vardır

Butam olarak benim gerçekleştirmeye çalıştığım şey, sadece daha teknik bir düzeyde....

Plato yerine gerçek bir sinyal var, ekstremum yerine gürültü var...

Optimizasyon yüzeyinin gürültülü olduğunu kabul edersek, o zaman gürültüden kaçınmamız ve yeni verilere karşı çok daha sağlam olması gereken gerçek ekstremiteleri aramamız gerekir.... Çünkü mantıksal olarak yavaş bir sinyal, hızlı bir gürültüye göre zaman içinde daha yavaş değişir.

 
Maxim Dmitrievsky #:
Karmaşık kriter son sürümlerde bir nedenden dolayı kaldırıldı :)

orada gibi görünüyor)))


 
Evgeni Gavrilovi #:

Sonunda kendi kayıp fonksiyonuna sahip olan türev, Sharpe, hata ve ağırlıkların bir çarpımı olarak temsil edilir.

is_max_optimal=False değerin azaldığını gösterir, ancak -1 ile de çarptığım için bunun tersi doğrudur.

Dengeyi veya başka bir şeyi gradyan üzerinden boost'a beslemenin herhangi bir yolu var mı.....


İşte şema:

grafiği mükemmel işlemlerle işaretleriz (ekstremum aşağıdayken satın alırız, ekstremum yukarıdayken satarız) sahte bir mükemmel ticaret yaratırız.

Ben buna mükemmel bir denge diyeceğim.


Daha sonra, ticaret dengesini aşağıdaki artıştan hesaplıyoruz

o zaman amaç fonksiyonunda basitçe ideal denge ile destek ticaret dengesinin hatasını hesaplarız.

sqrt(sum((баланс буста - идеальный баланс) ^ 2)

ideal dengede bir ayarlama elde ederiz, yani bu soyut bir maksimum kar arayışı değil, kar dengesinde ifade edilen ideal ticarette bir ayarlamadır.


Mavi ideal denge, siyah ise iz ve model testidir.

 
Andrey Dik #:

Sanırım biliyorum.)

Ah, şimdi şöyle görünüyor
Neden: