Makine Öğrenimi ve Sinir Ağları - sayfa 59
Ticaret fırsatlarını kaçırıyorsunuz:
- Ücretsiz ticaret uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Ders 14.3 — Ayrımcı ince ayar
Ders 14.3 — Ayrımcı ince ayar [Makine Öğrenimi için Sinir Ağları]
Bu videoda, bir Boltzmann makinesi yığınını kullanarak bir sinir ağını önceden eğittikten sonra ayrımcı ince ayar sürecini daha derinlemesine inceleyeceğiz. İnce ayar yapılırken alt katmanlardaki ağırlıkların minimal değişikliklere uğradığını ancak bu küçük ayarlamaların karar sınırlarını doğru yerleştirerek ağın sınıflandırma performansı üzerinde önemli bir etkiye sahip olduğunu gözlemliyoruz.
Ön eğitim aynı zamanda sığ ağlara kıyasla daha derin ağların etkinliğini artırır. Ön eğitim olmadan, sığ ağlar daha derin ağlardan daha iyi performans gösterme eğilimindedir. Ancak, ön eğitim bu eğilimi tersine çevirir; burada derin ağlar daha iyi performans gösterirken, ön eğitim olmadan sığ ağlar daha kötü performans gösterir.
Ayrıca, ayrımcı eğitimi düşünmeden önce üretken eğitimle başlamak için ikna edici bir argüman sunuyoruz. Ağların çıktılarını bir dizi test senaryosunda karşılaştırarak ve bunları t-SNE kullanarak görselleştirerek, iki ayrı sınıf gözlemliyoruz: üstte ön eğitimsiz ağlar ve altta ön eğitimli ağlar. Her sınıf içindeki ağlar benzerlikler gösterir, ancak iki sınıf arasında örtüşme yoktur.
Ön eğitim, ağların küçük rasgele ağırlıklarla başlamaya kıyasla niteliksel olarak farklı çözümler keşfetmesine olanak tanır. Üretken ön eğitim yoluyla bulunan çözümler, fonksiyon uzayında farklı bölgelere yol açarken, ön eğitimsiz ağlar daha fazla değişkenlik sergiler.
Son olarak, ön eğitimin neden haklı olduğunu tartışıyoruz. Görüntü-etiket çiftleri oluşturulurken, etiketin yalnızca görüntüdeki piksellerden ziyade gerçek dünyadaki nesnelere bağlı olması daha olasıdır. Etiket sınırlı bilgi içerdiğinden, görüntünün aktardığı bilgiler etiketinkinden daha fazladır. Bu gibi durumlarda, altta yatan nedenleri kurtarmak için önce yüksek bant genişliği yolunu dünyadan görüntüye ters çevirmek ve ardından karşılık gelen etiketi belirlemek mantıklıdır. Bu, görüntüden nedenlere eşlemenin öğrenildiği ön eğitim aşamasını ve ardından görüntüden nedenlere eşlemenin potansiyel ince ayarıyla nedenleri etikete eşlemek için ayrımcı aşamayı haklı çıkarır.
Ön eğitimin faydalarını göstermek için Yoshi Banjo'nun laboratuvarında gerçekleştirilen özel bir deneyi inceliyoruz. Deney, üretken ön eğitimden sonra ince ayar yapmaya odaklanır. İnce ayar yapmadan önce, özellik dedektörlerinin ilk gizli katmanındaki alıcı alanlar minimum düzeyde değişiklik gösterir. Bununla birlikte, bu ince değişiklikler, gelişmiş ayrımcılığa önemli ölçüde katkıda bulunur.
Deney, büyük bir bozuk basamak kümesindeki basamaklar arasında ayrım yapmayı içerir. Sonuçlar, ön eğitimli ağların, tek bir gizli katmana sahip ağları kullanırken bile, ön eğitimsiz ağlara kıyasla sürekli olarak daha düşük test hataları elde ettiğini göstermektedir. Ön eğitimin avantajı, daha derin ağlar kullanıldığında daha belirgin hale gelir. Ön eğitimli derin ağlar, sığ ağlarla çok az örtüşür veya hiç örtüşmez, bu da ön eğitimin ağ performansını artırmadaki etkinliğini daha da vurgular.
Ek olarak, katman sayısının sınıflandırma hatası üzerindeki etkisini araştırıyoruz. Ön eğitim olmadan, iki katman en uygun seçim gibi görünüyor, çünkü katman sayısını daha da artırmak performansı önemli ölçüde düşürür. Buna karşılık, dört katmanlı ağlar iki katmanlı ağlardan daha iyi performans gösterdiğinden, ön eğitim bu sorunu hafifletir. Hatadaki varyasyon azaltılır ve genel performans iyileştirilir.
Eğitim sırasında ağın ağırlık değişikliklerini görsel olarak temsil etmek için t-SNE görselleştirmeleri kullanılır. Hem önceden eğitilmiş hem de önceden eğitilmemiş ağların ağırlıkları aynı alana çizilir. Ortaya çıkan grafikler iki farklı sınıfı ortaya çıkarır: üstte ön eğitimi olmayan ağlar ve altta ön eğitimi olan ağlar. Her nokta, işlev uzayında bir modeli temsil eder ve yörüngeler, eğitim sırasında benzerliğin ilerlemesini gösterir. Ön eğitimi olmayan ağlar, işlev alanının farklı bölgelerinde son bulur ve bu da daha geniş bir çözüm dağılımına işaret eder. Ön eğitimli ağlar ise belirli bir bölgeye yakınsayarak aralarındaki benzerliğin daha fazla olduğunu gösterir.
Ağırlık vektörlerini tek başına karşılaştırmak yetersizdir çünkü farklı ağırlık konfigürasyonlarına sahip ağlar aynı davranışı sergileyebilir. Bunun yerine, test senaryolarındaki ağların çıktıları vektörler halinde birleştirilir ve benzerliklerini görselleştirmek için t-SNE uygulanır. t-SNE grafiklerindeki renkler, benzerliğin ilerleyişini daha da gösteren farklı eğitim aşamalarını temsil eder.
Ayrımcı eğitimden önce üretici eğitimi kullanan eğitim öncesi sinir ağları çeşitli avantajlar sunar. Karar sınırlarını doğru bir şekilde yerleştirerek sınıflandırma performansını artırır, daha derin ağların etkinliğini artırır ve fonksiyon uzayında farklı çözümler sunar. Ön eğitim, dünyadan görüntüye giden yüksek bant genişliğine sahip yolu ve dünyadan etikete giden düşük bant genişliğine sahip yolu göz önünde bulundurarak, etiketi belirlemeden önce altta yatan nedenlerin kurtarılmasına olanak tanır. Bu iki aşamalı yaklaşım, sinir ağı eğitiminde ön eğitim kullanımını haklı çıkarır.
Ders 14.4 — Bir RBM ile gerçek değerli verileri modelleme
Ders 14.4 — Bir RBM ile gerçek değerli verileri modelleme [Makine Öğrenimi için Sinir Ağları]
Gerçek değerli verileri modellemek için Kısıtlı Boltzmann Makinesinin (RBM) nasıl kullanılacağını anlatacağım. Bu yaklaşımda, görünür birimler ikili stokastik birimlerden Gauss gürültüsü ile doğrusal birimlere dönüştürülür. Öğrenme zorluklarını ele almak için, gizli birimler düzeltilmiş doğrusal birimler olarak ayarlanır.
Gerçek değerli veriler için bir RBM öğrenmek nispeten basittir. Başlangıçta RBM'ler, olasılıkların kısmen mürekkeplenmiş piksellerin neden olduğu ara yoğunlukları temsil ettiği el yazısıyla yazılmış rakamların görüntüleriyle kullanıldı. 0 ile 1 arasında değişen bu olasılıklar, bir lojistik birimin etkinleştirilme olasılığını modelledi. Bu yaklaşım, teknik olarak yanlış olmasına rağmen, kısmen mürekkeplenmiş pikseller için iyi çalıştı.
Bununla birlikte, gerçek görüntülerle uğraşırken, bir pikselin yoğunluğu tipik olarak komşu piksellerin ortalama yoğunluğuna yakındır. Bir lojistik birim bu davranışı tam olarak temsil edemez. Ortalama alan lojistik birimleri, yoğunluktaki ince taneli farklılıkları yakalamak için mücadele ediyor. Bunu ele almak için, piksel yoğunluklarını Gauss değişkenleri olarak modellemek için Gauss gürültüsüne sahip doğrusal birimler kullanılır.
Karşılaştırmalı ıraksama öğrenmede kullanılan alternatif Gibbs örneklemesi, Markov zincirini çalıştırmak için hala uygulanabilir. Bununla birlikte, istikrarsızlığı önlemek için daha küçük bir öğrenme oranı gereklidir. RBM denkleminde kullanılan enerji fonksiyonu, patlamayı önleyen parabolik bir kapsama terimi ile görünür ve gizli birimler arasında etkileşimli bir terimden oluşur.
Etkileşimli terim, gizli birimlerin enerji işlevine katkısını temsil eder. Terimi farklılaştırarak, sabit bir gradyan elde edilir. Parabolik kapsama fonksiyonunun birleşik etkisi ve gizli birimlerin yukarıdan aşağıya katkısı, görünür birimin sapmasından uzağa kaydırılan bir ortalama ile parabolik bir işlevle sonuçlanır.
Bununla birlikte, Gauss-ikili RBM'lerle öğrenme zorluklar doğurur. Görünür birimler için dar varyansları öğrenmek zordur. Görünür bir birimin standart sapması küçük olduğunda, aşağıdan yukarıya etkiler abartılırken, yukarıdan aşağıya etkiler zayıflar. Bu, öğrenme sürecini kesintiye uğratan gizli birimlerin doygunluğuna ve sıkıca açık veya kapalı olmasına yol açar.
Bunu ele almak için, görünür birimlere kıyasla daha fazla sayıda gizli birime sahip olmak gerekir. Bu, görünür ve gizli birimler arasındaki küçük ağırlıkların, gizli birimlerin bolluğu nedeniyle yukarıdan aşağıya önemli bir etkiye sahip olmasını sağlar. Ayrıca, görünen birimlerin standart sapması azaldıkça gizli birimlerin sayısı da değişmelidir.
Bunu başarmak için basamaklı sigmoid birimleri tanıtıldı. Bu birimler, her biri aynı ağırlıklara ve eğilime sahip, ancak sapmaya göre sabit bir sapmaya sahip, her bir stokastik ikili gizli birimin birden çok kopyasıdır. Bu ofset, sigmoid birim ailesinin üyeleri arasında değişir ve toplam girdi arttıkça doğrusal olarak artan bir yanıt eğrisi ile sonuçlanır. Bu yaklaşım, görünür birimleri küçük standart sapmalarla yönlendirmek için daha fazla yukarıdan aşağıya etki sağlar.
Ofset yanlılıklarına sahip büyük bir ikili stokastik birim popülasyonunun kullanılması hesaplama açısından pahalı olabilse de, benzer sonuçlar veren hızlı yaklaşımlar yapılabilir. Bu yaklaşımlar, 1'in logaritması artı toplam girdinin üstel değeri olarak ofset önyargılı sigmoid birimlerin etkinliklerinin toplamına yaklaşmayı içerir. Alternatif olarak, hesaplanması daha hızlı olan ve ölçek eşdeğerliği sergileyen, onları görüntü temsilleri için uygun hale getiren doğrultulmuş doğrusal birimler kullanılabilir.
Doğrultulmuş lineer birimler, ölçek denkliği özelliğine sahiptir, yani bir görüntüdeki piksel yoğunlukları bir skalerle çarpılırsa, gizli birimlerin aktiviteleri de aynı faktörle ölçeklenecektir. Bu özellik, evrişimli sinir ağları (CNN'ler) tarafından sergilenen öteleme eşdeğerliğine benzer. CNN'lerde, bir görüntünün kaydırılması, ağın genel davranışını önemli ölçüde etkilemeden her katmanda kaydırılmış bir temsile yol açar.
RBM'leri lineer birimler ve düzeltilmiş lineer birimlerle kullanarak, gerçek değerli verileri etkin bir şekilde modellemek mümkün hale gelir.
Ders 14.5 — RBM'ler sonsuz sigmoid inanç ağlarıdır
Ders 14.5 — RBM'ler sonsuz sigmoid inanç ağlarıdır [Makine Öğrenimi için Sinir Ağları]
Bu videoda, derin öğrenmenin kökenleri ve derin sinir ağlarının matematiksel yönleri ile ilgili ileri düzey materyalleri tartışıyoruz. Kısıtlı Boltzmann makineleri (RBM'ler) ile paylaşılan ağırlıklara sahip sonsuz derin sigmoid inanç ağları arasındaki ilişkiyi araştırıyoruz.
RBM'ler, RBM'nin paylaşılan ağırlıklara sahip sonsuz derin bir ağa karşılık geldiği, sigmoid inanç ağlarının özel bir durumu olarak görülebilir. RBM'ler ve sonsuz derin ağlar arasındaki eşdeğerliği anlayarak, katman katman öğrenmenin ve karşılaştırmalı sapmanın etkinliğine dair içgörüler elde ediyoruz.
Bir RBM'den örnekleme yapmak için kullanılan Markov zinciri, sonsuz derinlikteki bir ağın denge dağılımından örneklemeye eşdeğerdir. Sonsuz derin ağdaki çıkarım, açıklamanın neden olduğu korelasyonları iptal eden tamamlayıcı bir önceliğin uygulanması nedeniyle basitleştirilmiştir. Bu, ağın her katmanındaki çıkarım sürecini basitleştirir.
Sigmoid inanç ağları için öğrenme algoritması, RBM'ler için öğrenme algoritmasını türetmek için kullanılabilir. Ağın ağırlıklarını bağlayıp alt katman ağırlıklarını dondurarak kalan katmanları RBM olarak öğrenebiliriz. Karşılaştırmalı ıraksamalı öğrenme olarak bilinen bu süreç, verilerin günlük olasılığı üzerinde varyasyonel bir sınır sağlar.
Karşılaştırmalı ıraksama öğrenmede, Markov zincir karışımı hızlı olduğundan ve üst katmanlar denge dağılımına yaklaştığından, ağırlıkların daha yüksek türevlerini keseriz. Ağırlıklar büyüdükçe, karşılaştırmalı sapmanın daha fazla yinelemesini çalıştırmak gerekli hale gelir. Bununla birlikte, bir RBM yığınında birden çok özellik katmanını öğrenmek için, CD bir (tek adımlı karşılaştırmalı sapma) yeterlidir ve maksimum olasılıklı öğrenmeden bile daha iyi olabilir.
RBM'ler ve sonsuz derecede derin sigmoid inanç ağları arasındaki ilişkiyi anlamak, derin sinir ağlarının işleyişine ve katman katman öğrenmenin ve karşılaştırmalı sapmanın etkinliğine ilişkin değerli bilgiler sağlar.
Ders 15.1 — PCA'dan otomatik kodlayıcılara
Ders 15.1 — PCA'dan otomatik kodlayıcılara [Makine Öğrenimi için Sinir Ağları]
Temel Bileşenler Analizi (PCA), daha düşük boyutlu bir kod kullanarak yüksek boyutlu verileri temsil etmeyi amaçlayan sinyal işlemede yaygın olarak kullanılan bir tekniktir. PCA'nın arkasındaki ana fikir, verilerin bulunduğu yüksek boyutlu uzayda doğrusal bir manifold bulmaktır. Verileri bu manifolda yansıtarak, minimum bilgiyi kaybederek manifold üzerindeki konumunu temsil edebiliriz.
PCA, standart yöntemler kullanılarak verimli bir şekilde uygulanabilir veya doğrusal gizli ve çıktı birimleri olan bir sinir ağı kullanılarak daha az verimli bir şekilde uygulanabilir. Bir sinir ağı kullanmanın avantajı, tekniği, kodun ve veri yeniden yapılandırmasının girdinin doğrusal olmayan fonksiyonları haline geldiği derin sinir ağlarına genelleştirme yeteneğidir. Bu, girdi uzayındaki kavisli manifoldları işlememize izin vererek daha güçlü bir temsille sonuçlanır.
PCA'da, n boyutlu verileri n'den daha az sayı kullanarak temsil etmeyi amaçlıyoruz. Ana yönler olarak adlandırılan en fazla varyansa sahip m ortogonal yönleri tanımlayarak, çok az değişkenlik gösteren yönleri göz ardı ederiz. Bu m ana yön, daha düşük boyutlu bir alt uzay oluşturur ve biz, n boyutlu bir veri noktasını, onu daha düşük boyutlu uzayda bu yönlere yansıtarak temsil ederiz. Veri noktasının ortogonal yönlerdeki konumu hakkındaki bilgiler kaybolsa da, varyanslarının düşük olması nedeniyle anlamlı değildir.
Bir veri noktasını m sayıları kullanarak temsilinden yeniden oluşturmak için, temsil edilmeyen yönler (n - m) için ortalama değeri kullanırız. Yeniden oluşturma hatası, veri noktasının temsil edilmeyen yönlerdeki değeri ile bu yönlerdeki ortalama değer arasındaki farkın karesi olarak hesaplanır.
PCA'yı geri yayılım kullanarak uygulamak için, ana bileşenleri temsil eden m gizli birime sahip bir darboğaz katmanına sahip bir sinir ağı oluşturabiliriz. Ağın amacı, girdi ile yeniden yapılandırılmış çıktı arasındaki kare hatasını en aza indirmektir. Gizli ve çıkış birimleri doğrusal ise ağ, PCA'ya benzer şekilde yeniden oluşturma hatasını en aza indiren kodları öğrenecektir. Bununla birlikte, potansiyel olarak bir eksen dönüşüne ve eğrilmesine sahip olan gizli birimler, ana bileşenlere tam olarak karşılık gelmeyebilir. Bununla birlikte, kod biriminin gelen ağırlık vektörlerinin kapsadığı alan, m ana bileşenin kapsadığı alanla aynı olacaktır.
Bir sinir ağında geri yayılımın kullanılması, kod katmanından önce ve sonra doğrusal olmayan katmanları dahil ederek PCA'nın genelleştirilmesine izin verir. Bu, yüksek boyutlu alanlarda kavisli manifoldlar üzerinde yatan verilerin temsilini sağlayarak yaklaşımı daha çok yönlü hale getirir. Ağ, bir giriş vektörü, doğrusal olmayan gizli birimler, bir kod katmanı (doğrusal olabilir), ek doğrusal olmayan gizli birimler ve giriş vektörüne benzemek üzere eğitilmiş bir çıkış vektöründen oluşur.
Temel Bileşenler Analizi, yüksek varyanslı ana yönleri belirleyerek daha düşük boyutlu bir kod kullanarak yüksek boyutlu verileri temsil eden bir tekniktir. Geleneksel yöntemler kullanılarak verimli bir şekilde veya bir sinir ağı kullanılarak daha az verimli bir şekilde uygulanabilir. Sinir ağı versiyonu, derin sinir ağlarına genelleştirmeye ve eğri manifoldlarda verilerin temsiline izin verir.
Ders 15.2 — Derin otomatik kodlayıcılar
Ders 15.2 — Derin otomatik kodlayıcılar [Makine Öğrenimi için Sinir Ağları]
Derin otomatik kodlayıcılar, temel bileşenler analizi gibi doğrusal tekniklerin yeteneklerini aşarak boyut azaltmada devrim yarattı. Veriler içindeki karmaşık, doğrusal olmayan ilişkileri yakalama yetenekleri, onları çeşitli alanlarda paha biçilmez bir araç haline getirdi.
Salakhutdinov ve Hinton tarafından uygulanan derin otomatik kodlayıcı durumunda, yeniden oluşturulmuş basamaklar, lineer ana bileşenler muadillerine kıyasla üstün kalite sergiler. Bu gelişme, derin otomatik kodlayıcının çoklu gizli katmanları aracılığıyla giderek soyutlaşan temsillerin bir hiyerarşisini öğrenme yeteneğinden kaynaklanmaktadır. Her katman, girdi verilerinin daha aslına uygun bir şekilde yeniden oluşturulmasına katkıda bulunan daha üst düzey özellikleri yakalar.
Derin otomatik kodlayıcıların gücü, hem kodlama hem de kod çözme yönlerinde son derece anlamlı eşlemeleri öğrenme kapasitelerinde yatmaktadır. Kodlayıcı, yüksek boyutlu girdi verilerini daha düşük boyutlu bir kod gösterimine eşler ve en göze çarpan özellikleri etkili bir şekilde yakalar. Öte yandan, kod çözücü orijinal girdiyi bu sıkıştırılmış kod gösteriminden yeniden oluşturur. Bu çift yönlü eşleme, boyut azaltma işlemi sırasında değerli bilgilerin korunmasını sağlar.
Derin otomatik kodlayıcıların eğitimi, kaybolan gradyan sorunu nedeniyle başlangıçta zorlayıcıydı. Bununla birlikte, denetimsiz ön eğitim ve ağırlık başlatma stratejileri gibi optimizasyon tekniklerindeki ilerlemelerle, eğitim süreci çok daha verimli ve etkili hale geldi. Bu yöntemler, derin otomatik kodlayıcının yetersiz çözümlere takılıp kalmadan anlamlı gösterimleri öğrenmesine olanak tanır.
Ayrıca, derin otomatik kodlayıcılar, varyasyonel otomatik kodlayıcılar ve üretken rakip ağlar gibi daha gelişmiş mimarilerin geliştirilmesinin yolunu açmıştır. Bu modeller, veri oluşturma, anormallik tespiti ve yarı denetimli öğrenme gibi görevleri etkinleştirerek, olasılıksal ve çekişmeli öğrenme tekniklerini birleştirerek derin otomatik kodlayıcıların yeteneklerini genişletir.
Sonuç olarak, derin otomatik kodlayıcılar, geleneksel doğrusal tekniklerden daha iyi performans gösteren esnek ve doğrusal olmayan eşlemeler sağlayarak boyut azaltmada devrim yarattı. Hiyerarşik temsilleri öğrenme ve yüksek kaliteli verileri yeniden yapılandırma yetenekleri, onları derin öğrenme alanında önemli bir konuma itmiştir. Devam eden araştırma ve geliştirmelerle, derin otomatik kodlayıcıların çeşitli alanlarda karmaşık veri yapılarını anlamak ve manipüle etmek için daha fazla olasılığın kilidini açması bekleniyor.
Ders 15.3 — Belge alımı için derin otomatik kodlayıcılar
Ders 15.3 — Belge alımı için derin otomatik kodlayıcılar [Makine Öğrenimi için Sinir Ağları]
Bu videoda, derin otomatik kodlayıcıların belge alımında uygulanması ele alınmaktadır. Gizli semantik analiz adı verilen önceki bir yöntem, belge benzerliğini belirlemek ve geri almayı kolaylaştırmak için belgelerden çıkarılan kelime sayımı vektörleri üzerinde temel bileşenler analizini (PCA) kullanıyordu. Ancak, derin otomatik kodlayıcıların bu görevde PCA'dan daha iyi performans gösterme potansiyeli, daha fazla araştırmaya yol açtı.
Russ Salakhutdinov tarafından yürütülen araştırma, derin otomatik kodlayıcıların büyük bir belge veritabanına uygulandığında gerçekten de gizli semantik analizden daha iyi performans gösterdiğini gösterdi. Derin otomatik kodlayıcı, verilerin boyutsallığını yalnızca 10 bileşene indirirken bile, gizli semantik analiz gibi doğrusal yöntemlerden elde edilen 50 bileşene kıyasla üstün sonuçlar verdi.
Belge alma süreci, her bir belgeyi bir sözcük torbası temsiline dönüştürmeyi içerir, esasen bir sözcük sayımı vektörüdür. Belgenin konusu hakkında çok az bilgi sağlayan "the" veya "over" gibi durdurma sözcükleri dikkate alınmaz. Bir sorgu belgesinin kelime sayısını diğer milyonlarca belgeninkilerle karşılaştırmak hesaplama açısından pahalı olabilir. Bunu ele almak için, kelime sayımı vektörlerini 2.000 boyuttan 10 gerçek sayıya sıkıştırmak için derin bir otomatik kodlayıcı kullanılır ve bunlar daha sonra belge karşılaştırması için daha verimli bir şekilde kullanılabilir.
Otomatik kodlayıcıyı kelime sayımlarına uyarlamak için, durmayan kelimelerin toplam sayısına göre bir bölme işlemi gerçekleştirilir ve sayım vektörü, sayıların toplamının bir olduğu bir olasılık vektörüne dönüştürülür. Otomatik kodlayıcının çıktı katmanı, kelime sayımı vektör boyutuyla eşleşen bir boyuta sahip bir softmax işlevi kullanır. Yeniden oluşturma sırasında, kelime sayısı olasılıkları hedef değerler olarak ele alınır. Bununla birlikte, ilk gizli katman etkinleştirilirken, olasılık dağılımından çoklu gözlemleri hesaba katmak için tüm ağırlıklar "n" ile çarpılır. Bu, giriş birimlerinin ilk gizli katmana yeterli girdi sağlamasını sağlar.
Bu yaklaşımın etkinliği, Reuters veri setinden 4.000 elle etiketlenmiş iş belgesinden oluşan bir veri seti kullanılarak değerlendirildi. Kısıtlanmış bir Boltzmann makinesi yığını başlangıçta eğitildi, ardından 2.000 yollu bir softmax çıktı katmanıyla geri yayılım kullanılarak ince ayar yapıldı. Test, sorgu olarak bir belgenin seçilmesini ve kalan belgelerin on boyutlu vektörleri arasındaki açıların kosinüsüne göre sıralanmasını içeriyordu. Alma doğruluğu, sorgu belgesiyle aynı elle etiketlenmiş sınıftaki belgelerin oranıyla alınan belgelerin sayısı karşılaştırılarak ölçülmüştür.
Sonuçlar, otomatik kodlayıcının, kod olarak yalnızca on gerçek sayıyla bile, 50 gerçek sayı kullanan gizli semantik analizden daha iyi performans gösterdiğini gösterdi. Ayrıca, belge vektörlerini iki gerçek sayıya indirgemek ve bunları bir harita üzerinde görselleştirmek, PCA'ya kıyasla belge sınıflarının çok daha net bir şekilde ayrılmasını ortaya çıkardı. Bu tür görsel gösterimler, veri kümesinin yapısı hakkında değerli bilgiler sağlayabilir ve karar verme süreçlerine yardımcı olabilir.
Sonuç olarak, derin otomatik kodlayıcılar, belge alma görevleri için PCA gibi geleneksel doğrusal yöntemlere göre umut verici iyileştirmeler sunar. Temel bilgileri yakalarken belge sunumlarını verimli bir şekilde sıkıştırma ve yeniden oluşturma becerileri, belge alma sistemlerinin doğruluğunu ve verimliliğini artırabilir.
Ders 15.4 — Semantik Hashing
Ders 15.4 — Semantik Karma [Makine Öğrenimi için Sinir Ağları]
Bu videoda, bir sorgu belgesine benzer belgeleri verimli bir şekilde bulan bir teknik olan semantik karma oluşturmayı tartışacağım. Kavram, bir belgeyi bir bellek adresine dönüştürmeyi ve benzer belgeleri bir arada gruplamak için belleği düzenlemeyi içerir. Aynı bölgede benzer ürünlerin bulunduğu bir süpermarkete benziyor.
Görüntülerin ikili tanımlayıcıları, hızlı görüntü alma için değerlidir, ancak bir dizi ortogonal ikili tanımlayıcı elde etmek zordur. Makine öğrenimi bu sorunu çözmeye yardımcı olabilir. Bu tekniğin belgelere ve ardından görüntülere uygulanmasını keşfedeceğiz.
Dokümanlar için ikili kodlar elde etmek amacıyla, kod katmanında lojistik birimleri olan derin bir otomatik kodlayıcıyı eğitiyoruz. Bununla birlikte, lojistik birimlerin kelime sayıları hakkında bilgi iletmek için orta menzillerini kullanmalarını önlemek için, ince ayar aşamasında girdilere gürültü ekliyoruz. Bu gürültü, kod birimlerini açık veya kapalı olmaya teşvik ederek ikili değerlerle sonuçlanır. Lojistik birimlerin test zamanında eşiklenmesi, ikili kodlar üretir.
Alternatif olarak, gürültü eklemek yerine stokastik ikili birimler kullanabiliriz. İleri geçiş sırasında, lojistik birimin çıktısına dayalı olarak stokastik olarak bir ikili değer seçilir. Geriye geçiş sırasında, geri yayılım sırasında düzgün gradyan hesaplaması için gerçek değerli olasılık kullanılır.
Elde edilen kısa ikili kodlar ile sorgulanan dokümanın kodu ile saklanan dokümanların kodlarını karşılaştırarak sıralı bir arama yapabiliriz. Bununla birlikte, kodu bir bellek adresi olarak ele almak daha etkili bir yaklaşımdır. Derin otomatik kodlayıcıyı bir hash işlevi olarak kullanarak, belgeyi 30 bitlik bir adrese dönüştürüyoruz. Hafızadaki her adres, aynı adrese sahip belgeleri işaret ederek bir liste oluşturur. Adresteki bitleri çevirerek, yakındaki adreslere erişebilir ve anlamsal olarak benzer belgeler bulabiliriz. Bu, uzun bir belge listesinde arama yapma ihtiyacını ortadan kaldırır.
Bu bellek tabanlı arama, özellikle büyük veritabanları için oldukça verimlidir. Bu, bir süpermarkette belirli bir yere gidip yakındaki ürünlere bakarak nasıl arama yapacağınıza benzer. Bununla birlikte, 30 boyutlu bir bellek alanında, öğeler birden fazla nedenden dolayı birbirine yakın olabilir, bu da aramayı daha etkili hale getirir.
Semantik karma, sorgu terimleriyle ilişkili depolanmış listelerle kesişen hızlı alma yöntemleriyle hizalanır. Bilgisayarlar, tek bir yönergede birden çok listeyle kesişebilen bellek veri yolu gibi özel donanımlara sahiptir. Anlamsal karma, ikili koddaki 32 bitin anlamlı belge özelliklerine karşılık gelmesini sağlayarak, alma sorununu liste kesişim işlemlerine eşlemek için makine öğreniminden yararlanır ve geleneksel arama yöntemleri olmadan hızlı benzerlik aramaları sağlar.
Semantik hashing, geri alma problemini bilgisayarların üstün olduğu bir liste kesişim görevine dönüştürmek için makine öğreniminden yararlanan güçlü bir tekniktir. Belgeleri veya görüntüleri ikili kodlar olarak sunarak, benzer öğeleri geleneksel arama yöntemlerine ihtiyaç duymadan verimli bir şekilde bulabiliriz.
Bunu başarmak için, belgeleri ikili kodlara kodlamak üzere derin bir otomatik kodlayıcı eğitilir. Başlangıçta, otomatik kodlayıcı, daha sonra geri yayılma kullanılarak açılan ve ince ayarı yapılan kısıtlı Boltzmann makineleri yığını olarak eğitilir. İnce ayar aşamasında, ikili özelliklerin öğrenilmesini teşvik etmek için kod birimlerinin girişlerine gürültü eklenir.
Otomatik kodlayıcı eğitildikten sonra, ikili kodlar bellek adresleri olarak kullanılabilir. Bellekteki her adres, benzer özellikleri paylaşan bir dizi belgeye karşılık gelir. Adreste birkaç bit çevirerek yakındaki adreslere erişebilir ve bir Hamming topu oluşturabiliriz. Bu Hamming topunda anlamsal olarak benzer belgeler bulmayı umuyoruz.
Bu yaklaşım, geniş bir belge veritabanında sıralı arama ihtiyacını ortadan kaldırır. Bunun yerine, sorgu belgesi için bellek adresini hesaplıyoruz, bitleri çevirerek yakındaki adresleri keşfediyoruz ve benzer belgeleri alıyoruz. Bu tekniğin etkinliği, özellikle milyarlarca belge içeren büyük veritabanlarıyla uğraşırken belirginleşir, çünkü her öğede seri aramayı önler.
Bu süreci açıklamak için sıklıkla kullanılan bir benzetme, süpermarket arama kavramıdır. Tıpkı bir süpermarkette olduğu gibi, gişe görevlisine belirli bir ürünün yerini soruyorsunuz, burada sorgu belgesini bir hafıza adresine dönüştürüyoruz ve yakınlardaki benzer belgeleri arıyoruz. 30 boyutlu bellek alanı, karmaşık ilişkilere izin verir ve benzer niteliklere sahip öğeleri yakına yerleştirmek için yeterli alan sağlar.
Geleneksel alma yöntemleri, sorgu terimleriyle ilişkili kesişen listelere dayanırken, semantik karma oluşturma, alma sorununu bilgisayarların liste kesişme yetenekleriyle eşlemek için makine öğrenimini kullanır. İkili koddaki 32 bitin belgelerin veya görüntülerin anlamlı özelliklerine karşılık gelmesini sağlayarak, açık arama işlemlerine ihtiyaç duymadan benzer öğeleri verimli bir şekilde bulabiliriz.
Semantik karma, benzer belgeleri veya görüntüleri bulmak için oldukça verimli bir tekniktir. Bunları ikili kodlara dönüştürerek ve kodları bellek adresleri olarak ele alarak, yakın adresleri keşfederek semantik olarak benzer öğeleri hızla geri getirebiliriz. Bu yaklaşım, makine öğreniminin güçlü yönlerinden yararlanır ve geleneksel arama yöntemlerine ihtiyaç duymadan hızlı ve doğru erişime olanak tanıyarak bilgisayarların liste kesişim yeteneklerinden yararlanır.
Ders 15.5 — Görüntü alımı için ikili kodların öğrenilmesi
Ders 15.5 — Görüntü alma için ikili kodları öğrenme [Makine Öğrenimi için Sinir Ağları]
Video, görüntü alımı için ikili kodların kullanımını tartışıyor ve bunu alt yazılara dayanan geleneksel yöntemlerle karşılaştırıyor. Görüntüleri içeriklerine göre almak zordur çünkü tek tek pikseller görüntünün içeriği hakkında fazla bilgi sağlamaz. Ancak görüntünün içeriğini temsil eden kısa bir ikili vektör çıkararak görüntüleri daha verimli bir şekilde saklayabilir ve eşleştirebiliriz.
Video, görüntü alma için iki aşamalı bir yöntem önerir. İlk aşamada, tipik olarak yaklaşık 30 bitlik kısa bir ikili kod, semantik karma kullanılarak çıkarılır. Bu kod, hızlı bir şekilde potansiyel eşleşmelerin kısa bir listesini oluşturmak için kullanılır. İkinci aşamada, aday görüntüler arasında daha detaylı ve doğru bir arama için 256 bit gibi daha uzun ikili kodlar kullanılır.
Video, görüntüleri yeniden yapılandırabilen ve bilgilendirici ikili kodları çıkarabilen bir otomatik kodlayıcı mimarisi örneği sunuyor. Otomatik kodlayıcı, birden çok katmandan oluşur ve 256 bitlik bir koda ulaşana kadar birim sayısını aşamalı olarak azaltır. Video, bu otomatik kodlayıcıyı kullanarak, alınan görüntülerin sorgu görüntüsüne benzer olduğunu ve anlamlı ilişkiler sergilediğini gösterir.
Ek olarak video, görüntü içeriğinin temsili olarak etkinlik vektörlerini çıkarmak için görüntü tanıma için önceden eğitilmiş bir sinir ağının kullanımını araştırıyor. Bu aktivite vektörlerini karşılaştırmak için Öklid mesafesini kullanırken, alma sonuçları umut vericidir ve bu yaklaşımın daha verimli eşleştirme için ikili kodlara genişletilebileceğini düşündürür.
Video, resim içeriğini altyazılarla birleştirmenin temsili daha da geliştirebileceğinden ve geri alma performansını iyileştirebileceğinden bahsederek sona eriyor.
Video, verimli depolama, hızlı eşleştirme ve anlamlı görüntü içeriği yakalama yeteneği gibi görüntü alımı için ikili kodları kullanmanın avantajlarını vurguluyor. Otomatik kodlayıcıların ve önceden eğitilmiş sinir ağlarının bilgilendirici ikili kodları çıkarmadaki etkinliğini gösteriyor ve görüntü içeriği ile altyazıları birleştirmenin daha da iyi geri alma sonuçlarına yol açabileceğini öne sürüyor.
Ders 15.6 — Ön eğitim için sığ otomatik kodlayıcılar
Ders 15.6 — Ön eğitim için sığ otomatik kodlayıcılar [Makine Öğrenimi için Sinir Ağları]
Bu videoda konuşmacı, derin sinir ağlarını öğrenmek için alternatif ön eğitim yöntemlerini tartışıyor. Başlangıçta, kontrastlı sapma ile eğitilmiş kısıtlayıcı Boltzmann makineleri (RBM'ler) kullanarak ön eğitim başlattılar. Ancak daha sonra özellik katmanlarını önceden eğitmenin başka yolları olduğu keşfedildi. Ağırlıklar doğru şekilde başlatılırsa, yeterince etiketli veri olması koşuluyla ön eğitim gerekli olmayabilir. Konuşmacı, derin otomatik kodlayıcıların faydalarından ve çeşitli uygulamalar için kodlarından bahseder.
Daha sonra odağı, sığ otomatik kodlayıcılara, özellikle maksimum olasılıkla eğitilmiş RBM'lere kaydırırlar. Otomatik kodlayıcılar olarak RBM'ler, kapasitelerini sınırlayan ikili gizli birimler nedeniyle güçlü düzenlileştirmeye sahiptir. Bununla birlikte, RBM'ler maksimum olasılıkla eğitilirlerse, gürültülü pikselleri yok sayarlar ve bunları giriş sapmalarını kullanarak modellerler. Konuşmacı, ön eğitim için RBM'ler yerine bir dizi otomatik kodlayıcı kullanılmasını önerir, ancak bu yaklaşım, özellikle yalnızca kare ağırlıkları cezalandıran sığ su kodlayıcılarda o kadar etkili değildir.
Konuşmacı, Montreal grubu tarafından kapsamlı bir şekilde incelenen gürültü giderici otomatik kodlayıcıları tanıtıyor. Bu otomatik kodlayıcılar, giriş vektörlerine gürültü ekleyerek bazı bileşenleri sıfıra ayarlar (bırakmaya benzer). Girdileri sıfırlanmış bileşenlerle yeniden yapılandırmaları ve girdileri basitçe kopyalamalarını önlemeleri gerekir. Sığ su kodlayıcılarının aksine, gürültü giderici otomatik kodlayıcılar, sıfırlanan girdilerin yeniden yapılandırılmasına yardımcı olmak için bazı girdi değerlerini kullanarak girdiler arasındaki korelasyonları yakalar. Gürültü giderici otomatik kodlayıcıları istiflemek, ön eğitim için oldukça etkili olabilir ve çoğu durumda RBM'leri geride bırakır.
Konuşmacı, gürültü giderici otomatik kodlayıcıları kullanarak ön eğitimi değerlendirmenin, amaç fonksiyonunun kolayca hesaplanabilmesi nedeniyle daha basit olduğundan bahseder. Aksine, RBM'leri karşılaştırmalı sapma ile değerlendirmek gerçek amaç fonksiyonunu vermez. Bununla birlikte, gürültü giderici otomatik kodlayıcılar, RBM'lerin sahip olduğu varyasyonel sınırdan yoksundur, ancak bu teorik ilgi, maksimum olasılıkla eğitilmiş RBM'lerle sınırlıdır.
Tartışılan başka bir kodlayıcı türü, yine Montreal grubu tarafından geliştirilen, büzülmeli otomatik kodlayıcıdır. Bu otomatik kodlayıcılar, her bir girdiye göre her gizli birimin kareli gradyanını cezalandırarak gizli etkinlikleri girdilere karşı duyarsız hale getirmeyi amaçlar. Kısaltmalı otomatik kodlayıcılar, ön eğitim için iyi çalışır ve giriş alanının farklı bölümlerine duyarlı gizli birimlerin yalnızca küçük bir alt kümesiyle seyrek kodlara sahip olma eğilimindedir.
Konuşmacı, ön eğitim hakkındaki mevcut görüşlerini özetleyerek bitirir. Katman katman ön eğitim, etiketlere güvenmeden iyi özelliklerin keşfedilmesine yardımcı olduğundan, bir veri kümesinde sınırlı sayıda etiketli veri olduğunda faydalıdır. Ancak, ağ yeterince büyükse, büyük etiketli veri kümeleri için denetimsiz ön eğitim gerekli değildir. Bununla birlikte, daha da büyük ağlar için, aşırı uyumu önlemek için ön eğitim yeniden çok önemli hale gelir. Konuşmacı, özellikle mevcut verilerle karşılaştırıldığında büyük parametre uzaylarıyla uğraşırken, bırakma ve ön eğitim gibi düzenlileştirme yöntemlerinin önemli olduğunu savunuyor.
Ders 16.1 — Görüntüler ve alt yazılardan oluşan ortak bir model öğrenme
Ders 16.1 — Görüntüler ve altyazılardan oluşan ortak bir model öğrenme [Makine Öğrenimi için Sinir Ağları]
Görüntü alt yazıları ve özellik vektörlerinin ortak bir modelini öğrenmeye yönelik son çalışmaları tartışacağım. Önceki bir derste, alt yazı kullanmadan resimlerden anlamlı özelliklerin nasıl çıkarılacağını keşfetmiştik. Bununla birlikte, altyazılar, görüntülerden ilgili anlamsal kategorileri çıkarmak için değerli bilgiler sağlayabilir ve tam tersi, görüntüler, altyazılardaki kelimelerin anlamını netleştirmeye yardımcı olabilir.
Önerilen yaklaşım, girdi olarak resimlerden ve alt yazıların kelime torbası temsillerinden çıkarılan bilgisayarla görme özellik vektörlerini alan standart bir büyük ağın eğitimini içerir. Ağ, iki giriş gösterimi arasındaki ilişkiyi öğrenir. Görüntüler için öznitelik vektörleri oluşturmak için sözcükleri kullanmayı ve veritabanındaki en yakın görüntüyü bulmayı ve ayrıca sözcük torbaları oluşturmak için görüntüleri kullanmayı gösteren son ağın bir filmi gösterilir.
Nitish Srivastava ve Ruslan Salakhutdinov, başlıklar ve resimlerden oluşan ortak bir yoğunluk modeli oluşturmak için araştırma yaptı. Ancak, ham piksel kullanmak yerine, görüntüleri standart bilgisayar görme özelliklerini kullanarak temsil ettiler. Bu, etiketlerin ve rakam görüntülerinin ortak bir yoğunluk modelini oluşturmaya kıyasla daha fazla hesaplama gerektiriyordu. Altyazılardan görüntüler ve kelime sayısı vektörleri için ayrı çok katmanlı modeller geliştirdiler. Bu bireysel modeller daha sonra her iki yöntemi de entegre eden yeni bir üst katmana bağlandı. Her bir yöntemin diğer yöntemin ilk katmanlarını iyileştirmesine izin vermek için tüm sistemin ortak eğitimi gerçekleştirildi.
Derin bir Boltzmann makinesinin gizli katmanlarını önceden eğitmek için, kursta daha önce ele alınanlardan farklı bir yaklaşım izlediler. Derin bir inanç ağı oluşturmak için bir grup kısıtlanmış Boltzmann makinesi (RBM) kullanmak yerine, bir RBM yığınını belirli bir şekilde doğrudan önceden eğittiler. Yığındaki üst ve alt RBM'lerin ağırlıkları, aşağıdan yukarıya ağırlıkların yukarıdan aşağıya ağırlıkların iki katı olduğu bir ölçek simetrik özelliği ile eğitildi. Ara RBM'ler simetrik ağırlıklarla eğitildi. Bu ağırlık konfigürasyonu, son derin Boltzmann makinesinde her katmanın iki farklı modelinin geometrik ortalamasının alınmasına izin verdi.
Bu ağırlık konfigürasyonunun gerekçesi, her katmandaki birimlerin durumlarını çıkarmanın iki yolunun derin Boltzmann makinesinde nasıl birleştirildiğine bağlıdır. Ağırlıklar, bir katmanın durumunu anlarken kanıtın iki kez sayılmamasını sağlar. Ara katmanlar, aşağıdan yukarıya ve yukarıdan aşağıya modellerden gelen kanıtların geometrik ortalamasını alarak, kanıtların tekrarlanmasını önler. Daha ayrıntılı bir açıklama için orijinal belgeye bakın.
Videoda sunulan yaklaşım, görüntü alt yazıları ve özellik vektörlerinin ortak bir modelini öğrenmeye odaklanır. Model, her iki modaliteden gelen bilgileri entegre ederek, görüntülerin ve altyazıların anlaşılmasını geliştirmeyi ve daha doğru anlamsal gösterimi sağlamayı amaçlıyor.
Ortak eğitim için derin bir inanç ağı yerine derin bir Boltzmann makinesinin kullanılmasının avantajları olduğunu belirtmekte fayda var. Bir derin inanç ağı, karşılaştırmalı uyandırma uykusu kullanan üretken ince ayar ile kullanılabilirken, derin Boltzmann makineleri için ince ayar algoritmasının daha iyi sonuçlar vermesi bekleniyor. Bu nedenle, derin bir Boltzmann makinesi kullanma kararı, her yöntemin ilk katmanlarında özellik algılayıcıların gelişmiş eğitimine ve iyileştirilmesine olanak tanır.
Video ayrıca derin Boltzmann makinesinin eğitim sürecine de kısaca değiniyor. Yığındaki RBM'lerin ağırlıkları, ölçek simetrik bir şekilde ayarlanarak, kanıtların çift sayım yapılmadan uygun şekilde birleştirilmesi sağlanır. Bu yaklaşım, hem aşağıdan yukarıya hem de yukarıdan aşağıya girdileri dikkate alarak, her katmanın iki farklı modelinin geometrik ortalamasının alınmasına izin verir. Spesifik ağırlık konfigürasyonu, katmanlar arasındaki bağımlılıkları hesaba katarak kanıtların tekrarlanmamasını sağlar.
Video, sürecin üst düzey bir açıklamasını sunsa da, altta yatan matematik ve ayrıntılı akıl yürütme, beraberindeki belgede bulunabilir. Videoda sunulan yaklaşım ve ardından Nitish Srivastava ve Ruslan Salakhutdinov tarafından yapılan araştırma, altyazıların ve özellik vektörlerinin ortak modellemesinin geliştirilmesine katkıda bulunarak, görüntülerin ve bunlarla ilişkili altyazıların daha iyi anlaşılmasını ve temsil edilmesini kolaylaştırıyor.
Sonuç olarak, videoda tartışılan çalışma, görüntü altyazıları ve özellik vektörlerinin ortak bir modelini öğrenmeye odaklanmaktadır. Önerilen yaklaşım, her iki modalitede mevcut olan bilgileri kullanarak, resimlerden semantik kategorilerin çıkarılmasını ve altyazılardaki kelimelerin netleştirilmesini geliştirmeyi amaçlamaktadır. Eğitim sırasında derin bir Boltzmann makinesinin kullanılması ve belirli ağırlık konfigürasyonu, iki modalite arasında etkili entegrasyon ve öğrenme sağlar.