Makine Öğrenimi ve Sinir Ağları - sayfa 62
Ticaret fırsatlarını kaçırıyorsunuz:
- Ücretsiz ticaret uygulamaları
- İşlem kopyalama için 8.000'den fazla sinyal
- Finansal piyasaları keşfetmek için ekonomik haberler
Kayıt
Giriş yap
Gizlilik ve Veri Koruma Politikasını ve MQL5.com Kullanım Şartlarını kabul edersiniz
Hesabınız yoksa, lütfen kaydolun
Thompson örneklemesi, tek kollu haydutlar ve Beta dağılımı
Thompson örneklemesi, tek kollu haydutlar ve Beta dağılımı
Merhaba ben Louis Sorano ve bu videoda tek kollu haydut kavramını ve beta dağıtımını ele alacağım. Kendinizi, yaygın olarak tek kollu haydutlar olarak bilinen bir dizi kumar makinesinin olduğu bir kumarhanede hayal edin. Bu makineleri oynadığınızda, iki olası sonuç vardır: ya bir jeton çıkar, bu bir galibiyet anlamına gelir ya da hiçbir şey çıkmaz ve bu da bir kayıpla sonuçlanır. Amaç, kazancınızı en üst düzeye çıkarmak için hangi makinelerin iyi hangilerinin kötü olduğunu belirlemektir.
Satırdaki her makinenin farklı bir madeni para üretme olasılığı vardır ve 'p' ile gösterilir. Örneğin, soldaki makinenin olasılığı 0,1 (%10) ise bu, ortalama olarak %10 oranında jeton kazanmayı bekleyebilirsiniz, %90 oranında ise kaybedeceğiniz anlamına gelir. Benzer şekilde, sağdaki makinenin olasılığı 0,7'dir (%70), bu da jeton kazanma şansınızın daha yüksek olduğunu, zamanın %70'ini ve kaybetme şansınızın %30'unu gösterir.
Buradaki zorluk, her makine için 'p'nin gerçek değerlerini bilmemenizdir, bu nedenle makineleri oynayarak bunları tahmin etmeniz gerekir. Amaç, tüm makineleri oynamak ve kazanma olasılığı daha yüksek olanları belirleyerek bunlara odaklanmak ve ara sıra düşük performans gösteren makinelere gelişme şansı vermektir.
Dikkate alınması gereken iki strateji vardır: "keşfet" stratejisi ve "istismar" stratejisi. Keşfetme stratejisi, veri toplamak ve kazanma olasılıklarını tahmin etmek için her makineyi birden çok kez oynamayı içerir. Örneğin, ilk makineyi 15 kez oynarsanız ve iki kez kazanırsanız, olasılığı 2/15 olarak tahmin edersiniz. Bu işlemi her makine için tekrarlayarak tahmini olasılıklarını karşılaştırabilir ve kazanma olasılığı en yüksek olanları belirleyebilirsiniz.
Öte yandan, yararlanma stratejisi, her bir makineyi daha az oynatmayı ve mevcut verilere dayalı kararlar vermeyi içerir. Bir makineyi yalnızca birkaç kez oynayarak, kazanma olasılığını doğru bir şekilde tahmin etmek için yeterli bilgiye sahip olmayabilirsiniz. Bu yaklaşım, yeterli veri toplamak için alanı yeterince keşfetmeyebileceğinden, potansiyel kazananları kaçırma riski taşır.
En uygun stratejiyi bulmak için, keşif ve yararlanmanın bir kombinasyonuna ihtiyacınız var. Thompson örneklemesi olarak bilinen bu yaklaşım, her makine için bir beta dağılımı sağlamayı içerir. Beta dağılımı, galibiyet ve mağlubiyet sayısına dayalı olarak kazanma olasılığını temsil eder. Beta dağıtımını her oyunla güncelleyerek tahminlerinizi iyileştirebilirsiniz.
Thompson örneklemesi, makineler arasında bir miktar rastgelelik içeren bir rekabeti içerir. Beta dağılımlarından rastgele puanlar seçilir ve o noktada en yüksek değere sahip makine sıradaki oynanmak üzere seçilir. Bu teknik, daha güçlü performansa sahip olanları tercih ederken tüm makinelerin keşfedilmesine izin verir.
Beta dağılımını kullanan Thompson örneklemesi, kumarın ötesinde geniş uygulamalara sahiptir. Web tasarımı ve reklamcılığı için A/B testinde, deneysel ilaçların etkinliğini belirlemeye yönelik tıbbi deneylerde ve keşif ve kullanımın çok önemli olduğu çeşitli karar verme senaryolarında kullanılır.
Sonuç olarak, beta dağılımı ile Thompson örneklemesi, en uygun kararları vermek için keşif ve kullanımı birleştiren güçlü bir tekniktir. Diğer olasılıkları keşfetmeye devam ederken kazanma olasılığı daha yüksek olan makinelere odaklanarak kazancınızı en üst düzeye çıkarmanıza olanak tanır. Thompson örneklemesi, çeşitli alanlarda uygulamalar bulur ve belirsizlik altında karar vermeye pratik bir yaklaşım sunar.
İzlediğiniz için teşekkür ederiz ve bu videoyu faydalı bulduysanız lütfen abone olun, beğenin ve paylaşın. Ayrıca denetimli makine öğrenimini erişilebilir ve ilgi çekici bir şekilde anlattığım "Rocking Machine Learning" adlı kitabıma da göz atmanızı tavsiye ederim. Aşağıdaki yorum bölümünden kitaba ve diğer kaynaklara ulaşabilirsiniz. Gelecekteki konular için yorum ve önerilerinizi bırakmaktan çekinmeyin ve beni Twitter'da takip etmeyi unutmayın.Binom ve Poisson Dağılımları
Binom ve Poisson Dağılımları
Serrano'nun videosu, binom ve Poisson dağılımlarına odaklanıyor. Bir sorun senaryosu sunarak başlıyor: Bir mağaza işlettiğinizi ve zaman içinde giren insan sayısını gözlemlediğinizi hayal edin. Gerçek sayı dalgalanma gösterse de ortalama olarak her saat mağazaya üç kişinin girdiği kaydediliyor. Serrano, müşteri girişinin gün boyunca belirli bir model olmaksızın rastgele göründüğünün altını çiziyor.
Videoda ele alınan asıl soru şudur: Bu bilgi verildiğinde, bir saat içinde mağazaya beş kişinin girme olasılığı nedir? Serrano, cevabın 0,1008 olduğunu ortaya koyuyor, ancak Poisson dağılımı kullanılarak bu olasılığın nasıl hesaplandığını açıklamaya devam ediyor.
Poisson dağılımına girmeden önce Serrano, binom dağılımı olarak bilinen daha basit bir olasılık dağılımı sunuyor. Bu kavramı açıklamak için, önyargılı bir madeni parayı birden çok kez atma benzetmesini kullanıyor. Madeni paranın %30 tura ve %70 yazı gelme ihtimali olduğunu varsayarak, Serrano madeni paranın 10 kez atıldığı deneyler yapar. Elde edilen ortalama tura sayısının, tura olasılığı ile atış sayısının (0,3 * 10 = 3) çarpımı olan beklenen değere yakınsadığını gösteriyor.
Daha sonra, Serrano madeni parayı 10 kez çevirdiğinde farklı sayıda tura gelme olasılığını araştırıyor. 11 olası sonuç olduğunu açıklıyor: sıfır tura, bir tura, iki tura vb., en fazla on tura. Serrano daha sonra her sonuç için olasılıkları hesaplar ve en yüksek olasılığın üç tura elde edildiğinde ortaya çıktığını vurgular. Yatay eksende kafa sayısı ve dikey eksende karşılık gelen olasılıklarla birlikte, binom dağılımını temsil eden bir histogram oluşturur.
Bu olasılıkları hesaplamak için Serrano süreci parçalara ayırır. Örneğin, sıfır tura olasılığını belirlemek için, her atışın 0,7 olasılıkla yazıyla sonuçlanması gerektiğini not eder. Döndürmeler bağımsız olaylar olduğundan, bu olasılığı kendisi ile on kez çarparak 0,02825 olasılıkla sonuçlanır.
Serrano, bir kafa olasılığının hesaplanmasını açıklamaya devam ediyor. Önce, yalnızca ilk atışın tura geldiği (0,3 olasılık), geri kalan atışların yazıyla sonuçlandığı (her biri 0,7 olasılık) senaryosunu düşünür. Bu, 0.321 olasılığını verir. Bununla birlikte, bu yalnızca bir olasılıktır, bu nedenle Serrano, bir atışın tura, geri kalanının yazı ile sonuçlanabileceği on yol belirler. Bu olayların birbirini dışladığını ve bu nedenle olasılıklarının eklendiğini belirtiyor. Sonuç olarak, bir tura gelme olasılığı 10 * 0,3 * 0,7^9 = 0,12106'dır.
Serrano bu işleme iki tura için devam ediyor ve ilk iki atışın tura gelmesi olasılığını hesaplıyor (0,3^2 * 0,7^8 = 0,00519). Daha sonra, on atış arasında iki tura elde etmenin 45 yolu olduğunu belirler (10, 2'yi seçer). Bunu her senaryo için iki tura gelme olasılığıyla çarparak, 45 * 0.3^2 * 0.7^8 = 0.12106 olan iki tura gelme olasılığını elde eder.
Farklı kafa sayıları için benzer hesaplamalar kullanan Serrano, her sonuç için olasılıkları sağlıyor. Bir histogram üzerinde çizilen bu olasılıklar, binom dağılımını oluşturur. Döndürme sayısı sonsuza yaklaştıkça, merkezi limit teoremi nedeniyle binom dağılımının normal bir dağılıma yöneldiğini açıklıyor. Ancak, bu konunun gelecekteki bir videoda inceleneceğini belirtiyor.
Poisson dağılımına geçiş yapan Serrano, sabit bir zaman veya uzay aralığında meydana gelen olay sayısının nadir ve rastgele olduğu durumlar için binom dağılımına bir alternatif olarak Poisson dağılımı kavramını sunar. Poisson dağılımının, ortalama oluşum oranı bilindiğinde, ancak kesin oluşum sayısı belirsiz olduğunda özellikle yararlı olduğunu açıklıyor.
Poisson dağılımının uygulamasını göstermek için Serrano, bir mağazaya giren insanlar örneğini yeniden ele alıyor. Mağazaya saatte ortalama üç kişinin girdiğini vurguluyor. Ancak, belirli bir saatte giren gerçek kişi sayısı büyük ölçüde değişebilir.
Serrano daha sonra şu soruyu sorar: Saatte ortalama üç kişi verildiğinde, sonraki bir saat içinde mağazaya tam olarak beş kişinin girme olasılığı nedir? Poisson dağılımını kullanarak bu olasılığı hesaplamak için şu formülü kullanır:
P(X = k) = (e^(-λ) * λ^k) / k!
P(X = k)'nin tam olarak k oluşum olasılığını temsil ettiği yerde, e doğal logaritmanın tabanıdır, λ ortalama oluşum oranıdır ve k istenen oluşum sayısıdır.
Formülü uygulayan Serrano, λ = 3 (saatte ortalama üç kişi oranı) ve k = 5 (istenen olay sayısı) değerlerini yerleştirir. e^(-3)'ün sıfır oluşum olasılığını temsil ettiğini açıklıyor (e^(-3) ≈ 0.0498). Bunu λ^k ile çarpmak ve k'ye bölmek! (5'in faktörü), bir sonraki saat içinde tam olarak beş kişinin mağazaya girmesi için 0,1008 olasılığına ulaşıyor.
Serrano, ortalama oluşum oranı nispeten yüksek olduğunda ve istenen oluşum sayısı nispeten nadir olduğunda, Poisson dağılımının daha doğru bir yaklaşım sağladığını vurgular. Ortalama oran arttıkça veya istenen sayı daha yaygın hale geldikçe, Poisson dağılımı daha az hassas hale gelir ve alternatif dağılımlar daha uygun olabilir.
Özetle, Serrano'nun videosu iki terimli ve Poisson dağılımlarının kavramlarını araştırıyor. İlk olarak, önyargılı bir madeni parayı birden çok kez çevirme benzetmesi yoluyla binom dağılımını tanıtır. Farklı sayıda kafa elde etme olasılıklarını hesaplar ve binom dağılımını temsil eden bir histogram oluşturur.
Poisson dağılımına geçiş yapan Serrano, uygulamasını insanların bir mağazaya girmesi gibi nadir ve rastgele olayların olduğu senaryolarda açıklıyor. Poisson dağılım formülünü kullanarak, ortalama oran verildiğinde belirli sayıda olayın olasılığını hesaplar. Örnekte, bir saatte tam olarak beş kişinin mağazaya girme olasılığını, saatte ortalama üç kişiyle belirlemektedir.
Serrano, bu olasılık dağılımlarını ve hesaplamalarını açıklayarak, izleyicilere rastgele olayların altında yatan ilkeleri ve bunlarla ilişkili olasılıkları daha derinden anlamalarını sağlar.
Gauss Karışım Modelleri
Gauss Karışım Modelleri
Merhaba, ben Luis Serrano ve bu videoda Gauss Karışım Modellerini (GMM'ler) ve bunların kümelemedeki uygulamalarını tartışacağım. GMM'ler, verileri kümelemek için güçlü ve yaygın olarak kullanılan modellerdir.
Kümeleme, GMM'lerin bir şarkıdaki enstrümanlar gibi farklı sesleri ayırt etmek veya sesli asistanlarla etkileşim kurarken sesinizi arka plan gürültüsünden ayırmak için kullanılabileceği ses sınıflandırması gibi çeşitli uygulamalarda ortak bir görevdir. GMM'ler, belgelerin spor, bilim ve politika gibi konulara göre ayrılmasını sağlayarak belge sınıflandırmasında da kullanışlıdır. Başka bir uygulama, GMM'lerin kendi kendine giden arabaların gördüğü görüntülerde yayaları, yol işaretlerini ve diğer arabaları ayırmaya yardımcı olabileceği görüntü bölümlemedir.
Kümelemede, birlikte kümelenmiş gibi görünen veri noktalarını gruplandırmayı amaçlıyoruz. Geleneksel kümeleme algoritmaları, her noktayı tek bir kümeye atar. Bununla birlikte, GMM'ler, noktaların aynı anda birden fazla kümeye ait olabildiği esnek kümeleme kavramını ortaya koymaktadır. Bu, her bir kümeye ait olma puan olasılıkları veya yüzdeleri atanarak elde edilir.
GMM algoritması iki ana adımdan oluşur. İlk adım, noktaların Gauss dağılımlarıyla olan ilişkilerine göre renklendirilmesini içerir. Her noktaya, farklı Gausslara olan yakınlığına göre bir renk atanır. Bu adım, esnek küme atamalarını belirler.
İkinci adım, noktalar verilen Gauss parametrelerinin tahminidir. Algoritma, kendisine atanan noktalara en iyi uyan her Gauss'un ortalamasını, varyansını ve kovaryansını bulur. Bu adım, veri dağılımının şekli ve yönü hakkında bilgi sağlayan kütle merkezi, varyanslar ve kovaryansların hesaplanmasını içerir.
GMM algoritması, yakınsama sağlanana kadar Gauss parametrelerini ve yumuşak küme atamalarını güncelleyerek bu iki adım arasında yinelenir. İlk Gausslar rastgele seçilebilir ve algoritma, atamalarda veya parametrelerde çok az değişiklik olana kadar devam eder.
GMM'leri kullanarak, kesişen kümeler içeren veya noktaların birden çok kümeye ait olduğu karmaşık veri kümelerini etkili bir şekilde kümeleyebiliriz. GMM'ler, kümelemeye esnek ve olasılıksal bir yaklaşım sunarak onları çeşitli alanlarda değerli bir araç haline getirir.
GMM'lerin daha detaylı anlatımı ve örnekleri için kanalımdaki algoritmanın matematiğini ve uygulanmasını anlattığım videoma göz atabilirsiniz. Video linkine yorum kısmından ulaşabilirsiniz.
Algoritma, değişikliklerin ihmal edilebilir hale geldiği bir yakınsama noktasına ulaşana kadar birinci ve ikinci adımlar arasında yinelemeye devam eder. Her yinelemede, noktaların renkleri mevcut Gauss dağılımlarına göre güncellenir ve renkli noktalara göre yeni Gauss'lar oluşturulur.
Algoritma ilerledikçe, Gauss dağılımları kademeli olarak verilere uyum sağlayarak temeldeki kümeleri yakalar. Gauss'lar, belirli bir kümeye ait veri noktalarının olasılık dağılımını temsil eder. Algoritma, Gauss karışım modeli göz önüne alındığında gözlemlenen verilerin olasılığını en üst düzeye çıkarmaya çalışır.
Gauss karışım modeli algoritmasının nihai sonucu, verilerdeki kümeleri temsil eden bir Gauss kümesidir. Her Gauss, belirli bir küme ile ilişkilendirilir ve ortalaması, varyansı ve kovaryansı hakkında bilgi sağlar. Gaussçuların parametrelerini analiz ederek, verilerde bulunan kümelerin yapısı ve özellikleri hakkında fikir edinebiliriz.
Gauss karışım modeli algoritması, veri noktalarının aynı anda birden fazla kümeye ait olabildiği yumuşak kümeleme için güçlü bir araçtır. Örtüşen kümelere veya doğrusal olarak ayrılamayan modellere sahip karmaşık veri kümelerini işleyebilir. Bu, görüntü segmentasyonu, belge sınıflandırması ve ses sınıflandırması gibi çeşitli alanlarda uygulanabilir olmasını sağlar.
Gauss karışım modeli algoritması, noktaları mevcut Gauss'lara göre renklendirme ve renkli noktalara göre Gauss'ları güncelleme arasında gidip gelen yinelemeli bir süreçtir. Etkili kümeleme ve analize izin vererek, Gauss'ların verilerdeki temel kümeleri doğru bir şekilde temsil ettiği bir çözüme yakınsar.
Kümeleme: K-ortalamaları ve Hiyerarşik
Kümeleme: K-ortalamaları ve Hiyerarşik
Merhaba, ben Luis Serrano. Bu videoda iki önemli kümeleme algoritmasını öğreneceğiz: k-means kümeleme ve hiyerarşik kümeleme. Kümeleme, verileri benzerliğe göre gruplandırmayı içeren denetimsiz bir öğrenme tekniğidir. Bu algoritmaları bir pazarlama uygulamasına, özellikle müşteri segmentasyonuna uygulayacağız.
Hedefimiz, müşteri tabanını üç ayrı gruba ayırmaktır. Müşterilerin yaşı ve belirli bir sayfayla etkileşimleri hakkında verilerimiz var. Bu verileri çizerek, görsel olarak üç küme veya grubu tanımlayabiliriz. İlk grup, 20'li yaşlarında düşük katılımlı (haftada 2-4 gün) kişilerden oluşur. İkinci grup, 30'lu yaşların sonu ve 40'lı yaşların başındaki yüksek katılımlı bireylerden oluşur. Üçüncü grup, katılımı çok düşük olan 50'li yaşlarındaki insanları içerir.
Şimdi, k-means kümeleme algoritmasını inceleyelim. Bir şehirdeki üç pizzacı için en iyi yerleri belirlemeye çalışan pizzacı sahipleri olduğumuzu hayal edin. Müşterilerimize verimli bir şekilde hizmet etmek istiyoruz. Rastgele üç yer seçerek ve her noktaya bir pizzacı yerleştirerek başlıyoruz. Müşterileri bulundukları yere göre en yakın pizzacıya yönlendiriyoruz.
Ardından, her bir pizzacıyı hizmet verdiği evlerin merkezine taşıyoruz. Bu adım, konumun çevredeki müşterilere hizmet vermek için en uygun olmasını sağlar. Algoritma yakınsayana ve kümeler sabitlenene kadar müşterileri en yakın pizzacıya atama ve salonları merkezlere taşıma sürecini tekrarlıyoruz.
Küme sayısını belirlemek zor olabilir. Bunu ele almak için dirsek yöntemini kullanabiliriz. Aynı renkteki iki nokta arasındaki en büyük mesafeyi temsil eden her kümenin çapını hesaplıyoruz. Küme sayısını çapa karşı çizerek, iyileştirmenin daha az önemli hale geldiği bir "dirsek" noktası belirleyebiliriz. Bu dirsek noktası, bu durumda üç olan optimal küme sayısını gösterir.
Şimdi hiyerarşik kümelemeye geçelim. Yine veri setinde kümeler bulmayı hedefliyoruz. En yakın iki noktayı dikkate alıp gruplandırarak başlıyoruz. Ardından, bir mesafe eşiğine göre durmaya karar verene kadar bir sonraki en yakın çiftleri yinelemeli olarak birleştiririz. Bu yöntem, kümeleri temsil eden ağaç benzeri bir yapı olan bir dendrogram ile sonuçlanır.
Mesafe eşiğini veya küme sayısını belirlemek öznel olabilir. Ancak alternatif bir yaklaşım "ekle ve bırak" yöntemidir. Bir dendrogramda nokta çiftleri arasındaki mesafeleri çizeriz ve eğri çizgilerin yüksekliğini inceleriz. Yükseklikleri analiz ederek, mesafe eşiği veya küme sayısı hakkında bilinçli bir karar verebiliriz.
K-means kümeleme ve hiyerarşik kümeleme, verileri benzerliğe göre gruplamak için değerli algoritmalardır. Hiyerarşik kümeleme, kümeleri temsil etmek için bir dendrogram oluştururken, K-means kümeleme, küme atamalarını optimize etmek için yinelemeli olarak hareket eden merkezleri içerir. Dirsek yöntemi ve toplama ve bırakma yöntemi, optimum küme sayısını veya mesafe eşiğini belirlemek için kullanılabilir.
Temel Bileşen Analizi (PCA)
Temel Bileşen Analizi (PCA)
Bu videoda, bir boyut indirgeme tekniği olan Temel Bileşen Analizi'ni (PCA) öğreneceğiz. PCA, mümkün olduğu kadar fazla bilgi tutarken büyük bir veri kümesindeki sütun sayısını azaltmak için kullanılır. Verileri daha düşük boyutlu bir alana yansıtarak veri setini basitleştirebiliriz. Bu videoda birkaç adımı ele alacağız: mod projeksiyonları, varyans-kovaryans matrisi, özdeğerler ve özvektörler ve son olarak PCA.
Konsepti anlamak için, bir grup arkadaşın fotoğrafını çekme problemini ele alalım. Fotoğrafı çekebilmek için en iyi açıyı belirlememiz gerekiyor. Benzer şekilde, boyut indirgemede, boyut sayısını azaltırken verinin özünü yakalamak istiyoruz. Bunu, verileri noktaların yayılmasını en üst düzeye çıkaran ideal bir çizgiye yansıtarak başarabiliriz. Farklı projeksiyonları karşılaştıracağız ve hangisinin noktalar arasında daha iyi ayrım sağladığını belirleyeceğiz.
Boyut azaltma, işlenmesi zor olan çok sayıda sütuna sahip büyük bir veri setimizin olduğu senaryolarda çok önemlidir. Örneğin, bir konut veri setinde büyüklük, oda sayısı, banyolar, okullara yakınlık ve suç oranı gibi birçok özelliğe sahip olabiliriz. Boyutları küçülterek, boyut, oda sayısı ve banyoları bir boyut özelliğinde birleştirmek gibi ilgili özellikleri tek bir özellikte birleştirebiliriz. Bu, veri kümesini basitleştirir ve temel bilgileri yakalar.
İki sütundan (oda sayısı ve büyüklük) tek sütuna geçtiğimiz bir örneğe odaklanalım. Verilerdeki varyasyonu tek bir özellikte yakalamak istiyoruz. Verileri noktaların yayılmasını en iyi temsil eden bir çizgiye yansıtarak, veri setini iki boyuttan tek boyuta basitleştirebiliriz. Bu süreç, boyutları beşten ikiye indirecek ve temel bilgileri daha küçük bir alanda yakalayacak şekilde genişletilebilir.
Ortalama ve varyans gibi temel kavramları anlamak için ağırlıkları dengelemeyi düşünelim. Ortalama, ağırlıkların dengelendiği noktadır ve varyans, ağırlıkların ortalamadan yayılmasını ölçer. İki boyutlu bir veri setinde, verilerin yayılmasını ölçmek için x ve y yönlerindeki varyansları hesaplıyoruz. Ancak varyanslar tek başına veri kümeleri arasındaki farkları yakalayamayabilir. İki değişken arasındaki yayılımı ve korelasyonu ölçen kovaryansı tanıtıyoruz. Kovaryansı hesaplayarak, benzer varyanslara sahip veri kümeleri arasında ayrım yapabiliriz.
Şimdi bu kavramları PCA'ya uygulayalım. Veri setini orijinde merkezleyerek, veri setinin varyanslarından ve kovaryanslarından bir kovaryans matrisi oluşturarak başlıyoruz. Yaygın olarak Sigma olarak adlandırılan bu matris, değişkenler arasındaki yayılımı ve korelasyonları yakalar. Sonraki adımlar, verilerin temel bileşenlerine ilişkin içgörüler sağlayan özdeğerleri ve özvektörleri içerir. Son olarak, verileri ana bileşenlere yansıtmak, boyutları azaltmak ve veri kümesini basitleştirmek için PCA uyguluyoruz.
PCA, boyut indirgeme için güçlü bir tekniktir. Boyut sayısını azaltırken bir veri kümesindeki temel bilgileri yakalamaya yardımcı olur. Verileri ideal bir hat veya alana yansıtarak, karmaşık veri kümelerini basitleştirebilir ve daha yönetilebilir hale getirebiliriz.
Netflix filmleri nasıl önerir? Matris Çarpanlara ayırma
Netflix filmleri nasıl önerir? Matris Çarpanlara ayırma
Öneri sistemleri, YouTube ve Netflix gibi platformlar tarafından yaygın olarak kullanılan son derece büyüleyici makine öğrenimi uygulamalarıdır. Bu sistemler, kullanıcı verilerini analiz eder ve kullanıcıların tercihlerine uygun filmler ve videolar önermek için çeşitli algoritmalar kullanır. Bu sistemlerde kullanılan popüler bir yönteme matris çarpanlarına ayırma denir.
Matris çarpanlarına ayırmanın nasıl çalıştığını anlamak için Netflix evreninde varsayımsal bir senaryoyu ele alalım. Dört kullanıcımız var: Anna, Betty, Carlos ve Dana ve beş film: 1. Film, 2. Film, 3. Film, 4. Film ve 5. Film. ve amaç bu derecelendirmeleri tahmin etmektir.
Satırların kullanıcıları, sütunların ise filmleri temsil ettiği bir tablo oluşturuyoruz. Tablodaki her giriş, belirli bir film için kullanıcının derecelendirmesine karşılık gelir. Örneğin, Anna Film 5'i beş üzerinden dört yıldızla derecelendirirse, bu derecelendirmeyi Anna'nın satırı ve Film 5'in sütununun altındaki tabloya kaydederiz.
Şimdi insanların film tercihleri açısından nasıl davrandıkları sorusuna bir göz atalım. Hangisinin daha gerçekçi olduğunu belirlemek için üç farklı tabloyu inceliyoruz. İlk tablo, tüm kullanıcıların tüm filmleri 3 puanla derecelendirdiğini varsayar; bu, herkesin aynı tercihlere sahip olduğunu varsaydığı için gerçekçi değildir. Üçüncü tablo, insan davranışını da doğru bir şekilde yansıtmayan rastgele derecelendirmelerden oluşmaktadır. Ancak, satırlar ve sütunlar arasında bağımlılıklar sergileyen ikinci tablo, en gerçekçi temsil olarak görünmektedir.
İkinci tabloyu inceleyerek, benzer tercihlere sahip kullanıcılar ve benzer derecelendirmelere sahip filmler gibi bağımlılıkları gözlemliyoruz. Örneğin, tablodaki birinci ve üçüncü sıraların aynı olması, Anna ve Carlos'un çok benzer tercihlere sahip olduğunu gösterir. Bu benzerlik, Netflix'in önerilerde bulunurken onlara aynı kişi gibi davranmasını sağlar. Ayrıca 1. ve 4. sütunların aynı olduğunu fark ettik, bu da Film 1 ve Film 4'ün içerik veya çekicilik açısından benzer olabileceğini gösteriyor. Ayrıca, dördüncü sıradaki değerleri elde etmek için ikinci ve üçüncü sıralardaki değerlerin toplanabileceği üç sıra arasında bir bağımlılık buluyoruz. Bu bağımlılık, bir kullanıcının tercihlerinin diğer kullanıcıların tercihlerinden türetilebileceği anlamına gelir. Bu bağımlılıklar, her zaman açıkça açıklanamasa da, öneri sistemlerinde yararlanılabilecek değerli içgörüler sağlar.
Bu bağımlılıklardan yararlanmak ve derecelendirme tahminleri yapmak için matris çarpanlarına ayırma devreye giriyor. Matris çarpanlarına ayırma, büyük, karmaşık bir matrisi iki küçük matrisin ürününe ayırmayı içerir. Bu durumda, büyük matris kullanıcı-film derecelendirme tablosunu temsil ederken, daha küçük matrisler kullanıcı tercihlerini ve film özelliklerini temsil eder.
Bu iki küçük matrisi bulmak için filmler için komedi ve aksiyon gibi özellikleri tanıtıyoruz. Her film, komedi ve aksiyon düzeyine göre derecelendirilir. Benzer şekilde, kullanıcılar bu özelliklere yönelik tercihleriyle ilişkilendirilir. Daha sonra nokta çarpım, bir kullanıcının belirli özelliklere olan yakınlığını ve bir filmin özellik derecelendirmelerini dikkate alarak derecelendirmeleri tahmin etmek için kullanılır. Örneğin, bir kullanıcı komediyi seviyor ancak aksiyondan hoşlanmıyorsa ve bir filmin komedi için yüksek ancak aksiyon için düşük puanları varsa, iç çarpım hesaplaması, kullanıcının tercihleriyle uyumlu bir derecelendirmeyle sonuçlanır.
Bu iç çarpım hesaplamasını her kullanıcı-film kombinasyonuna uygulayarak, tahmini derecelendirmeler oluşturabilir ve derecelendirme tablosundaki eksik girişleri doldurabiliriz. Bu süreç, orijinal matrisi iki küçük matrisin çarpımı olarak ifade etmemize izin vererek, matris çarpanlarına ayırmayı sağlar.
Daha önce satırlar ve sütunlar arasında keşfettiğimiz bağımlılıkların, çarpanlara ayrılmış matrislerde hala mevcut olduğunu belirtmekte fayda var. Örneğin, Anna ve Carlos arasındaki benzerlik, kullanıcı özellik matrisindeki karşılık gelen satırlarının benzerliğine yansır. Benzer şekilde, benzer derecelendirmelere sahip filmler, film özellik matrisindeki özellik puanlarında benzerlik göstermektedir. Ek olarak, belirli özellikler için ortak tercihleri aracılığıyla kullanıcılar ve filmler arasındaki ilişki gibi daha karmaşık ilişkiler gözlemlenebilir.
Kullanıcı tercihlerini ve film özelliklerini temsil eden çarpanlara ayrılmış matrisleri elde ettikten sonra, kişiselleştirilmiş önerilerde bulunmak için bunlardan yararlanabiliriz. Belirli bir kullanıcı için, kullanıcı özellik matrisindeki tercihlerini, film özellik matrisindeki tüm filmlerin özellik puanlarıyla karşılaştırabiliriz. Kullanıcının tercih vektörü ile her filmin özellik vektörü arasındaki iç çarpımı hesaplayarak, o kullanıcı-film çifti için tahmin edilen derecelendirmeyi belirleyebiliriz. Bu tahmin edilen derecelendirmeler, kullanıcıya film önermek için bir temel oluşturur.
Bunu göstermek için, hedef kullanıcımız olarak Anna'yı ele alalım. Kullanıcı özellik matrisinden Anna'nın tercihlerini çıkardık ve bunu film özellik matrisindeki tüm filmlerin özellik puanlarıyla karşılaştırdık. Anna'nın tercih vektörü ile her filmin özellik vektörü arasındaki iç çarpımı hesaplayarak, Anna için tahmin edilen derecelendirmelerin bir listesini elde ederiz. Tahmin edilen derecelendirme ne kadar yüksek olursa, Anna'nın o filmden hoşlanma olasılığı o kadar artar. Tahmin edilen bu derecelendirmelere dayanarak, Anna için sıralanmış bir film önerileri listesi oluşturabiliriz.
Bu önerilerin doğruluğunun, çarpanlara ayırmanın kalitesine ve özellik temsiline bağlı olduğuna dikkat etmek önemlidir. Çarpanlara ayırma işlemi, kullanıcı filmi derecelendirmelerindeki temel kalıpları ve bağımlılıkları yakalarsa ve özellikler, filmlerin özelliklerini ve kullanıcı tercihlerini etkili bir şekilde temsil ediyorsa, önerilerin ilgili ve kullanıcının zevkleriyle uyumlu olma olasılığı daha yüksektir.
Matris çarpanlara ayırma, öneri sistemlerinde kullanılan birçok teknikten yalnızca biridir ve gizli faktörleri yakalamada ve kişiselleştirilmiş öneriler üretmede etkili olduğu kanıtlanmıştır. Netflix ve YouTube gibi platformlar, kullanıcıların önceki etkileşimlerine ve tercihlerine göre muhtemelen keyif alacakları içerik önererek kullanıcı deneyimini geliştirmek için bu teknikleri kullanır.
Matris çarpanlarına ayırma, öneri sistemlerinde, bir kullanıcı-film derecelendirme matrisini kullanıcı tercihlerini ve film özelliklerini temsil eden iki küçük matrise bölen güçlü bir yaklaşımdır. Verilerdeki bağımlılıkları ve kalıpları yakalayarak, doğru tahminlerin ve kişiselleştirilmiş önerilerin oluşturulmasını sağlar.
Gizli Dirichlet Tahsisi (Bölüm 1/2)
Gizli Dirichlet Tahsisi (Bölüm 1/2)
Merhaba, ben Luis Serrano ve bu Latent Dirichlet Allocation (LDA) ile ilgili iki videodan ilki. LDA, belgeleri konulara göre sıralamak için kullanılan bir algoritmadır. Her makalenin bir veya daha fazla konuyla ilişkilendirildiği, haber makaleleri gibi bir belge külliyatını ele alalım. Ancak konuları önceden bilmiyoruz, sadece makalelerin metnini biliyoruz. Amaç, bu belgeleri konulara göre kategorize edebilen bir algoritma geliştirmektir.
Kavramı açıklamak için, her biri beş kelime içeren dört belgeden oluşan küçük bir örnek kullanalım. Basit olması için, dilimizde yalnızca dört olası kelime olduğunu varsayalım: "top", "gezegen" (veya "galaksi"), "referandum" ve üç olası konu: bilim, politika ve spor.
Belgelerdeki kelimelere göre her belgeye konu atayabiliriz. Örneğin, ilk belge bir spor konusunu çağrıştıran "top" ve "galaksi" kelimelerini içeriyor. İkinci belge, bir siyaset konusunu belirten "referandum" kelimesini içeriyor. Üçüncü belgede bir bilim konusunu belirten "gezegen" ve "galaksi" sözcükleri vardır. Dördüncü belge belirsizdir ancak "gezegen" ve "galaksi" kelimelerini içerir ve bu da bir bilim konusunu düşündürür.
Bununla birlikte, bu kategorizasyon, insanlar olarak kelimeleri anlamamıza dayanmaktadır. Bilgisayar ise yalnızca kelimelerin aynı mı yoksa farklı mı olduğunu ve aynı belgede bulunup bulunmadığını bilir. Latent Dirichlet Allocation'ın yardıma geldiği yer burasıdır.
LDA, belgeleri konulara göre kategorize etmek için geometrik bir yaklaşım benimser. Konuları (bilim, politika ve spor) temsil eden köşeleri olan bir üçgen hayal edin. Amaç, belgeleri bu üçgenin içine, ilgili konulara yakın bir yere yerleştirmektir. Bazı belgeler, her iki konuyla ilgili sözcükler içeriyorsa, iki konu arasında sınırda kalabilir.
LDA, belge üreten bir makine olarak düşünülebilir. Ayarları ve vitesleri var. Ayarları yaparak, makinenin çıkışını kontrol edebiliriz. Dişliler, makinenin iç işleyişini temsil eder. Makine bir belge oluşturduğunda, bu orijinal belge değil, rastgele bir kelime kombinasyonu olabilir.
Makine için en iyi ayarları bulmak için, bunun birden çok örneğini çalıştırıyoruz ve oluşturulan belgeleri orijinal belgelerle karşılaştırıyoruz. Belgeleri orijinallerine en yakın şekilde veren ayarlar, düşük olasılıkla da olsa en iyi olarak kabul edilir. Bu ayarlardan konuları çıkarabiliriz.
Literatürde tasvir edildiği şekliyle makinenin planı ilk başta karmaşık görünebilir. Ancak parçalara ayırırsak, Dirichlet dağılımlarından (ayarlar) ve multinomial dağılımlardan (dişliler) oluşur. Bu dağıtımlar, belgelerde konu ve sözcükler oluşturmamıza yardımcı olur.
Dirichlet dağılımları, geometrik bir şeklin içindeki noktaların dağılımı olarak düşünülebilir. Örneğin, üçgen şeklinde noktalar, konuların belgelere göre dağılımını temsil eder. Dağılım, noktaların köşelere mi (konulara) yoksa merkeze mi yöneldiğini kontrol eden parametrelerden etkilenir.
Multinomial dağılımlar ise her konu içindeki kelimelerin dağılımını temsil eder. Bir tetrahedron gibi geometrik bir şeklin içindeki noktalar, belirli bir konu için sözcüklerin birleşimini gösterir.
LDA, belgeleri oluşturmak için bu dağıtımları birleştirir. Bir belgenin çıkma olasılığı, makinenin ayar ve dişlilerini içeren bir formül kullanılarak hesaplanır.
LDA, belgeleri konulara göre sınıflandırmaya yardımcı olan bir algoritmadır. Belgeler, konular ve sözcükler arasındaki ilişkileri temsil etmek için geometrik dağılımları kullanır. Makinenin ayarlarını değiştirerek orijinaline çok benzeyen belgeler üretebiliriz. Bu ayarlardan konuları çıkarabiliriz.
Eğitim Gizli Dirichlet Tahsisi: Gibbs Örnekleme (2/2 Bölüm)
Eğitim Gizli Dirichlet Tahsisi: Gibbs Örnekleme (2/2 Bölüm)
Merhaba, ben Luis Serrano ve bu videoda size Gibbs örneklemesini kullanarak bir Latent Dirichlet Allocation (LDA) modelinin nasıl eğitileceğini göstereceğim. Bu video iki bölümlük serinin ikinci bölümüdür. İlk videoda LDA'nın ne olduğundan bahsetmiştik ve Dirichlet dağılımlarını daha detaylı inceledik. Ancak bunu anlamak için ilk videoyu izlemek şart değil.
Çözmeye çalıştığımız sorunun hızlı bir özetini yapalım. Haber makaleleri gibi bir belge koleksiyonumuz var ve her belge bilim, siyaset veya spor gibi bir veya daha fazla konuyla ilişkilendirilebilir. Ancak belgelerin konularını bilmiyoruz, sadece içindeki metinleri biliyoruz. Amacımız, LDA kullanarak bu makaleleri yalnızca metinlerine göre konulara göre gruplandırmak.
Önceki videoda, dört belge ve dört kelimeden oluşan sınırlı bir kelime dağarcığıyla bir örneğe baktık: "top", "gezegen", "galaksi" ve "referandum". Her kelimeye renkleri (konuları temsil eden) atadık ve çoğu makalenin ağırlıklı olarak tek bir konuyla ilişkilendirildiğini gözlemledik. Ayrıca kelimelerin çoğunlukla belirli bir konuyla ilişkilendirilme eğiliminde olduğunu da fark ettik.
LDA kullanarak bu sorunu çözmek için hem kelimelere hem de belgelere konu atamamız gerekiyor. Her kelimeye birden çok konu atanabilir ve her belgenin birden çok konusu olabilir. Her belgeyi olabildiğince tek renkli ve her kelimeyi çoğunlukla tek renkli yapan sözcüklere konu ataması bulmayı amaçlıyoruz. Bu sayede kelime veya konu tanımlarına güvenmeden makaleleri etkili bir şekilde gruplandırabiliriz.
Şimdi, Gibbs örneklemesini kullanarak bu sorunu çözmeye başlayalım. Dağınık bir odayı, nesnelerin genel konumunu bilmeden organize ettiğinizi hayal edin. Yalnızca nesnelerin birbirine göre nasıl yerleştirilmesi gerektiğine güvenebilirsiniz. Benzer şekilde, diğer tüm atamaların doğru olduğunu varsayarak kelimeleri birer birer renk atayarak düzenleyeceğiz.
Başlangıçta, kelimelere rastgele bir renk atamasıyla başlıyoruz. Ardından, rastgele bir kelime seçerek ve diğer atamalara göre ona bir renk atayarak atamayı yinelemeli olarak iyileştiririz. Örneğin, "top" kelimesini seçersek ve diğer tüm atamaların doğru olduğunu varsayarsak, "top" için en iyi rengi, onun belgedeki yaygınlığını ve kelimenin tüm görünüşleri arasındaki yaygınlığını göz önünde bulundurarak belirleriz. Her bir renkle ilgili olasılıkları çarpıyoruz ve en yüksek sonuç veren rengi seçiyoruz.
Bu işlemi her kelime için tekrarlayarak, kelimelere renk atamasını kademeli olarak iyileştirerek makaleleri daha tek renkli ve kelimeleri çoğunlukla tek renkli hale getiriyoruz. Bu algoritma mükemmel çözümü garanti etmese de, sorunu kelime veya konu tanımlarına dayanmadan etkili bir şekilde çözer.
Videonun geri kalan kısmında, Gibbs örneklemesi kullanarak bu sorunun nasıl çözüleceğine dair daha fazla ayrıntı vereceğim. Odayı her seferinde bir nesne düzenleyerek, dağınık bir odayı temiz bir odaya dönüştürebiliriz. Benzer şekilde, sözcüklere birer birer renkler atayarak, Gibbs örneklemesini kullanarak bir LDA modelini etkili bir şekilde eğitebiliriz.
Öyleyse Gibbs örnekleme algoritmamıza devam edelim. Birinci belgedeki "top" kelimesini, belgedeki kırmızı kelimelerin yaygınlığını ve "top" kelimesinin tüm belgelerdeki kırmızı renklendirme yaygınlığını temel alarak kırmızı olarak renklendirdik. Şimdi bir sonraki kelimeye geçelim ve işlemi tekrar edelim.
Birinci belgedeki sonraki kelime "galaksi". Yine diğer tüm kelimelerin doğru renklendirildiğini varsayarsak, mavi, yeşil ve kırmızı renkleri "galaksi" kelimesine aday olarak kabul ederiz. Şimdi birinci belgedeki mavi, yeşil ve kırmızı kelimeleri sayalım. Bir mavi kelime, bir yeşil kelime ve bir kırmızı kelime olduğunu bulduk. Üç renk de eşit şekilde temsil edildiğinden, yalnızca birinci belgeye dayalı olarak net bir kazananımız yok.
Ardından, tüm belgelerde yalnızca "galaksi" kelimesine odaklanalım. Olayları sayarak iki mavi kelime, iki yeşil kelime ve iki kırmızı kelime buluyoruz. Yine, tüm belgelerde "galaksi" kelimesi için net bir çoğunluk rengi yoktur.
Bu durumda, "galaksi" kelimesine rastgele bir renk atayabilir veya varsayılan bir renk seçebiliriz. Diyelim ki ona rastgele mavi rengi atadık. Şimdi, birinci belgedeki "galaksi" kelimesinin rengini mavi olarak güncelledik.
Bu işlemi tüm belgelerdeki tüm kelimeler için yerel ve küresel bağlamlarını göz önünde bulundurarak tekrarlıyoruz ve renklerini her belgedeki renklerin yaygınlığına ve her bir kelimenin tüm belgelerdeki renk yaygınlığına göre güncelliyoruz. Hepsini birden çok kez geçene kadar sözcükleri yinelemeye devam ediyoruz.
Birkaç yinelemeden sonra, her makaleyi olabildiğince tek renkli ve her kelimeyi olabildiğince tek renkli yapma hedefimizi karşılayan bir renklendirmeye yaklaşıyoruz. Gibbs örneklemesini kullanarak gizli bir Dirichlet ayırma (LDA) modelini etkili bir şekilde eğittik.
Gibbs örneklemesi, sözcüklerin tanımlarına güvenmeden belgelere konu atama sorununu çözmemizi sağlayan bir tekniktir. Her belgedeki renklerin yaygınlığına ve tüm belgelerde her bir sözcük için renklerin yaygınlığına bağlı olarak sözcüklerin renklerinin yinelemeli olarak güncellenmesini içerir. Bu işlem, kelimelerin anlamlarını bilmeden bile belgelerdeki konuları temsil eden bir renklendirme ile sonuçlanır.
Gibbs örneklemesini kullanarak, bir LDA modelini etkili bir şekilde eğitebilir ve konulara veya kelimelerin anlamlarına ilişkin önceden bilgi sahibi olmadan yalnızca metin içeriğine dayalı olarak makaleleri konulara göre gruplandırabiliriz. Bu yaklaşım, amacın bir belgeler koleksiyonundaki gizli konuları veya temaları ortaya çıkarmak olduğu doğal dil işleme görevlerinde özellikle yararlıdır.
Tekil Değer Ayrışımı (SVD) ve Görüntü Sıkıştırma
Tekil Değer Ayrışımı (SVD) ve Görüntü Sıkıştırma
Merhaba, ben Louis Sorano ve bu videoda Singular Value Decomposition (SVD) kavramını ele alacağım. SVD, görüntü sıkıştırma gibi çeşitli uygulamalara sahip döndürmeler ve uzatmalar içerir. İlgileniyorsanız, uygulamanın kodunu yorumlarda bağlantısı verilen GitHub depomda bulabilirsiniz. Ayrıca "Rocking Machine Learning" adlı bir kitabım var ve linkini indirim koduyla birlikte yorumlarda bulabilirsiniz.
Şimdi dönüşümlere geçelim. Dönüşümler, noktaları alan ve onları diğer noktalara eşleyen işlevler olarak görülebilir. Uzatma ve sıkıştırma, bir görüntüye yatay veya dikey olarak uygulanabilen dönüştürme örnekleridir. Bir görüntüyü belirli bir açıyla döndürmek, başka bir dönüştürme türüdür.
Şimdi bir bilmece çözelim. Sadece döndürme, yatay ve dikey esneme/sıkıştırma kullanarak soldaki daireyi sağdaki elipse dönüştürebilir misiniz? Videoyu durdurun ve deneyin.
Bu bulmacayı çözmek için daireyi yatay olarak gereriz, dikey olarak sıkıştırırız ve ardından istenen elipsi elde etmek için saat yönünün tersine döndürürüz.
Daha zorlu bir yapboza geçelim. Bu sefer renkli daireyi renkleri koruyarak renkli elipse dönüştürmemiz gerekiyor. Uzatmadan veya sıkıştırmadan önce daireyi doğru yöne döndürmemiz gerekiyor. Bundan sonra germe ve kompresyonları uygulayabilir ve ardından istenen sonucu elde etmek için tekrar döndürebiliriz.
Buradaki kilit çıkarım, herhangi bir doğrusal dönüşümün, döndürme ve uzatmaların bir kombinasyonu olarak ifade edilebileceğidir. Doğrusal bir dönüşüm, bir matrisle temsil edilebilir ve SVD, bir matrisi üç parçaya ayırmamıza yardımcı olur: iki döndürme matrisi ve bir ölçeklendirme matrisi.
Bu döndürme ve ölçeklendirme matrisleri, herhangi bir doğrusal dönüşümü taklit etmek için kullanılabilir. Döndürmeler, bir açıyla döndürmeleri temsil eder ve ölçeklendirme matrisleri, yatay ve dikey germeleri veya sıkıştırmaları temsil eder. Köşegen matrisler gibi özel özelliklere sahip matrisler, ölçeklendirme dönüşümlerini temsil eder.
SVD ayrıştırma denklemi A = UΣVᴴ, bir A matrisini şu üç matrisin ürünü olarak ifade eder: bir döndürme matrisi U, bir ölçeklendirme matrisi Σ ve başka bir döndürme matrisi Vᴴ (V'nin eşlenik veya eşlenik devrik). Bu denklem herhangi bir matrisi bileşenlerine ayırmamızı sağlar.
SVD'yi bulmak için matematiksel yöntemler mevcuttur, ancak Wolfram Alpha veya Python'daki NumPy paketi gibi araçları da kullanabiliriz.
SVD ayrışımı, boyutsallığın azaltılmasına ve matrislerin basitleştirilmesine yardımcı olur. Σ ölçekleme matrisini analiz ederek dönüşümün özelliklerini anlayabiliriz. Büyük bir ölçekleme faktörü, esnemeyi gösterirken, küçük bir faktör sıkıştırmayı gösterir. Bir ölçekleme faktörü sıfır olursa, dönüşüm dejenere olur ve tüm düzlemi bir çizgiye sıkıştırabilir.
Ölçekleme matrisini değiştirerek, daha yüksek sıradaki bir matrisi daha düşük sıradaki bir matrise sıkıştırabilir, böylece orijinal matrisi temsil etmek için gereken bilgi miktarını etkili bir şekilde azaltabiliriz. Bu sıkıştırma, matrisi iki küçük matrisin ürünü olarak ifade ederek elde edilir. Ancak, tüm matrisler bu şekilde sıkıştırılamaz.
Singular Value Decomposition (SVD), bir matrisi döndürmelere ve uzatmalara ayırmamızı sağlayan güçlü bir araçtır. Bu ayrıştırma, görüntü sıkıştırma ve boyut azaltma dahil olmak üzere çeşitli alanlarda uygulamalara sahiptir.
AI Devrimi | Toronto Küresel Forumu 2019
AI Devrimi | Toronto Küresel Forumu 2019 | 5 Eylül Perşembe |
Bu odadaki herhangi biri, bu röportajı yapmayı kabul etmeden önce birazcık bile korkutulduğumu düşünürse, haklı olur. Ancak, bunu bir kenara bırakalım ve verimli bir tartışma yapmaya odaklanalım. Amacım, herkesin buraya geldiklerinden daha büyük bir anlayışla buradan ayrılması. Öyleyse başlayalım.
Bir bağlam sağlamak için, yakın zamanda sinir ağları ve derin öğrenme konusundaki çalışmalarımız nedeniyle bana ve meslektaşıma Turing Ödülü verildi. Jeff'in derin öğrenmenin ne olduğunu ve sinir ağlarının ne olduğunu açıklamasının faydalı olacağını düşündüm.
Yaklaşık altmış yıl önce, akıllı sistemler yaratma konusunda iki ana fikir vardı. Bir yaklaşım mantığa dayanıyordu ve çıkarım kurallarını kullanarak sembol dizilerini işlemeyi içeriyordu. Diğer yaklaşım, birbirine bağlı beyin hücrelerinin bir ağının öğrendiği ve uyum sağladığı beynin yapısından esinlenmiştir. Bu iki paradigma oldukça farklıydı ve uzun bir süre sinir ağı yaklaşımı tatmin edici sonuçlar elde etmek için mücadele etti. İlerleme eksikliği, sınırlı veri mevcudiyeti ve hesaplama gücünden kaynaklanıyordu.
Ancak bu yüzyılın başında önemli bir değişime tanık olduk. Verilerin ve bilgi işlem gücünün üstel büyümesiyle, örneklerden öğrenilen sistemler oldukça etkili hale geldi. Spesifik görevleri programlamak yerine, simüle edilmiş beyin hücrelerinden oluşan geniş ağlar oluşturduk ve istenen davranışı elde etmek için aralarındaki bağlantı güçlerini ayarladık. Ağ, girdi verilerini ve karşılık gelen doğru çıktıyı sağlayarak genelleştirmeyi ve doğru tahminler yapmayı öğrendi. Derin öğrenme olarak bilinen bu yaklaşım, konuşma tanıma, görüntü tanıma, makine çevirisi ve diğer çeşitli görevlerde devrim yarattı.
Derin öğrenme beyinden ilham alırken, nasıl çalıştığına dair ayrıntıların önemli ölçüde farklılık gösterdiğine dikkat etmek önemlidir. Beynin örneklerden öğrenme ve bağlantı güçlerini uyarlama yeteneğini taklit ederek soyut bir düzeyde çalışır.
Şimdi, öğrenmenin neden bu kadar önemli olduğunu ve sembollere ve kurallara dayalı geleneksel yapay zeka yaklaşımının neden işe yaramadığını açıklayayım. Sahip olduğumuz ancak kolayca açıklayamadığımız veya bilgisayarlara programlayamadığımız çok büyük miktarda bilgi var. Örneğin, bir bardak su gibi nesneleri nasıl tanıyacağımızı biliyoruz, ancak bu bilgiyi bilgisayarlara aktarmak zordur. İnsan bilişinin birçok yönüne ilişkin anlayışımız, kolayca incelenemez veya makineler için açık talimatlara dönüştürülemez. Benzer şekilde, beynimizde saklı olan o bilgiye bilinçli erişimimiz olmadığı için bazı şeyleri başka birine açıklayamayız.
Bilgisayarlara bu tür bilgileri sağlamak için verilerden öğrenme çok önemlidir. Tıpkı çocukların deneyimlerinden öğrendikleri gibi, bilgisayarlar da çok büyük miktarda veriyi eğiterek bilgi edinebilir. Bu yaklaşım, tam bir kopyası olmasa da beynimizin çalışma şeklini taklit etmeye en yakın olanıdır. Bu nedenle, verilerden öğrenme yeteneği, yapay zeka ve makine öğreniminin temel bir yönüdür.
Geçmişimizle ilgili olarak, başlangıçta bilişsel psikoloji okurken, bu alanda pek başarılı olamadım. Aslında, bilişsel psikologlar tarafından önerilen fikirler akıllı sistemler yaratmak için yetersiz ve uygulanamaz göründüğünden, başka yollar keşfetmek için ilham aldım.
Şimdi bilimsel araştırmalarda gerekli olan azim ve başta önemsenmese de neden devam ettiğimize değinelim. Araştırmada başarılı olmak için, geleneksel olmayan yollarda yürümeye istekli olunmalıdır. Araştırma, keşif ve keşifle ilgilidir ve genellikle başkalarının mantıksız bulabileceği fikirleri içerir. Kendine güven, risk alma isteği ve başkalarının gözden kaçırdıklarını takip etme yeteneği gerektirir. Yapay zekaya yaklaşımımız başlangıçta ciddiye alınmadı, ancak fikirlerimize güveniyorduk ve onları takip etmeye istekliydik, sonuçta derin öğrenmede atılımlara yol açtık.
İleriye dönük olarak, derin öğrenmenin uygulandığı heyecan verici girişimler hakkında sorular sordunuz. Uygulamalar, güneş panellerinin, karbon yakalamanın ve pillerin verimliliğini artırarak iklim değişikliğini ele almaktan, daha iyi tahmin yoluyla elektrik kullanımını iyileştirmeye ve yenilenebilir enerji kaynaklarını daha verimli kullanmaya kadar çok çeşitlidir. Derin öğrenme ayrıca şirketler tarafından arama motorları, tavsiyeler, kişiselleştirilmiş reklamcılık ve sanal asistanlar gibi müşteri etkileşimlerini geliştirmek için yaygın olarak kullanılır. Ayrıca sağlık alanında hastalıkların teşhisi, tıbbi görüntülerin analizi ve yeni ilaç adaylarının keşfedilmesi için uygulanmaktadır. Otonom araçlar alanında derin öğrenme, algılama, karar verme ve kontrol sistemlerinde çok önemli bir rol oynayarak ulaşımı daha güvenli ve verimli hale getiriyor.
Bir başka heyecan verici alan da, insan dilini anlamak ve oluşturmak için derin öğrenme modellerinin kullanıldığı doğal dil işlemedir. Bu, makine çevirisi, sohbet robotları, sesli asistanlar ve duygu analizinde önemli ilerlemelere yol açtı. Dolandırıcılık tespiti, risk değerlendirmesi ve yüksek frekanslı ticaret için finans alanında derin öğrenme de kullanılıyor.
Ayrıca derin öğrenme, bilimsel araştırma ve keşifte ilerleme kaydediyor. Astronomi, genom bilimi ve parçacık fiziği gibi alanlarda büyük veri kümelerinin analiz edilmesine yardımcı olarak yeni keşiflere ve kavrayışlara yol açıyor. Derin öğrenme, sanat, müzik ve edebiyat üretmek gibi yaratıcı uygulamalarda bile kullanılıyor.
Olağanüstü ilerlemeye rağmen, derin öğrenme hala zorluklarla karşı karşıyadır. Önemli bir endişe, eğitim için büyük miktarlarda etiketlenmiş verilere güvenilmesidir. Bu tür veri kümelerini edinmek ve açıklama eklemek zaman alıcı ve pahalı olabilir. Araştırmacılar, verimliliği artırmak ve derin öğrenmeyi veri açısından daha verimli hale getirmek için aktif olarak yöntemler araştırıyorlar.
Diğer bir zorluk, derin öğrenme modellerinin yorumlanabilirliğidir. Karmaşıklıkları nedeniyle, bir derin öğrenme modelinin neden belirli bir karar veya tahminde bulunduğunu anlamak zor olabilir. Bu şeffaflık eksikliği, özellikle sağlık ve ceza adaleti gibi hassas alanlarda etik ve yasal kaygıları artırmaktadır. Araştırmacılar, yorumlanabilirliği artıran ve derin öğrenme sistemlerinde güven oluşturan teknikler geliştirmeye çalışıyorlar.
Son olarak, derin öğrenme modellerinde adaletin sağlanması ve önyargıdan kaçınılması devam eden bir endişe kaynağıdır. Eğitim verilerinde bulunan sapmalar, taraflı tahminlere ve haksız sonuçlara yol açabilir. Adil ve tarafsız algoritmaların yanı sıra bu sorunları ele alan yönergeler ve düzenlemeler geliştirmek için çaba sarf edilmektedir.
Derin öğrenme, makinelerin verilerden öğrenmesini ve doğru tahminler yapmasını sağlayarak yapay zekada devrim yarattı. Çeşitli alanlarda uygulama bulmuştur ve bilim, teknoloji ve toplumda daha fazla ilerleme sağlama potansiyeline sahiptir. Ancak, gelecekte derin öğrenmenin sorumlu ve faydalı bir şekilde kullanılmasını sağlamak için veri gereksinimleri, yorumlanabilirlik ve adalet gibi zorluklar ele alınmalıdır.