Makine Öğrenimi ve Sinir Ağları - sayfa 12

 

Ders 2: Görüntü Oluşturma, Perspektif Projeksiyonu, Zaman Türevi, Hareket Alanı



Ders 2: Görüntü Oluşturma, Perspektif Projeksiyonu, Zaman Türevi, Hareket Alanı

Bu derste, perspektif izdüşüm kavramı ve hareketle ilişkisi kapsamlı bir şekilde tartışılmaktadır. Öğretim görevlisi, perspektif izdüşüm denkleminin farklılaşmasının kullanılmasının görüntüdeki parlaklık modellerinin hareketini ölçmeye nasıl yardımcı olabileceğini ve bunun gerçek dünyadaki hareketle nasıl ilişkili olduğunu gösterir. Ders ayrıca genişleme odağı, sürekli ve ayrık görüntüler ve bir nesnenin bir görüntüdeki hızını tahmin ederken doku için bir referans noktasına sahip olmanın önemi gibi konuları da kapsar. Ek olarak, ders, eğriler boyunca toplam türevlere ve optik akış vektör alanını kurtarmaya çalışırken denklem sayımı ve kısıtlamalar konusuna değinir.

Konuşmacı, parlaklık gradyanı, bir nesnenin hareketi, 2B durum ve izofotlar gibi çeşitli konuları kapsar. Bir nesnenin hızının hesaplanmasında karşılaşılan zorluklardan biri, parlaklık gradyanının orantısal ilişkisinden kaynaklanan ve farklı görüntü bölgelerine katkıları ağırlıklandırarak veya minimum çözümler arayarak çözülen açıklık sorunudur. Ders daha sonra izofotların farklı durumlarını derinlemesine inceler ve görüntüdeki değişikliğin sonuçtaki değişikliğe duyarlılığını ölçen gürültü kazancı kavramını kullanarak hızı belirlerken gürültülü bir yanıt yerine anlamlı bir yanıt hesaplamanın önemini vurgular. .

  • 00:00:00 Bu bölümde öğretim görevlisi perspektif izdüşümü ve hareketi tartışır. Perspektif izdüşüm, 3B dünyadaki noktalar ile 2B görüntü arasında, uygun koordinat sistemleri aracılığıyla temsil edilebilen bir ilişkiyi içerir. Perspektif denkleminin farklılaşmasının, görüntüdeki parlaklık modellerinin hareketini ölçmeye yardımcı olabileceğini ve bunun daha sonra gerçek dünyadaki hareketi belirlemek için kullanılabileceğini açıklıyorlar. Öğretim görevlisi, x ve y yönlerindeki hızlar gibi daha kolay sindirilebilen semboller kullanarak denklemlerin karmaşıklığını azaltır.

  • 00:05:00 Bu bölümde öğretim görevlisi, görüntüde hareketin olmadığı bir nokta olan genişlemenin odağını bulmak için hareket vektörlerinin nasıl kullanılacağını açıklar. Bu nokta önemlidir çünkü hareketin yönünü basitçe orijine bağlayarak belirlememizi sağlar ve bize çevre veya hareket hakkında bir şeyler söyler. Öğretim üyesi, genişlemenin odağı belirli bir noktadaysa görüntünün deseninin nasıl görüneceğini ve hareket alanını göstermek için vektör diyagramının nasıl çizilebileceğini göstermeye devam eder.

  • 00:10:00 Dersin bu bölümünde, görüntü oluşturma ve perspektif izdüşüm bağlamında genişleme ve sıkıştırma odağı kavramları tanıtılmaktadır. Denklem, mesafe ve hızın ölçülmesinde önemli olan genişleme odağından dışarıya doğru yayılan vektörleri tanımlar. w'nin z'ye oranı vektörlerin boyutunu belirler ve genişleme odağının tersi, sıkıştırmanın odağıdır. Z'nin w'ye oranını alarak, çarpışma süresi tahmin edilebilir, bu da uzay aracını indirmek veya mesafeyi ölçmek için yararlıdır. Hemen kullanışlı olmasa da fikir daha sonra vektör biçiminde sunulur.

  • 00:15:00 Bu bölümde, konuşmacı perspektif projeksiyon denklemini ve bunun görüntü koordinatlarını tanıtmak için nasıl kullanılabileceğini tartışıyor. Genişletmenin odağı, z'ye karşılık gelen r noktasının sıfır olduğu nokta olarak sunulur. Her bir bileşeni zamana göre farklılaştırarak, 3B'de hareket ve derinlikte hareket için denklemler türetebiliriz. Konuşmacı ayrıca denklemleri akış hakkında genel bir ifadeye dönüştürmek için kitabın ekindeki bir sonucu kullanır ve görüntü hareketinin dünya hareketi cinsinden ifade edilmesine izin verir.

  • 00:20:00 Bu bölümde öğretim görevlisi görüntü hareketi kavramını ve bunun z ekseniyle ilişkisini tartışır. Ortaya çıkan görüntü hareketinin z eksenine dik olduğu bulunmuştur, bu şaşırtıcı değildir çünkü görüntü hızları x ve y yönlerinde olan yalnızca iki boyuttadır. Ders daha sonra radyal hareket kavramını ve bunun görüntü hareketi üzerindeki etkisini araştırır ve nesne doğrudan gözlemciye doğru veya gözlemciden uzağa hareket ediyorsa görüntü hareketi olmadığı sonucuna varır. Öğretim görevlisi, vektörlerin hepsinin aynı uzunlukta olmadığı akış alanlarının örneklerini inceleyerek, bunun hoş olmasa da avantajlı olabileceğini göstererek bitirir.

  • 00:25:00 Bu bölümde öğretim görevlisi, görüntü oluşumunun ileri sürecini anlamanın, hareket alanlarından derinliği geri kazanma ters problemini çözmeye nasıl yardımcı olabileceğini tartışıyor. Öğretim görevlisi, derinlik ve hızın hareket alanının görünümünü etkileyen iki temel faktör olduğunu ve birini bilmenin diğerini hesaplamaya yardımcı olabileceğini belirtiyor. Bununla birlikte, her ikisinin de kurtarılması, birden çok çözümü olan veya hiç çözümü olmayan, kötü konumlanmış bir soruna yol açabilir. Öğretim görevlisi ayrıca, daha sonra tartışılacak olan, parlaklık değerlerinin 2 boyutlu bir modeli olarak temsil edilebilen görüntü parlaklık modellerine ve RGB değerlerinin kullanıldığı renk temsiline de kısaca değinir. Son olarak öğretim görevlisi, dijital görüntülerin uzayda ve tipik olarak bir dikdörtgen ızgara üzerinde nicemlenmesiyle görüntülerin sürekli veya ayrık olarak temsil edilebileceğini açıklar.

  • 00:30:00 Dersin bu bölümünde, profesör görüntü işlemede sürekli ve ayrık alanlar arasındaki farkı tartışıyor. Uygulamada görüntüler genellikle iki indeksli sayı dizileriyle temsil edilirken, sürekli fonksiyonların kullanılması, integral alma gibi belirli işlemlerin anlaşılmasını kolaylaştırabilir. Ek olarak profesör, parlaklığın x ve y türevlerinin fark yöntemleriyle yaklaştırılmasından ve görüntü işlemede parlaklık gradyanının öneminden bahsediyor. Ders ayrıca 1D sensörlere ve bunların görüntüyü taramak için bir araç olarak hizmet eden hareketle görüntüleme için nasıl kullanılabileceğine değiniyor. Profesör, bir görüntünün iki karesi arasındaki hareket hızını belirleme problemini ortaya koyuyor ve bir masanın yüzeyini haritalayan bir optik fare örneği veriyor.

  • 00:35:00 Bu bölümde, öğretim görevlisi optik fare teknolojisinde yapılan varsayımları, özellikle de bir yüzeye bakarken sabit parlaklık varsayımını tartışıyor. Ayrıca kareler arasındaki parlaklık değişimini analiz ederek hareketi belirlemek için bir eğrinin küçük bir doğrusal yaklaşımının nasıl kullanılabileceğini açıklıyor. Öğretim görevlisi, kenar algılama için kullanılabilecek parlaklık gradyanının bileşenlerinin yanı sıra kısmi türev gösterimini tanıtır. Son olarak, delta e = e alt x çarpı delta x formülü türetilir ve hareketi hesaplamak için delta t'ye bölünür.

  • 00:40:00 Dersin bu bölümünde, konuşmacı 1D görüntüdeki tek bir pikselden hareketin nasıl kurtarılacağını tartışıyor. Sonuç, konuşmacının hareketi geri kazanmasına izin verir, ancak bu yaklaşım 2B görüntüler için çalışmaz. Konuşmacı, daha büyük ET değerlerinin daha hızlı hareketleri gösterdiğini ve EX sıfır olduğunda bir sorun olduğunu, çünkü sıfıra bölmenin veya küçük değerlerin ölçüm sorunlarından dolayı hatalara yol açacağını açıklıyor. Ek olarak konuşmacı, küçük veya sıfır EX değerlerinin ölçüm hatalarından dolayı gürültülü tahminlere yol açtığını açıklar.

  • 00:45:00 Dersin bu bölümünde konuşmacı, bir nesnenin bir görüntüdeki hızını tahmin ederken dokulu bir referans noktasına sahip olmanın önemini tartışıyor. Bu tür bir ölçüm, belirli görüntü koşulları karşılanmadıkça gürültülü ve güvenilir olmayabilir. Ancak, birden çok piksel kullanılarak ve hatayı azaltmak için en küçük kareler gibi teknikler uygulanarak sonuçlar önemli ölçüde iyileştirilebilir. Birden çok pikseli birleştirerek, ölçümlerin standart sapması, büyük görüntüler için önemli olan n'nin karekökü kadar azaltılabilir. Bununla birlikte, düşük eğimli alanların yüksek eğimli alanlardan gelen bilgilerle kirlenmesini önlemek için ölçümleri dokunun eğimine göre ağırlıklandırmak önemlidir. Son olarak, analiz 2B görüntülere genişletildi ve bir sonraki sonucu elde etmek için çoklu yaklaşımlar tartışıldı.

  • 00:50:00 Bu bölümde öğretim görevlisi video karelerinin, eksenleri x, y ve t olan parlaklık değerlerinin üç boyutlu bir hacmi olarak nasıl kavramsallaştırılabileceğini açıklar. Ders daha sonra kısmi türevleri ve bunların x, y veya t yönündeki komşu piksellerin farklarından nasıl türetildiğini açıklamaya devam eder. Öğretim görevlisi daha sonra, özellikle hareket halindeki bir nesnenin parlaklık gradyanı ile ilgili olarak, eğriler boyunca toplam türev kavramını araştırır. Zincir kuralını kullanarak, toplam türev kısmi türevler olarak ifade edilebilir ve nesnenin parlaklığının zaman içinde nasıl değişeceğinin tahmin edilmesini sağlar. Son olarak ders, görüntü dizilerinden u ve b'yi bulma kavramını tanıtıyor.

  • 00:55:00 Bu bölümde öğretim görevlisi, optik akış vektör alanını kurtarmaya çalışırken denklem sayımı ve kısıtlamalar konusunu tartışır. Bir bilinmeyen u ve bir kısıtlama denklemi durumunda, sonlu sayıda çözüm elde etmek mümkündür. Ancak, iki bilinmeyenli u ve v ve bir denklem kısıtlaması ile umutsuz görünüyor. Kısıtlama denklemi, görüntülerin hareket ettikçe parlaklıklarının değişmediği varsayımından türetilmiştir. Öğretim görevlisi, hız uzayında kısıtlama denkleminin çizilmesinin, problemin çözümünde önemli bir gelişme olan bir çizgi olarak ortaya çıktığını gösterir. Amaç, noktayı bir noktaya sabitlemek ve kesin optik akış vektör alanını elde etmektir.

  • 01:00:00 Videonun bu bölümünde konuşmacı, bir nesnenin hareketini belirlemede parlaklık gradyanının önemini tartışıyor. Parlaklık gradyanı, yüksek ve düşük parlaklığa sahip alanlar arasındaki geçişe dik olan bir birim vektördür. Konuşmacı, yerelleştirilmiş bir ölçüm yaparken bir nesnenin hareketini belirlemek için yeterli denklem olmadığını açıklıyor. Ancak parlaklık gradyanı yönündeki hareketi belirlemek mümkündür. Konuşmacı daha sonra 2B durumu tartışmak için devam eder ve bir nesnenin hareketini belirlemek için birden çok kısıtlamanın kullanılması gerektiğini belirtir. Bunu göstermek için, konuşmacı u ve v'nin değerlerini kurtarmak için basit bir lineer denklem çözer.

  • 01:05:00 Bu bölümde öğretim görevlisi, 2x2'lik bir matrisin nasıl ters çevrileceğini ve görüntü hareketi için doğrusal denklemler kümesini çözmek için nasıl kullanılacağını açıklar. Bununla birlikte, bazı uç durumlarda, matrisin determinantı sıfır olabilir, bu da parlaklık gradyanlarının birbiriyle orantılı olduğu ve açıklık sorununa yol açtığı anlamına gelir. Bu sorun, farklı görüntü bölgelerine yapılan katkıların, yalnızca sonucun ortalamasının alınmasından ziyade farklı şekilde ağırlıklandırılması gerektiğini göstermektedir. Bu problemi çözmek için, denklemi sıfır veya mümkün olduğu kadar küçük yapan u ve v değerlerini aramamız gerekir.

  • 01:10:00 Bu bölümde konuşmacı, u ve v'nin doğru değerlerinin tüm görüntü üzerinde entegre edildiğinde sıfırın integraliyle sonuçlandığı ideal bir durumda geçerli olan bir kısıtlamayı tartışıyor. Bu, u ve v'nin doğru değerlerini bulma stratejisinin temeli olabilir. Konuşmacı, sahnede ışık veya doku olmadığında bu yaklaşımın başarısız olabileceğini ve ex ve ey için sıfır değerlerle sonuçlanabileceğini belirtiyor. Konuşmacı daha sonra integralin karesini alarak ve en aza indirerek nasıl her zaman pozitif bir şeye dönüştüğünü ve iki bilinmeyenli iki denklemden oluşan bir hesap problemine yol açtığını açıklar. Bununla birlikte, ikiye ikiye matrisin determinantı sıfırsa bu başarısız olabilir; bu, ex her yerde sıfırsa veya ex eşittir ey ise gerçekleşebilir.

  • 01:15:00 Bu bölümde konuşmacı, eşit parlaklık gradyanına sahip çizgiler olan izofotların farklı durumlarını tartışıyor. İzofotlar 45 derecelik bir açıda, paralel çizgilerde veya eğri çizgilerde olabilir. Ancak konuşmacı, en genel durumun, diğer tüm durumları kapsadığı için bir açıdan izofotlar olduğunu vurgular. Ayrıca, izofotlar paralel çizgiler olduğunda tek sorunun ortaya çıktığını ve görüntüde köşeler veya yüksek izofot eğriliğine sahip alanlar gibi parlaklık gradyanının çok değiştiği alanlara bakılarak üstesinden gelinebileceğini belirtiyorlar. Son olarak, konuşmacı gürültü kazancı kavramını tanıtır ve öğrencileri ders ya da yaklaşan ev ödevi ile ilgili sorularını göndermeye teşvik eder.

  • 01:20:00 Bu bölümde öğretim görevlisi, hareketin hızını belirlerken gürültülü bir yanıt yerine anlamlı bir yanıt hesaplamanın önemini tartışıyor. Görüntüdeki değişikliğin sonuçtaki değişikliğe duyarlılığını ifade eden gürültü kazancı kavramını ve bunun hız hesaplamasını nasıl etkilediğini açıklıyor. Daha sonra, ileri fonksiyonun bilindiği ve amacın onu mantıklı ve gürültüye aşırı duyarlı olmayan bir şekilde tersine çevirmek olduğu tek boyutlu bir dönüşümü tanımlamaya devam ediyor.
Lecture 2: Image Formation, Perspective Projection, Time Derivative, Motion Field
Lecture 2: Image Formation, Perspective Projection, Time Derivative, Motion Field
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
 

Ders 3: Temas Süresi, Genişleme Odağı, Doğrudan Hareket Görüntü Yöntemleri, Gürültü Kazanımı



Ders 3: Temas Süresi, Genişleme Odağı, Doğrudan Hareket Görüntü Yöntemleri, Gürültü Kazanımı

Bu derste, farklı yönlere ve doğruluktaki farklılıklara odaklanarak, yapay görme süreçleriyle ilgili olduğu için gürültü kazancı kavramı vurgulanmaktadır. Öğretim görevlisi, hesaplamalardaki hataları en aza indirmek için vektörleri doğru bir şekilde ölçmenin ve kazancı anlamanın önemini tartışır. Temas süresi kavramını, genişleme odağını ve hareket alanlarını ele alan konuşmada, temas süresini tahmin etmek için radyal gradyanların nasıl hesaplanacağının bir gösterimi de yer alıyor. Öğretim görevlisi ayrıca, çok ölçekli süper pikseller kullanarak kare kare hesaplamalardaki sınırlamaların nasıl aşılacağını bir web kamerası kullanarak canlı bir gösteriyle gösterir. Genel olarak, ders, yapay görme süreçlerinin karmaşıklığına ve çeşitli niceliklerin doğru bir şekilde nasıl ölçüleceğine ilişkin faydalı bilgiler sağlar.

Ders, hareketli görüntünün çeşitli yönlerini ve bunların temas zamanı, genişleme odağı ve doğrudan hareketli görüntü yöntemlerinin belirlenmesindeki uygulamalarını tartışır. Konuşmacı, ara sonuçları görselleştirmek için araçlar gösterir, ancak bunların sınırlamalarını ve hatalarını da kabul eder. Ayrıca görüntü işlemede keyfi hareketlerle baş etme sorunu ele alınmış ve benzer hızlarda hareket eden komşu noktaların önemi vurgulanmıştır. Ders ayrıca, doğrudan hareketli görüş yöntemlerinin başarısını etkileyen kalıpları derinlemesine inceler ve temas ve düşman için zamanı daha rahat tanımlamak için yeni değişkenler sunar. Son olarak, farklı değişkenlerin hareket görüşünü nasıl etkilediğini anlamak için üç doğrusal denklemi ve üç bilinmeyeni çözme süreci ve hesaplamayı hızlandırmak için sürecin paralelleştirilmesi tartışılmaktadır.

  • 00:00:00 Bu bölümde öğretim görevlisi, ölçümdeki hatalar ile çevre ile ilgili nicelikleri tahmin etmedeki hatalar arasındaki ilişkiyi ifade eden gürültü kazancını tartışır. Fikri açıklamak için Wi-Fi erişim noktalarını kullanan bir iç mekan GPS sistemi örneği kullanıyor. Sistemin doğruluğu, telefondan erişim noktasına gidiş-dönüş sürelerinin yüksek hassasiyetle ölçülmesiyle sınırlıdır. Öğretim üyesi, bazı yapay görme işlemlerinin gürültü kazanç analizinin farklı yönlerde farklı olacağını ve tek bir sayı olmayacağını vurgular. Aksine, nasıl hareket ettiğinize bağlı olarak doğruluk bir yönde oldukça iyi belirlenebilir, ancak başka bir yönde belirlenemez.

  • 00:05:00 Videonun bu bölümünde, öğretim görevlisi konumu belirlemek için transponder kullanma kavramını ve bunun neden olabileceği ilgili hataları tartışıyor. İki transponder kullanılırsa ve bir hat üzerinde konumlandırılırsa, mesafedeki küçük değişiklikler nedeniyle belirli bir yöndeki doğruluğu belirlemenin zorlaştığını açıklıyor. Ancak, transponderler birbirinden 90 derece uzakta konumlandırılırsa doğruluk artar. Ayrıca öğretim üyesi, aynı miktarda hata ile olası konumların yerinin belirlenmesiyle ilgili olarak dairelerin kullanımını açıklar.

  • 00:10:00 Bu bölümde öğretim görevlisi, bizi çevrede ölçülmesi gereken bir nicelikten bir enstrümanda gözlemlenebilen bir niceliğe götüren ileri dönüşüm kavramını açıklıyor. Ölçümün mükemmel olmayabileceğini ve bu nedenle ilgilenilen nicelikteki gürültünün transfer fonksiyonunun türevi ile ölçümdeki gürültüyle ilişkili olduğunu açıklıyor. Öğretim görevlisi ayrıca f üssü x'in küçük bir değerinin iyi olmadığını çünkü ölçülen nicelikte ortaya çıkan belirsizliğin büyük olacağını vurgulayarak gürültü kazancının önemini vurgular.

  • 00:15:00 Bu bölümde konuşmacı vektörlerin nasıl ölçüleceğini ve bu ölçümlerde kazancı anlamanın önemini tartışıyor. Bir vektörü ölçmenin, skaler bir niceliği ölçmekten biraz daha karmaşıklık gerektirdiğini, ancak yine de doğrusal dönüşümler uygulayarak yapılabileceğini açıklıyorlar. Konuşmacı, vektör ölçümlerinin çok önemli bir yönünün, anizotropiyi hesaba katmayı ve sonuçlardaki ve ölçümlerdeki değişimin büyüklüğünü belirlemeyi içeren kazancı anlamak olduğunu vurgular. Determinantın tersinin belirlenmesi, lineer denklemlerin çözümünde esastır ve hesaplamalardaki hataların çoğalmasını en aza indirmek için bu değerin sıfır veya çok küçük olmasını önlemek çok önemlidir. Konuşmacı, ters matrisin nasıl elde edileceğini açıklamak için ikiye-iki matris örneği sağlar.

  • 00:20:00 Dersin bu bölümünde, gürültü kazancı kavramı, u ve v değişkenleri için hareket ve çözüm içeren bir örneğe uygulanır. Miktarın küçük olması durumunda gürültünün önemli ölçüde büyüyeceği ve bunun nedeni, iki pikseldeki parlaklık gradyanlarının yön açısından benzer olması ve bilgide çok az fark sağlamasıdır. İki doğrunun nasıl kesiştiğini ve bir doğrudaki küçük bir kaymanın kesişme noktasında nasıl büyük bir değişikliğe neden olabileceğini göstermek için hız uzayının bir diyagramı kullanılır ki bu arzu edilen bir durum değildir. Bununla birlikte, gürültü kazancının her yönde eşit derecede yüksek olmayabileceği ve hangi bileşene güvenilebileceğini bilmek yararlı olacağı belirtildiğinden, tüm umutlar kaybolmaz. Ders daha sonra temas süresi kavramına geçmeden önce sabit parlaklık varsayımını ve kısıtlama denklemini incelemeye devam eder.

  • 00:25:00 daha karmaşık gösterim. Bu bölümde öğretim görevlisi optik fare problemini ve bununla en küçük kareler yaklaşımı kullanarak nasıl başa çıkılacağını tartışır. Amaç, ex, ey ve et ölçümlerini kullanarak doğru hızı bulmaktır, ancak bu ölçümler genellikle gürültü nedeniyle bozulur, bu nedenle integralin minimum değeri (sıfır değil) bizim u ve v tahminimiz olacaktır. minimumu belirlemek için biraz matematik ve bu integrali en aza indirmenin önemini açıklar. Ardından, genişleme odağı durumunda olduğu gibi u ve v'nin öngörülebilir olduğu basit durumlara geçerler ve perspektif projeksiyonda dünya koordinatları ile görüntü koordinatları arasındaki ilişkiyi gözden geçirirler.

  • 00:30:00 Bu bölümde konuşmacı, x ve y yönlerinde sıfır hızlı hareketler için hızlar, mesafeler ve genişleme odağı arasındaki ilişkiyi tartışır. Konuşma, z yönündeki hareketin bileşeni olan w az'ın miktarını ve temas süresi olarak da bilinen, saniyede metre veya saniye cinsinden ölçülen bir hızın mesafesini kapsar; bu, nasıl olduğunu bulmakta yararlıdır. Hiçbir şey değişmezse, birinin bir nesneye çarpması uzun zaman alacaktır. Konuşmacı daha sonra basit bir örnekle birisi duvara doğru hareket ederken genişleme odağının nasıl çalıştığını ve bu senaryoda hareket alanının nasıl görüneceğini göstermeye devam eder.

  • 00:35:00 Bu bölümde konuşmacı, vektörleri bulmanın genişlemenin odağını bulma problemini çözmenin en kolay yolu olduğunu düşünsek de, gerçekte sahip olduğumuz tek şeyin parlaklık desenlerinden oluşan görüntüler olduğunu açıklıyor. içlerinde hiç vektör yok. Bunun yerine, bu sorunu çözmek için genişleyen veya küçülen bir görüntünün görüntü verilerini kullanmamız gerekir. Konuşmacı, genişleme yerine sıkıştırmayı gösteren vektörlerin bir diyagramını gösterir, ancak genişleme odağının bu deneyde önemli bir faktör olduğunu vurgular. Konuşmacı ayrıca iki vektörün iç çarpımı olan radyal gradyan fikrini de tanıtıyor: parlaklık gradyanının vektörü ve kameranın optik merkezine olan vektör ve bu, zamanın tersini ölçmek için kullanılabilir. görüntüdeki bir noktada parlaklık türevlerini kullanarak temas. Bununla birlikte, bu sayılar gürültüye tabidir ve türevleri tahmin etmek işleri daha da kötüleştirir, bu nedenle bu yöntem çok doğru değildir.

  • 00:40:00 Bu bölümde öğretim görevlisi radyal gradyanların nasıl hesaplanacağını ve bunların bir görüntünün temas süresini tahmin etmek için nasıl kullanılacağını açıklıyor. Radyal gradyan, görüntüde dikilmiş bir kutupsal koordinat sisteminde bir radyal vektör ile görüntü gradyanının nokta çarpımı alınarak hesaplanır. Öğretim görevlisi daha sonra hesaplanan radyal gradyan ile bir nokta ışık kaynağı için teorik sıfır değeri arasındaki farkı en aza indirmek için en küçük karelerin nasıl kullanılacağını gösterir. Bu, c parametresinin tahmininin temasa kadar geçen süreyi verdiği optik eksen boyunca basit bir hareket durumuna uygulanır.

  • 00:45:00 Dersin bu bölümünde, profesör doğrudan hareketli görüntü yöntemlerini kullanarak temasa geçen süreyi tahmin etme yaklaşımını açıklıyor. Gürültü varlığında ortalama kare hatasını en aza indirmek için hesabı kullanır ve temas süresinin tersi olan c için formül türetir. Anahtar, x ve y yönlerindeki komşu pikselleri kullanarak parlaklık gradyanını tahmin etmek, ardından radyal gradyanı hesaplamak ve son olarak g ve g kare tahminlerini elde etmek için tüm pikseller üzerinden çift katlı integralleri hesaplamaktır. Bunlarla, temas süresi, c formülü kullanılarak kolayca tahmin edilebilir. Yöntem basit ve etkilidir, üst düzey işlemeye veya karmaşık nesne tanıma tekniklerine ihtiyaç duymaz, bu da onu doğrudan temasa geçme süresinin hesaplanmasını sağlar.

  • 00:50:00 Bu bölümde konuşmacı, görüntü analizi tekniklerini kullanarak bir otobüsün konumunu ölçmeyi tartışıyor. Otobüsün görüntüsündeki piksel sayısını ve bunun zaman içinde nasıl değiştiğini ölçerek, otobüsün konumu doğru bir şekilde belirlenebilir. Ancak, bu süreç yüksek düzeyde hassasiyet gerektirir ve daha karmaşık senaryolarla uğraşırken zorlayıcı olabilir. Bu teknikleri göstermek için konuşmacı, çeşitli nesnelerle temas ve genişleme odağını tahmin etmek için görüntüleri işleyen Montevision adlı bir program kullanır. Program, görüntü tabanlı analizin doğruluğunu optimize etmek için üç değer hesaplar, ancak sonuçlar gürültülü olduğundan etkili olmaları için sürekli iyileştirme gerektirirler.

  • 00:55:00 Bu bölümde öğretim görevlisi, iletişim kurma süresini hesaplamak için bir yöntemi ve kare kare hesaplamalar kullanarak bunu yapmanın sınırlamalarını tartışıyor. Bu sınırlamalar, görüntü odak değişikliklerini ve yöntemin daha yakın nesnelerde daha büyük hızlara uyum sağlamadaki başarısızlığını içerir. Öğretim görevlisi, görüntü işleme hızını ve doğruluğunu artırmak için çok ölçekli süper pikseller kullanarak veya pikselleri birlikte gruplayarak bu sınırlamaların nasıl aşılacağını gösterir. Son olarak, öğretim görevlisi, kameranın hareketine bağlı olarak temasa geçilecek zamanı görüntülemek için bir web kamerası kullanarak canlı bir demo gösterir.

  • 01:00:00 Bu bölümde öğretim görevlisi, ara sonuçları görüntüleyebilen bir araç gösteriyor; bu araç sayesinde, x türevi kırmızıyı ve y türevi yeşili kontrol ederek, bir topografik haritadaki bir gradyanın hızlı değişimine benzer şekilde üç boyutlu bir etki veriyor. harita. Ayrıca, radyal türev g'nin dışa doğru gittiği gösterilmiştir ve zaman türevi et ile çarpıldığında hareketi belirleyebilir. Bununla birlikte, böyle bir aracın hesaplanabilir sınırlamaları ve hataları olduğu ve sihirli bir kodu olmadığı, onu büyüleyici ve anlaşılır bir araç haline getirdiği kabul edilmektedir.

  • 01:05:00 Bu bölümde öğretim görevlisi, görüntü işlemede gelişigüzel hareketlerle uğraşma problemini tartışıyor. Sorunun, sırasıyla x ve y yönlerinde hareketi ifade eden u ve v'nin görüntü boyunca farklı olabileceği gerçeğinden kaynaklandığını belirtir. Bu, iki milyon bilinmeyen içinde bir milyon denkleme yol açarak sorunun çözülemez görünmesine neden olabilir. Öğretim görevlisi, sorunu çözmek için ek varsayımlara ihtiyaç duyulabileceğini öne sürüyor, ancak çoğu durumda görüntüdeki komşu noktaların aynı veya benzer hızlarda hareket ederek ek bilgi sağladığını belirtiyor. Ayrıca görüntüde sıfır radyal gradyan varsa çözümün başarısız olabileceği konusunda uyarıyor ve bunun ne anlama geldiğini açıklıyor.

  • 01:10:00 Bu bölümde öğretim görevlisi, temas süresini hesaplamak için doğrudan görüş hareket yöntemlerini kullanmanın başarısını etkileyebilecek kalıpları tartışıyor. Öğretim görevlisi, x şekli gibi bazı modellerin farklı yönlerde değişen gradyanlara sahip olduğunu ve bu nedenle temas süresini hesaplamak için değerli bilgiler sağladığını açıklıyor. Bununla birlikte, pasta grafiği gibi başka bir model, eğimler kendi yönlerinde tutarlı olduğundan bu bilgiyi sağlayamaz. Öğretim görevlisi ayrıca algoritmanın, bir kağıt parçası gibi nispeten tutarlı modellerde bile var olan küçük beneklerden veya liflerden sıfır olmayan exey'i alabileceğinden bahseder. Son olarak, ders, denklemlerde temas ve düşman için zamanın daha uygun şekilde tanımlanmasına yardımcı olacak iki yeni değişkeni, fu z ve fv z'yi tanıtıyor.

  • 01:15:00 Bu bölümde konuşmacı, a ve b iki parametresine dayanan genişleme odağını hesaplama formülünü ve f'nin formülde nasıl görünmediğini tartışır. Birçok amaç için, mesafe ve hızı hesaplamak için f gerekliyken, temas süresi hesaplaması f gerektirmez. Konuşmacı daha sonra bir problemi sonlu sayıda a, b ve c parametresi ile en küçük kareler problemi olarak formüle eder ve integralin türevini bulmak için integralin türevini almaya devam eder.

  • 01:20:00 Dersin bu bölümünde, konuşmacı, farklı değişkenlerin hareket görüşünü nasıl etkileyeceğini bulmak için üç doğrusal denklemin ve üç bilinmeyenin nasıl çözüleceğini açıklıyor. Çözüm, farklı parametrelerle yeniden hesaplamak zorunda kalmak yerine sonuçların hızlı bir şekilde çıkarılmasına izin verdiği için faydalı olan kapalı bir forma sahiptir. Yatay, dikey ve g yönünde farklılaşan ve tümü katsayıları etkileyen üç akümülatör vardır. Katsayı matrisi simetriktir, bu da çözümün kararlılığının anlaşılmasını sağlar.

  • 01:25:00 Dersin bu bölümünde, konuşmacı bir görüntüdeki altı akümülatörün içinden geçme sürecini paralelleştirmeyi ve ilerledikçe onlara ekleme yapmayı tartışıyor. Bu işlem, pikseller arasında etkileşim gerektirmez ve bu nedenle bir GPU üzerinde çalıştırılırsa hızlanabilir. Bu akümülatörler, yalnızca görüntü içinde parlaklık desenleri ve doku biriktirdiklerinden, zaman içindeki değişikliklere bağlı değildir. Kalan üç akümülatör, zaman içindeki değişikliklere bağlıdır. Tüm akümülatörler hesaplandıktan sonra, üç bilinmeyenli üç denklem çözülmelidir.
Lecture 3: Time to Contact, Focus of Expansion, Direct Motion Vision Methods, Noise Gain
Lecture 3: Time to Contact, Focus of Expansion, Direct Motion Vision Methods, Noise Gain
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
 

Ders 4: Sabit Optik Akış, Optik Fare, Sabit Parlaklık Varsayımı, Kapalı Form Çözümü



Ders 4: Sabit Optik Akış, Optik Fare, Sabit Parlaklık Varsayımı, Kapalı Form Çözümü

Özerklik için görsel algı dersinin 4. dersinde, öğretim görevlisi sabit optik akış, optik fare, sabit parlaklık varsayımı, kapalı form çözümü ve temas süresi gibi konuları tartışır. Sabit parlaklık varsayımı, görüntüdeki hareketi parlaklık gradyanı ve parlaklık değişim oranı ile ilişkilendiren parlaklık değişimi kısıtlama denklemine yol açar. Öğretim görevlisi ayrıca kameranın veya yüzeyin eğik olduğu durumların nasıl modelleneceğini gösterir ve büyük hareketlerin işlenmesinde çok ölçekli ortalama almanın faydasını tartışır. Ayrıca ders, çeşitli otonom durumlarda iletişim kurmak için zamanın kullanımını araştırıyor ve gezegen uzay aracına iniş için farklı kontrol sistemlerini karşılaştırıyor. Son olarak ders, bir çizginin izdüşümüne ve bunun perspektif izdüşüm kullanılarak nasıl tanımlanabileceğine değinir.

Konuşmacı, kamera kalibrasyonu için dönüştürme parametrelerini kurtarmak için ufuk noktalarının nasıl kullanılabileceği ve bilinen şekillere sahip kalibrasyon nesnelerinin kamera merkezli sistemdeki bir noktanın konumunu nasıl belirleyebileceği dahil olmak üzere görüntü işleme uygulamalarını tartışıyor. Ders ayrıca, küreler ve küpler gibi optik akış algoritmaları için kalibrasyon nesneleri olarak farklı şekilleri kullanmanın avantajlarını ve dezavantajlarını ve bir küp ve üç vektör kullanarak bilinmeyen izdüşüm merkezinin nasıl bulunacağını da kapsar. Ders, gerçek robotik kamera kalibrasyonu için radyal distorsiyon parametrelerini dikkate almanın önemini vurgulayarak sona erer.

  • 00:00:00 Bu bölümde öğretim üyesi görüntü oluşturma ve hareket takibi hakkında konuşur. Perspektif izdüşüm denklemlerini ve hareketin gerçekleştiği nokta olan genişlemenin odağını tartışıyorlar. Sabit parlaklık varsayımı tanıtıldı, bu da birçok durumda ortamdaki bir noktanın görüntüsünün parlaklığının zamanla değişmeyeceği anlamına geliyor. Öğretim görevlisi, bu varsayımın, görüntüdeki hareketi parlaklık gradyanı ve parlaklık değişim oranı ile ilişkilendiren parlaklık değişimi kısıtlama denklemine nasıl yol açtığını açıklar. Ders ayrıca, hızı çözmenin nasıl ek kısıtlamalar gerektirdiğini ve aynı hızda hareket eden her şeyin nasıl aşırı bir kısıtlama biçimi olabileceğini de kapsar.

  • 00:05:00 Dersin bu bölümünde, konuşmacı, optik fare durumunda olduğu gibi tüm görüntü için sabit bir u ve v'nin olduğu optik akış problemlerinde u ve v'yi tahmin etmek için hatayı en aza indirme tekniğini tartışıyor. . Bu süreç oldukça fazla kısıtlıdır, ancak simetrik ikiye iki katsayı matrisi ile bilinmeyenlerde doğrusal bir denklem elde edebiliriz. Konuşmacı, türevlerin nasıl hesaplanacağını ve bu yöntemin çalışmadığı koşulları gösterir. Ayrıca, e_x'ler ve e_y'lerin her yerde aynı oranda olduğu belirli bir görüntü türünü açıklarlar ve bu koşul geçerli olacaktır.

  • 00:10:00 Bu bölümde öğretim görevlisi, exy'nin sabit olduğu, yalnızca c'de farklılık gösteren paralel çizgilere sahip düz bir çizgi olan izofotodan bahsediyor. Bu tür bir görüntü, optik fare sistemleri için sorun teşkil eder, çünkü bir yöndeki kaymayı ölçemezler ve diğer tarafının belirlenmesini imkansız hale getirirler. Ders daha sonra, mutlak değerlerden ziyade kesirli parçaların oranlarına bağlı olan temas süresi kavramını tanıtarak sistemin kalibrasyon olmadan çalışmasını sağlar. Öğretim görevlisi ayrıca, nesnenin boyutunun sabit olduğunu ve bunun da çarpımın türevinin sıfır olmasına yol açtığını göstererek, denklemin nasıl türev alınacağını gösterir.

  • 00:15:00 Bu bölümde öğretim görevlisi, çerçeveler arasındaki boyuttaki belirli bir yüzde değişikliğini, doğrudan temas süresine (TTC) dönüşen mesafedeki belirli bir yüzde değişikliğine çeviren basit bir ilişkiyi açıklar. Öğretim görevlisi, görüntü boyutu yöntemini kullanarak TTC'yi tahmin ederken görüntü boyutunu doğru bir şekilde ölçmenin önemini vurgular, çünkü görüntüde çerçeveden çerçeveye fraksiyonel değişiklik yüksek bir TTC için nispeten küçüktür. Öğretim görevlisi ayrıca, z'nin sabit olduğu varsayımının hala geçerli olduğuna dikkat çekerek, düzlemsel bir yüzeye göre temas süresinde yapılan varsayımları tartışır.

  • 00:20:00 Bu bölümde öğretim görevlisi, kameranın veya yüzeyin eğik olduğu durumların nasıl modelleneceğini tartışır. Eğik bir düzlem olması durumunda, görüntüde derinlik artık sabit olmayacaktır. Bir düzlemin denklemi, x ve y'de doğrusal bir denklemdir ve bu, bakması daha karmaşık bir model olabilir. Genel olarak, denklemler burada çok karmaşık hale gelebilir ve kapalı formda bir çözüm olmayabilir. Ancak, öncelikle kapalı formda bir çözümün olduğu durumlara odaklanmak daha iyidir. Yüzey düzlemsel değilse, bir en küçük kareler problemi kurmak için onu polinomlarla tahmin edebiliriz. Ne yazık ki kapalı formda bir çözüm bulamayacağız, bu yüzden sayısal bir çözüme ihtiyacımız var. Bununla birlikte, daha fazla değişken eklerken dikkatli olmalıyız çünkü bu, çözümün başka bir yöne kaymasına ve yüzeyin düzlemsel olduğu modellemesine göre herhangi bir avantajı kaybetmesine izin verir.

  • 00:25:00 Bu bölümde konuşmacı, optik akışta çok ölçekli uygulamayla ilgili sorunları tartışıyor. Başarılı uygulamaya rağmen, görüntüdeki hareket büyüdükçe sonuçların doğruluğunun azaldığından bahsediyor. Bu sorunu çözmenin bir yolu, kare başına hareketi azaltan daha küçük resimlerle çalışmaktır. Konuşmacı ayrıca, büyük hareketleri işlemek için daha küçük ve daha küçük görüntü kümeleriyle çalışmayı içeren çok ölçekli ortalamanın faydasını da tartışıyor. Gerekli iş miktarı, altkümelerin sayısı ile artar, ancak toplam hesaplama çabası azalır. Konuşmacı, çok ölçekli optimizasyon sürecinin önceki derste kullanılan basit ikiye-iki blok ortalamasından daha karmaşık olduğunu vurguluyor.

  • 00:30:00 Dersin bu bölümünde, konuşmacı birden çok ölçekte çalışmanın optik akış hesaplamalarının sonuçlarını nasıl büyük ölçüde iyileştirebileceğini tartışıyor. Örtüşmeyi önlemek için alt örneklemenin düşük geçişli filtrelemeden sonra yapılması gerektiğini ve 2'nin karekökü gibi daha az agresif bir faktörle alt örnekleme yapılabilirken, daha basit ikiye iki blok lehine genellikle göz ardı edildiğini açıklıyor. ortalama yöntemi. Konuşmacı ayrıca, uçak kazalarını önlemek ve Jüpiter'in ayı Europa'ya iniş yapan uzay aracını iyileştirmek için temas için zamanın kullanılması gibi optik akışın birkaç ilginç uygulamasından da bahsediyor. Bir kontrol sisteminin, roket motoru ivmesini değiştirmek ve bir uzay aracını daha güvenilir bir şekilde düşürmek için ölçümlerle temas kurmak için zamanı nasıl kullanabileceğini açıklıyor.

  • 00:35:00 Bu bölümde ders, iniş sırasında temas için sabit bir süre sağlamaya yönelik, arabalar veya uzay araçları gibi çeşitli otonom durumlarda kullanılabilen basit bir sistemi tartışıyor. Temel fikir, sabit tutmak için ölçülen temas süresinin istenenden daha kısa veya daha uzun olmasına bağlı olarak motora uygulanan kuvveti ayarlamaktır. Bu yöntem herhangi bir özel dokuya veya kalibrasyona bağlı değildir, bunun yerine sadece yükseklik ve hız arasındaki orana dayanır. Bu sistemin denklemi, çözümü z ile orantılı olan sıradan bir diferansiyel denklem olarak çözülebilir.

  • 00:40:00 Bu bölümde, öğretim görevlisi sabit bir temas süresi kontrol sistemini tartışıyor ve bunu gezegen uzay aracına iniş için daha geleneksel bir yaklaşımla karşılaştırıyor. Sabit temas süresi kontrol sistemi, temas süresini sürekli sabit tuttuğu ve yüzeye olan mesafe ve hız hakkında ayrıntılı bilgi gerektirmediği için enerji açısından daha verimli olduğu için avantajlıdır. Öğretim görevlisi, sabit ivme altında temas süresi hesaplamalarını gösterir ve temas süresinin her zaman sabit yükseklik stratejisi kullanılarak gözlemlenenin yarısı olduğunu vurgular.

  • 00:45:00 Bu bölümde, öğretim görevlisi sabit hızlanma kontrolü kavramını ve bunun mesafe ve hızları tahmin etmek için geleneksel yaklaşımlarla nasıl karşılaştırıldığını tartışır. Ardından, sabit akış olarak adlandırılan optik akışın genelleştirilmesini sunar ve görüntünün tüm bölümlerinin hareketinin aynı olduğunu varsaydığını açıklar. Ancak bağımsız hareketlerin veya az sayıda bilinmeyenin olduğu durumlarda sistem aşırı belirlenebilir. Aynı zamanda yetersiz kısıtlanmış sistemlerin kötü konumlanmış problemini ve bunu çözmek için ağır bir kısıtlamanın nasıl kullanılabileceğini tartışıyor.

  • 00:50:00 Bu bölümde öğretim görevlisi, bir görüntüdeki komşu noktaların nasıl bağımsız hareket etmediğini, bunun yerine optik akış için kısıtlamalar oluşturan benzer hızlarda hareket etme eğiliminde olduğunu tartışır. Ancak, bu kısıtlama basit bir denklem değildir ve çözülmesi için daha hassas araçlar gerektirir. Bu araçlar mevcut değilse, görüntü, o alanda sabit hız varsayımının daha az önemli olduğu daha küçük parçalara bölünebilir. Ancak bu ayrım, aynı zamanda, bu alanlardaki parlaklığın çözünürlüğü ve tekdüzeliği arasında dengeler de yaratır. Ders ayrıca kaçış noktaları fikrine ve bunların kamera kalibrasyonu için veya iki koordinat sisteminin göreli yönünü belirlemek için nasıl kullanılabileceğine de değiniyor.

  • 00:55:00 Dersin bu bölümünde, profesör bir çizginin izdüşümünü ve bunun cebirsel ve geometrik yöntemler de dahil olmak üzere çeşitli şekillerde nasıl tanımlanabileceğini tartışıyor. 3 boyutlu bir çizginin birim vektör kullanılarak bir nokta ve yön ile tanımlanabileceğini ve çizgi üzerindeki farklı noktaların farklı s değerlerine sahip olduğunu açıklıyor. Profesör, bunun x, y ve z değişkenleriyle karışık bir denklemle sonuçlanan perspektif izdüşüm kullanılarak görüntüye nasıl yansıtılabileceğini açıklamaya devam ediyor. Ancak s çok büyük yapılarak denklem basitleştirilebilir ve kamera kalibrasyonu ve görüntüleme sistemlerinin etkileri incelenebilir.

  • 01:00:00 Bu bölümde konuşmacı, görüntü düzleminde bir noktada birleşen çizgilerden kaynaklanan ufuk noktalarından bahsediyor. Bu kaçış noktaları, polis memurları, inşaat işçileri ve yaklaşan bir araba nedeniyle tehlikede olabilecek diğer insanlar gibi gerçek hayat senaryolarında uygulanabilen görüntünün geometrisi hakkında bir şeyler öğrenmek için kullanılabilir. Kamera, bir kaçış noktası bularak kamera merkezli koordinat sisteminin yola göre dönüşünü belirleyebilir. Paralel doğrular aynı ufuk noktasına sahiptir, yani dikdörtgen şekli oluşturan bir dizi paralel çizgi varsa, üç kaçış noktası beklenir.

  • 01:05:00 Bu bölümde öğretim görevlisi, görüntü işlemenin iki uygulamasını tartışıyor: kamera kalibrasyonu için dönüştürme parametrelerini kurtarmak için ufuk noktalarını bulma ve kamera merkezli bir noktanın konumunu belirlemek için bilinen şekillere sahip kalibrasyon nesnelerini kullanma sistem. Öğretim görevlisi, kaçış noktalarını bulmanın, yolun yönüne ve ufka göre kameranın yatay kaydırma ve eğme özelliklerini kurtarmayı mümkün kıldığını açıklıyor. Ders ayrıca, doğru kamera kalibrasyonu için merceğin görüntü düzleminin üzerindeki konumunu ve merkez projeksiyonun yüksekliğini geri kazanma ihtiyacını da kapsar. Öğretim görevlisi, kamera merkezli sistemdeki bir noktanın konumunu belirlemek için küre gibi bilinen bir şekle sahip bir kalibrasyon nesnesi kullanmayı önerir.

  • 01:10:00 Bu bölümde öğretim görevlisi, optik akış algoritmaları için kalibrasyon nesneleri olarak farklı şekiller kullanmanın avantajlarını ve dezavantajlarını tartışır. Kürelerin yapılması ve elde edilmesi nispeten kolay olsa da, görüntü düzlemine yansıtılırken gürültülü olabilir ve çok doğru olmayabilir. Öte yandan, küpler, ufuk noktalarına karşılık gelen dik açıları ve paralel çizgileri nedeniyle önemli avantajlara sahiptir. Öğretim görevlisi, ufuk noktalarını bulmanın, çizgiler boyunca 3 boyutlu olarak işaret eden üç vektörün görüntü projeksiyonlarını belirlemeye nasıl yardımcı olabileceğini açıklar. Bu bilgi, optik akış algoritmalarını daha doğru bir şekilde kalibre etmek için kullanılabilir.

  • 01:15:00 Bu bölümde konuşmacı, küp gibi bir kalibrasyon nesnesi ve A, B ve C olmak üzere üç vektör kullanarak bilinmeyen projeksiyon merkezi P'yi bulmaktan bahsediyor. Bu da P'nin üç bilinmeyenini çözen üç denklem oluşturmaya yardımcı olur. Ancak, ikinci dereceden denklemlerdeki ikinci dereceden terimler birden çok çözüme sahip olmayı mümkün kılar, Zoot teoreminin devreye girdiği yer burasıdır. konuşmacı, maksimum çözüm sayısının denklemlerin sırasının ürünü olduğunu gösterir. Denklemleri basitleştirmek için konuşmacı bunları ikili olarak çıkarır ve bilinmeyenleri bulmak için kullanılabilecek üç doğrusal denkleme yol açar.

  • 01:20:00 Bu bölümde üç lineer denklem olmasına rağmen lineer olarak bağımsız olmadıklarını ve dolayısıyla sadece iki çözüm olduğunu öğreniyoruz. Doğrusal denklemler, 3B uzayda düzlemleri tanımlar ve kesiştiğinde, herhangi bir ek bilgi sağlamayan üçüncü düzlemi içeren bir çizgiyle sonuçlanır. Bu teknik, bir kamerayı kalibre etmek ve projeksiyon merkezinin konumunu bulmak için yararlıdır. Ancak, gerçek kameralar, gerçek robotik kamera kalibrasyonu için dikkate alınması gereken radyal distorsiyon parametrelerine sahiptir.
Lecture 4: Fixed Optical Flow, Optical Mouse, Constant Brightness Assumption, Closed Form Solution
Lecture 4: Fixed Optical Flow, Optical Mouse, Constant Brightness Assumption, Closed Form Solution
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
 

Ders 5: TCC ve FOR MontiVision Demoları, Ufuk Noktası, Kamera Kalibrasyonunda VP'lerin Kullanımı



Ders 5: TCC ve FOR MontiVision Demoları, Ufuk Noktası, Kamera Kalibrasyonunda VP'lerin Kullanımı

Ders, perspektif projeksiyonda ufuk noktalarının kullanımı, görüntü kalibrasyonunda projeksiyon merkezini ve ana noktayı bulmak için üçgenleme ve ortonormal bir matriste dönüşü temsil etmek için normal matrisler kavramı dahil olmak üzere kamera kalibrasyonuyla ilgili çeşitli konuları kapsar. Öğretim görevlisi ayrıca bir kameranın odak uzaklığını bulmanın matematiğini ve bir kameranın dünya koordinat sistemine göre yönünü belirlemek için ufuk noktalarının nasıl kullanılacağını açıklar. Ek olarak, problem çözmede denklemlerin arkasındaki geometriyi anlamanın önemi ile birlikte TCC ve FOR MontiVision Demolarının kullanımı tartışılmaktadır.

Ders, aydınlatmanın yüzey parlaklığı üzerindeki etkisi, mat yüzeylerin iki farklı ışık kaynağı konumu kullanılarak nasıl ölçülebileceği ve birim vektörü çözmek için albedo kullanımı dahil olmak üzere bilgisayarla görme ile ilgili çeşitli konuları kapsar. Ders ayrıca kamera kalibrasyonundaki ufuk noktasını ve üç bağımsız ışık kaynağı yönünü kullanarak parlaklığı ölçmek için basit bir yöntemi tartışıyor. Son olarak konuşmacı, perspektif projeksiyona bir alternatif olarak ortografik projeksiyona ve yüzey rekonstrüksiyonunda kullanılması için gerekli koşullara değinmektedir.

  • 00:00:00 Bu bölümde, konuşmacı bir klavyeyi işaret eden bir web kamerasında TCC ve FOR MontiVision Demolarının kullanımını gösteriyor. Temas süresi hesaplamalarının önemini ve bu hesaplamaları etkileyen faktörleri tartışırlar. Konuşmacı ayrıca perspektif projeksiyonda ufuk noktaları kavramını ve bunların kamera kalibrasyonunda nasıl kullanılabileceğini tartışıyor. Temas süresi hesaplamaları için denklemi ve dzdt işaretinin hareketli nesnelerin görüntüsünü nasıl etkilediğini açıklarlar.

  • 00:05:00 Bu bölümde öğretim görevlisi, kamera kalibrasyonunda, görüntü düzleminde özel bir paralel çizginin projeksiyonun merkezinden geçtiği nokta olan ufuk noktası kavramını tartışıyor. Diğer paralel çizgilerin de kaçış noktaları vardır ve uzaklaştıkça görüntüdeki izdüşümleri özel çizginin izdüşümüne yaklaşır. Bu kavram, bilgisayarla görme uygulamalarında nesne tanıma için yararlı olan, koordinat sistemleri ve kamera kalibrasyonu arasındaki ilişkilerin belirlenmesine izin verir. Öğretim görevlisi, kalibrasyon için görüntü düzlemine yansıtılabilen bir koordinat sistemini tanımlayan paralel çizgi kümelerine sahip dikdörtgen nesneler dünyasının bir örneğini sunar.

  • 00:10:00 Bu bölümde, konuşmacı kaçış noktalarından ve bunların kamera kalibrasyonunda kullanımından bahsediyor. Konuşmacı, paralel doğrular uzatılarak kesin olarak belirlenebilecek üç kaçış noktası olduğunu ve bu noktaların izdüşüm merkezini bulmak için kullanılabileceğini açıklıyor. İzdüşüm merkezi, nesnedeki koordinat sistemi ile görüntü düzlemindeki koordinat sistemi arasındaki ilişkinin kurulduğu yerdir. İzdüşüm merkezini görüntü düzlemindeki kaçış noktalarına bağlayarak üç vektör oluşturulabilir ve bu vektörler kullanılarak kaçış noktalarına giden yönlerin birbirine dik olduğu nokta bulunabilir. Konuşmacı, kaçış noktalarının birbirine dik açılarda olacağı, olabileceğiniz tüm yerlerin geometrik yerinin bir daire olduğunu not eder.

  • 00:15:00 Bu bölümde öğretim görevlisi, TCC'nin 3B versiyonunu ve kamera kalibrasyonunu tartışır. İzdüşüm merkezinin konumu üzerindeki kısıtlamanın, onun bir küre üzerinde olması olduğunu ve izdüşüm merkezi olasılıklarını daraltmak için kürelerin nasıl kullanılacağını açıklıyor. Öğretim görevlisi daha sonra lineer denklemleri ve düz çizgileri ve ayrıca teta ve rho aracılığıyla düz çizgileri parametreleştirmeyi tartışır. Parametreleştirme, tekilliklerden kaçındığı ve çizgiler için iki serbestlik dereceli bir dünya sağladığı için kullanışlıdır.

  • 00:20:00 Bu bölümde öğretim görevlisi, üç bilinmeyenli lineer denklemler kullanarak düzlemlerin üç boyutlu temsilini tartışır. Bir ölçek faktörü nedeniyle aslında dört yerine sadece üç serbestlik derecesi olduğunu açıklıyor. Bu ikilik, 2B'deki çizgiler ve noktalar arasındaki eşlemeye benzer şekilde, 3B'de düzlemler ve noktalar arasında bir eşleme olduğu anlamına gelir. Öğretim görevlisi daha sonra, üç kürenin kesişmesini içeren robotikteki çoklu geçiş sorunuyla karşılaştırarak kamera kalibrasyonu sorununu ortaya koyar.

  • 00:25:00 Bu bölümde, konuşmacı 3B uzayda iki kürenin kesişme noktasının nasıl çözüleceğini açıklıyor. İlk küre, sekiz adede kadar olası çözümle sonuçlanabilecek ikinci dereceden terimlerle bir denkleme sahip olarak tanımlanır. Ancak bu denklemi ikinci bir küreden çıkararak yerine lineer bir denklem elde edilebilir. Bu işlemi tüm küre çiftleri için tekrarlayarak, daha sonra çözülebilecek üç bilinmeyenli üç doğrusal denklem oluşturulabilir. Bu mükemmel bir çözüm gibi görünse de, bu yöntemle oluşturulan matrisin genellikle tekil olduğunu ve bu nedenle çözümünde benzersiz olmadığını not etmek önemlidir.

  • 00:30:00 Bu bölümde, konuşmacı denklemleri manipüle etme ve bu süreçte önemli bilgileri kaybetme konusunu tartışıyor. Yeni denklemler türetmek gayet iyi olsa da, sorunu çözmek için gerekli olan önemli bilgileri içerebilecekleri için orijinal denklemleri atmamaya dikkat edilmesi gerektiğini açıklıyor. Bunu, doğrusal ve ikinci dereceden denklemler örneğini kullanarak ve istenen sayıda çözümü elde etmek için bazı denklemlerin nasıl atılabileceğini, diğerlerinin ise saklanması gerektiğini kullanarak gösterir. Konuşmacı aynı zamanda denklemlerin arkasındaki geometriyi anlamanın önemini vurguluyor çünkü bu, sadece cebirden hemen belli olmayabilecek değerli içgörüler sağlayabilir.

  • 00:35:00 Transkriptin bu bölümünde, konuşmacı üçgenlemeyi ve izdüşüm merkezinin nasıl bulunacağını ve görüntü kalibrasyonundaki ana noktayı tartışıyor. İzdüşüm merkezinin, üç düzlem veren bilinen üç nokta kullanılarak bulunabileceğini ve merkezin bunların kesişme noktasında bulunabileceğini açıklıyorlar. Asal noktayı bulmak için izdüşüm merkezinden dikmeyi görüntü düzlemine bırakırlar. Ayrıca, bir görüntünün değiştirilip değiştirilmediğini veya kırpıldığını tespit etmek için kullanılabilecek ufuk noktalarını da tartışırlar.

  • 00:40:00 Bu bölümde öğretim görevlisi, fotogrametri ve kamera kalibrasyonunda ufuk noktalarının kullanımını tartışır. Görüntülerin gerçekliğini belirlemek için kaçış noktalarının nasıl kullanılabileceğini açıklıyor ve keşifle ilgili çeşitli aldatmacaları araştırıyor. Ardından, bir vektörün üçüncü bileşenini bulma ve odak uzaklığını belirlemek için ikinci dereceden bir denklem çözme matematiğine giriyor. İkinci dereceden bir denklemi çözmeye gerek kalmadan odak uzaklığının belirlenebileceği özel bir durumu açıklamaya devam ediyor. Video, bilgisayar görüşünün teknik yönleriyle ilgili bir ders dizisinin parçasıdır.

  • 00:45:00 Bu bölümde, konuşmacı, özellikle bir kameranın dünya koordinat sistemine göre yönünü belirlemek için kamera kalibrasyonunda ufuk noktalarının uygulanmasını tartışıyor. Konuşmacı, görüntüde sözde paralel olan kaldırım ve yol işaretleri gibi özellikleri tanımlayarak, görüntüde tanınabilecek bir kaçış noktası oluşturabileceklerini açıklıyor. Konuşmacı ayrıca, üç kaçış noktasının da mevcut olduğu ideal durumda, kamera tarafından yakalanan dikdörtgen nesnenin kenarlarının x ve y eksenlerini tanımlamak ve ardından kamera koordinat sistemi ile kamera koordinat sistemi arasındaki dönüşü belirlemek için kullanılabileceğini de açıklar. dünya koordinat sistemi

  • 00:50:00 Bu bölümde konuşmacı, kamera koordinat sisteminde ölçülen nesne koordinat sistemindeki birim vektörleri bulma sürecini açıklar. Birim vektörler birbirine dik açıda olmalıdır ve daha sonra TCC ve FOR MontiVision Demolarını hesaplamak için kullanılır. Dönüşüm matrisi, bir koordinat sisteminin diğerine göre yönelimini temsil ediyor ve konuşmacı gelecekte bundan daha fazlasını yapacaklarını söylüyor.

  • 00:55:00 Bu bölümde öğretim görevlisi, satırların birbirine dik olduğu ve her satırın büyüklüğünün bir olduğu normal matris kavramını tartışıyor. Bunun amacı, ortonormal bir matriste dönüşü temsil etmektir. Nesnedeki koordinat eksenlerinin yönünü belirleyerek, iki koordinat sistemi arasında gidip gelmek nispeten kolaydır, bu da özellikle kamera kalibrasyonu için yararlıdır. Son olarak ders, gözlemlenen parlaklığın malzeme yüzeyine, ışık kaynağına, geliş ve çıkış açılarına ve azimut açılarına bağlı olduğu parlaklık kavramına değinir.

  • 01:00:00 Videonun bu bölümünde konuşmacı aydınlatma kavramını ve bunun yüzeylerin görünen parlaklığını nasıl etkilediğini tartışıyor. Bir yüzeyin bir ışık kaynağından aldığı gücün, açının kosinüsü kullanılarak hesaplanabilen, ışık kaynağı yönüne göre yüzeyin eğildiği açıdan etkilendiğini açıklarlar. Ardından konuşmacı, ışığı çeşitli yönlerde yansıtan, ancak herhangi bir yönden eşit derecede parlak görünme özelliğine sahip mat bir yüzey fikrini ortaya koyar. İki farklı ışık kaynağı konumuyla parlaklığını ölçerek böyle bir yüzeyin yönünün nasıl belirleneceğini tartışmaya devam ediyorlar.

  • 01:05:00 Bu bölümde, konuşmacı bir birim vektör olan n'nin çözümünde yer alan doğrusal olmamayı tartışıyor. Parlaklık ölçümleri kullanılarak kosinüs teta i tahmin edilebilir ve yüzey normalinin olası yön konisi belirlenebilir. İki ayrı ölçüm alınırsa, iki yön konisi oluşturulur ve yalnızca bu iki olası yönden oluşan konilerin kesişimi normal bir yön verir. Bununla birlikte, bunun bir birim normal olması zorunluluğu, nihai bir belirleme yapmak için bu iki olası yönün artık bir birim küre ile kesişmesi gerektiği anlamına gelir. Konuşmacı, bir yüzeyin yansıtıcılığını tanımlayan albedo'yu kullanarak, bir şeyin görüntü düzleminde ne kadar parlak olduğunu belirlemek için bir doğrusal denklem problemi yaratılabileceğini açıklıyor. Albedo değeri sıfır ile bir arasında değişir ve bir nesneye giden enerjinin ne kadarının geri yansıtıldığına karşılık ne kadarının emilip kaybolduğunu gösterir.

  • 01:10:00 Bu bölümde ders, kamera kalibrasyonunda ufuk noktasının (VP) kullanımını tartışır. Ders, bilinmeyenleri içine alan ve vektörün ışık kaynağı konumlarıyla matris çarpımı yoluyla albedo ve birim vektörü çözen üç vektörü tanıtıyor. Bununla birlikte, bu yöntem, ışık kaynakları eş düzlemli olduğunda, yani aynı düzlemde olduklarında veya matrisin iki sırası aynı olduğunda, bu durumda matrisi ters çevirmek imkansızdır. Ders ayrıca, ışık kaynaklarının aynı düzlemde olmamasını sağlamaları gerektiğinden, bu kısıtlamaların astronomlar üzerindeki etkilerine de dikkat çekiyor.

  • 01:15:00 Bu bölümde konuşmacı, önceden hesaplanabilen ve verimli bir şekilde uygulanabilen üç bağımsız ışık kaynağı yönünü kullanarak parlaklığı ölçmek için basit bir yöntemi tartışıyor. Bir kameradaki (RGB) üç sensör setinden yararlanmanın bu amaç için yararlı olabileceği önerilmektedir. Bir kürenin bilinen şekline göre yüzeyleri kalibre etmek için bir arama tablosu oluşturulabilir ve üç görüntüdeki parlaklığı ölçmek için kürenin yüzey yönü hesaplanabilir. Ancak, gerçek yüzeyler bu basit kuralı takip etmez ve yüzey oryantasyonu için sayısal değerleri tersine çevirmek için bir arama tablosu kullanılabilir. Son olarak, konuşmacı perspektif projeksiyona bir alternatif olarak ortografik projeksiyona değiniyor.

  • 01:20:00 Bu bölümde konuşmacı, görüntülerden yüzeylerin yeniden oluşturulmasında ortografik izdüşüm kullanmak için gerekli koşulları açıklar. Varsayımın, derinliğin kendisine kıyasla çok küçük olan derinlik aralığına dayandığını ve bu projeksiyon için gerekli olan sürekli büyütmeye izin verdiğini paylaşıyor. Ortografik izdüşüm, görüntülerden yüzeylerin yeniden oluşturulması sürecinde basitleştirme için kullanılır.
Lecture 5: TCC and FOR MontiVision Demos, Vanishing Point, Use of VPs in Camera Calibration
Lecture 5: TCC and FOR MontiVision Demos, Vanishing Point, Use of VPs in Camera Calibration
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
 

Ders 6: Fotometrik Stereo, Gürültü Kazanımı, Hata Büyütme, Özdeğerler ve Özvektörlerin İncelenmesi



Ders 6: Fotometrik Stereo, Gürültü Kazanımı, Hata Büyütme, Özdeğerler ve Özvektörlerin İncelenmesi

Ders boyunca, konuşmacı fotometrik stereoda doğrusal denklem sistemlerini çözerken gürültü kazancı, özdeğerler ve özvektörler kavramlarını açıklar. Ders, tekil matrislerin koşullarını, hata analizinde özdeğerlerin önemini ve tekil matrislerden kaçınmada doğrusal bağımsızlığın önemini tartışır. Ders, Lambert Yasası ve yüzey oryantasyonu tartışmasıyla sona erer ve yüzeyleri birim normal vektör veya birim küre üzerindeki noktalar kullanarak temsil etme ihtiyacını vurgular. Genel olarak, ders, fotometrik stereonun altında yatan matematiksel ilkeler hakkında bilgi sağlar ve ayın topografyasını dünya ölçümlerinden doğru bir şekilde kurtarmanın zorluklarını vurgular.

Hesaplamalı bir fotoğrafçılık kursunun 6. Dersinde, konuşmacı yüzey yönünü ve yüzey yönünün bir fonksiyonu olarak çizim parlaklığını bulmak için birim normal vektörün ve bir yüzeyin gradyanlarının nasıl kullanılacağını tartışır. Muhtemel yüzey yönelimlerini haritalamak için pq parametreleştirmesinin nasıl kullanılacağını açıklar ve farklı yönelim açılarında parlaklığı çizmek için bir eğim düzleminin nasıl kullanılabileceğini gösterirler. Konuşmacı ayrıca, miktarın sabit olduğu pq uzayında eğrileri bulmak için ışık kaynağının birim vektörü ile birim normal vektörünün nokta çarpımının gradyanlar cinsinden nasıl yeniden yazılacağını tartışır. Ders, ışık kaynağına giden çizginin döndürülmesiyle oluşturulan konilerin farklı şekillerdeki konik bölümleri bulmak için nasıl kullanılabileceğinin açıklanmasıyla sona erer.

  • 00:00:00 Videonun bu bölümünde öğretim görevlisi, bir bilinmeyenin ve bir ölçümün olduğu 1 boyutlu durumdaki gürültü kazancını tartışıyor ve eğrinin eğimi düşükse, küçük bir hatanın büyütülerek büyük bir hataya dönüştürülebileceğini açıklıyor. alan. 2B duruma geçersek, tartışma bir matrisin karakteristiği olan ve matrisin çarpılmasından elde edilen vektörün, matrisi çarpmak için kullanılan vektörle aynı yönü gösterip göstermediğini gösteren özvektörlere ve özdeğerlere kayar. Öğretim elemanı bu vektörlerin nasıl bulunacağını ve kaç tane olduğunu ayrıntılarıyla anlatır, vektörlerin boyutunun ve ölçeğinin önemli olmadığını ve birden fazla özvektör olabileceğini belirtir.

  • 00:05:00 Bu bölümde, konuşmacı tekil matris kavramını ve bunun lineer denklem sistemlerini çözmedeki önemini tartışıyor. Tekil matris, determinantı sıfır olan matristir. Bir n'ye n gerçek simetrik matris için determinant, n köklü, lambda cinsinden n'inci dereceden bir polinomdur. Bu, homojen bir denklem seti durumunda, determinant sıfırsa, benzersiz bir çözümden ziyade çoklu çözümlerin olduğu anlamına gelir. Bu, belirli yönlerdeki hatanın diğer yönlerden farklı olabileceği optik fare kurtarma gibi çok boyutlu sorunlarla uğraşırken önemlidir. Bu nedenle, küçük bir belirleyiciyi sorunlu olarak tanımlamanın ötesinde daha incelikli bir tabloya ihtiyaç vardır.

  • 00:10:00 Dersin bu bölümünde, konuşmacı homojen denklemleri ve bir dizi homojen denklemin önemsiz olmayan bir çözüme sahip olması koşulu da dahil olmak üzere ilginç özelliklerini tartışıyor. Özdeğerler ve özvektörlerin yanı sıra matrisin determinantı da tartışılır. Özvektörler, özdeğerlerin özelliğinin bulunduğu özel yönler olacak ve ortogonal olacaklar. Özdeğerler, pratikte hatayı ölçmek için önemli olan hatanın ne kadar büyütüleceğini belirleyecektir. Büyük matrisler için özdeğerlerin ve özvektörlerin bulunması genellikle yazılım kullanılarak yapılsa da, süreci temel düzeyde anlamak yararlıdır.

  • 00:15:00 Bu bölümde, konuşmacı 2x2'lik bir durum için homojen denklemleri çözmede özvektörleri ve özdeğerleri tartışıyor. Özvektörleri bulmak için konuşmacı, çözümlerin matrisin satırlarına dik olması gerektiğini gösterir. Sonuç, farklı lambda değerleri için aynı yönü gösteren dört özvektör verir ve bunlar birim özvektörleri elde etmek için normalleştirilebilir. Teknik, hata büyütmesini tartışmak için n özvektörler ve karşılık gelen özdeğerler sağlayan n'ye n matrise genişletilebilir.

  • 00:20:00 Bu bölümde öğretim görevlisi, iç çarpım gösteriminin matrislere nasıl genişletileceğini açıklar ve özdeğerlerin tümü farklıysa, tüm özvektörlerin ortogonal olduğunu gösterir. Ayrıca, bazı kökler aynıysa, bunun özvektörleri ortogonal olmaya zorlamadığından, ancak birbirine dik olan tüm olası özvektörlerden ikisini seçebileceğinden bahseder. Bu, vektör uzayı için bir temel oluşturmaya yardımcı olur. Öğretim görevlisi ayrıca vektörlerin sütun vektörleri veya sıska matrisler olarak nasıl düşünüleceğinden bahseder ve iç çarpımın her iki şekilde nasıl yazılabileceğini gösterir.

  • 00:25:00 Bu bölümde öğretim görevlisi özvektörleri ve bunların herhangi bir vektörü onlar cinsinden yeniden ifade etmek için nasıl kullanılabileceğini tartışır. Rastgele bir vektör ölçümü alarak ve bilinmeyen değişkenleri elde etmek için matrisi bu ölçümle çarparak, farklı bileşenler özvektörlerin özel yönleri boyunca farklı miktarlarda büyütülebilir. Bu, hata kazancı olarak bilinir. Bununla birlikte, ters matrisin kullanıldığı ters problemlerle de uğraşıyorlar ve bu nedenle öğretim görevlisi, fikri uygulamak için n vektörün ikili çarpımını tanıtıyor.

  • 00:30:00 Bu bölümde, konuşmacı özvektörler ve özdeğerlerden ve bunların bir matrisi çeşitli şekillerde yeniden yazmak için nasıl kullanılabileceğinden bahsediyor. Bu terimlerin hepsinin bağımlı olduğunu, ancak özvektörlerin kendilerinin olmadığını, dolayısıyla çarpanlarına ayrılabileceklerini açıklıyorlar. Özdeğerlerin özelliklerini kontrol etmek için bu yaklaşımın nasıl kullanılabileceğini ve bunun bir görme problemini çözmede neden önemli olduğunu tartışmaya devam ediyorlar. Spesifik olarak, bu sorunu çözmek için kullanılan matrisin genellikle sinyalin bileşenlerini 1 bölü lambda i ile çarptığını, bu nedenle lambda i küçükse, kararlı olmayan kötü konumlanmış bir sorun yaratabileceğini açıklıyorlar.

  • 00:35:00 Bu bölümde öğretim görevlisi özvektörleri ve özdeğerleri hata analizi bağlamında tartışır. Özvektörlerden birinin özdeğeri küçükse, ölçümdeki küçük bir hatanın bile sonuçta büyük bir değişikliğe neden olabileceğini açıklıyor. İzofotun yönü, küçük bir özdeğere sahip özvektöre karşılık gelir, bu da doğru hareketi algılamayı zorlaştırırken, gradyan yönü daha bağışlayıcıdır. Öğretim görevlisi daha sonra, farklı aydınlatma koşulları altında bir nesnenin birden fazla fotoğrafını çekerek yüzey yönünü düzeltmeye yönelik bir teknik olan fotometrik stereoyu tartışmaya geçer. Albedo parametresinin, yüzeyin ne kadar ışık yansıttığını açıklamak için kullanıldığını ve yüzey yönelimini kısıtlamaya yardımcı olabileceğini açıklıyor.

  • 00:40:00 Bu bölümde öğretim görevlisi, üç bilinmeyenli ve üç ölçümlü bir problemin tanıtılabilmesi için üç ölçüm elde etmek üzere farklı ışık kaynakları kullanma sürecini açıklar. Bu, çözümü hesaplamak için basit ve ucuz bir yolla sonuçlanan doğrusal denklem çözme yöntemleri kullanılarak görüntünün yönünün netleştirilmesine izin verir. Öğretim görevlisi, iki çözümü bulmanın, birim vektörü keyfi bir 3-vektöre dönüştürmek için iç çarpım gösterimini kullanarak kaçınılabilecek bir ikinci dereceden elde edildiğini not eder. Ek olarak video, tekil matrislerden kaçınmak için doğrusal olarak bağımsız satırların öneminden bahseder.

  • 00:45:00 Dersin bu bölümünde fotometrik stereo, hata büyütme, özdeğerler ve özvektörler tartışılır. Işık kaynaklarının toplamı sıfır olduğunda ölçümlerin fazlalığı araştırılır ve üç boyutlu uzayda üç vektörün eş düzlemli olması durumunda yöntemin başarısız olacağı gösterilir. Ancak eş düzlemli değillerse ve birbirlerine dik açılarla yerleştirilirlerse sonuçlar daha güvenilir olacaktır. Ders ayrıca, güneşten gelen farklı aydınlatmalara dayalı olarak ayın topografik haritalarını oluşturmak için fotometrik stereo kullanımına da atıfta bulunur.

  • 00:50:00 Dersin bu bölümünde profesör, dünya ölçümlerinden ayın topografyasını elde etmeye çalışmanın zorluklarını tartışıyor. Ay'ın yörüngesinde farklı konumlarda ölçüm yapmak mümkün olsa da vektörler neredeyse eş düzlemli olduğundan bu yöntem işe yaramıyor. Profesör ayrıca, bir nesnenin mükemmel bir şekilde dağılmış ve düzgün bir yansımaya sahip olduğunu varsayan, ancak ayın yüzeyinde durumun böyle olmadığını belirten lambertian varsayımından da bahsediyor. Bununla birlikte, bu varsayım, bir tarafı bir kaynakla ve diğer tarafı başka bir kaynakla aydınlatarak ve ardından aynı açıdan bakıldığında iki tarafın eşit derecede parlak görünmesini sağlayacak şekilde dengeleyerek elde edilebilecek iki aydınlatma yoğunluğunun karşılaştırılması için kullanışlıdır.

  • 00:55:00 Dersin bu bölümünde profesör, yüzeylerin farklı açılardan aydınlatıldığında ışığı nasıl yansıttığını açıklayan Lambert Yasasının keşfine yol açan Lambert tarafından yürütülen deneyleri tartışıyor. Yasa, parlaklığın geliş açısının kosinüsüyle orantılı olduğunu belirtir. Tartışma ayrıca yüzey yönelimi ve bunun birim normal vektör kullanılarak veya birim küre üzerindeki noktalarla nasıl temsil edilebileceği hakkında konuşma ihtiyacını vurgular. Profesör, bu fenomenolojik modelin varsayılan bir davranış olduğundan ve gerçek yüzeylerin tam bir temsili olmadığından bahseder. Bölüm, bir Taylor serisi açılımı tanıtılarak sona erer.
  • 01:00:00 Videonun bu bölümünde konuşmacı, hesaplama problemlerinde birim normal notasyonu ile gradyan gösterimi arasındaki ilişkiyi tartışıyor. İki notasyon arasında nasıl geçiş yapılacağını açıklıyorlar ve bunun Kartezyen koordinatlar ve kutupsal koordinatlar gibi farklı alanlardaki problemleri çözmek için nasıl yardımcı olduğuna dair örnekler veriyorlar. Konuşmacı ayrıca bir yüzeydeki teğetlerin nasıl bulunacağını gösterir ve bu teğetlerin yönünün normal birim ile yüzeydeki gradyanları temsil eden p ve q arasındaki ilişkiyi bulmak için nasıl kullanılacağını açıklar.

  • 01:05:00 Bu bölümde öğretim görevlisi, yüzeyin birim normal vektörünü kullanarak olası tüm yüzey yönelimlerinin nasıl haritalanacağını ve bu bilginin makine görüşü için nasıl yararlı olduğunu tartışır. Yüzeyde bulunan iki teğet vektörün çapraz çarpımı, daha sonra yüzeyin yönünü elde etmek için normalleştirilebilen birim normal vektörün yönünü verir. Yüzey yönelimlerini, pq parametrelendirmesini kullanarak bir 2B düzleme yansıtarak, olası tüm yüzey yönelimleri görselleştirilebilir. Bu düzlemdeki noktalar, farklı p ve q değerlerine ve dolayısıyla aynı yönelime sahip zemin ve zeminin üzerindeki herhangi bir yüzey dahil olmak üzere farklı yüzey yönelimlerine karşılık gelir. Öğretim görevlisi, makine görüşünün yüzey yönünü düzeltebilmesine rağmen, tam bir yüzey oluşturmak için bu yönleri birbirine yamamanın ayrı, ancak aşırı belirlenmiş bir problem olduğunu belirtiyor.

  • 01:10:00 Videonun bu bölümünde, konuşmacı bir eğim düzleminin yapay görmede yüzey yönünün bir fonksiyonu olarak parlaklığı çizmek için bir araç olarak nasıl kullanılabileceğini açıklıyor. Düzlemdeki her nokta, belirli bir yüzey yönüne karşılık gelir ve parlaklık değerleri, farklı yön açılarındaki bir malzeme yamasından deneysel olarak belirlenebilir. Bununla birlikte, tek bir parlaklık ölçümü iki bilinmeyeni kurtaramaz ve yüzey öğesinin yönünü saptamak için birden çok ölçüm gerekir. Bu kavram daha sonra fotometrik stereo ve Lambert yüzeyi ile ilişkilendirilir, burada parlaklık geliş açısının kosinüsüyle orantılıdır ve izofotlar eğim düzleminde aranır.

  • 01:15:00 Burada, birim vektörde n'de olduğu gibi aynı dönüşümü tam olarak gerçekleştirmek için ışık kaynağının yönünü farklı bir şekilde yeniden yazmayı tartışıyor. Bu, gelen ışık ışınlarının düzlemde bulunan ve Lamborghini için en parlak yüzeyi veren psqs adı verilen yüzey normaline paralel olduğu bir nokta sunar. n noktayı belirli bir biçimde yeniden yazarak, o miktarın sabit olduğu pq uzayındaki eğrileri belirleyebilirler. Hepsini çarptıktan sonra, p ve q'da konik bir bölüme karşılık gelen ikinci dereceden bir denklem kalır. Verilen örnekler parabol ve elipstir.

  • 01:20:00 Bu bölümde, konuşmacı, paraboller, elipsler, daireler, çizgiler dahil olmak üzere çeşitli yüzey türleri için bir dizi izofoad içeren bir diyagramla birlikte bir yüzeyin çizildiği, grafikler için kullanılabilecek bir diyagramı tartışır. , noktalar ve hiperboller. Yüzeyin parlaklığı diyagramdan okunur ve çizilen görüntüde gri seviye veya renk olarak kullanılır. Birim normal yüzeyden elde edilebilir ve izoyollar üzerindeki noktayı belirlemek için kullanılabilir. Diyagram, ışık kaynağı hareket ettirildiğinde değişir, bu nedenle benzersiz bir çözüm elde etmek için iki izofoad setinin kesişme noktasını belirlemek önemlidir. İki ışık kaynağına sahip olmak tek bir çözüm yerine sonlu çözümlerle sonuçlanabileceğinden, iki yerine üç ışık kaynağı kullanılır.

  • 01:25:00 Bu bölümde, konuşmacı, ışık kaynağına giden hattın, koniler ve farklı açılar oluşturmak için iç içe koniler oluşturmak üzere nasıl döndürülebileceğini açıklamaktadır. Bu koniler bir düzlemle kesilebilir, bu da her zaman elips olmayan, aynı zamanda hiperboller ve hatta paraboller olan konik bölümlerle sonuçlanır. Konuşmacı ayrıca kosinüs tetanın pratikte negatif olamayacağına açıklık getirir ve eğrinin kapalı bir eğriden nereye döndüğü sorusunu gelecekteki ev ödevi problemleri için bir bilmece olarak bırakır. Ders, ev ödevi ve duyuru güncellemeleri için Piazza'ya kaydolmanız gerektiğini hatırlatan bir hatırlatmayla sona erer.
Lecture 6: Photometric Stereo, Noise Gain, Error Amplification, Eigenvalues and Eigenvectors Review
Lecture 6: Photometric Stereo, Noise Gain, Error Amplification, Eigenvalues and Eigenvectors Review
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
 

Ders 7: Gradyan Uzayı, Yansıma Haritası, Görüntü Işınım Denklemi, Gnomonik Projeksiyon



Ders 7: Gradyan Uzayı, Yansıma Haritası, Görüntü Işınım Denklemi, Gnomonik Projeksiyon

Bu ders, gradyan uzayını, yansıtma haritalarını ve görüntü ışınım denklemlerini tartışır. Öğretim görevlisi, grafik uygulamaları için yüzey yönünü ve parlaklığı belirlemek için bir yansıma haritasının nasıl kullanılacağını ve farklı aydınlatma koşullarında çekilmiş üç resim kullanarak yüzey yönünden parlaklığa sayısal bir haritanın nasıl oluşturulacağını açıklar. Ayrıca parlaklık kavramını ve bunun yoğunluk ve parlaklıkla ilişkisini ve ayrıca parlaklığı ölçerken sonlu bir açıklık kullanmanın önemini tanıtıyorlar. Ayrıca ders, ışığın bir mercekten geçtikten sonra nasıl davrandığına dair üç kurala, önceden kısaltma kavramına ve yüzeydeki bir parçadan gelen ışığın ne kadarının görüntüde yoğunlaştığını belirlemek için merceğin ışınları nasıl odakladığına değinir.

Bu derste konuşmacı, katı açıları ve kosinüs tetayı hesaba katarak bir görüntüdeki küçük bir alana iletilen toplam gücü belirleme denklemini açıklıyor. Bu denklemi kameralardaki f-durağı ve açıklık boyutunun alınan ışık miktarını nasıl kontrol ettiği ile ilişkilendirirler. Konuşmacı ayrıca, gerçek dünyadaki nesnelerin parlaklığıyla orantılı olan görüntü parlaklığını ve eksen dışına çıktıkça parlaklığın nasıl düştüğünü tartışıyor. Olaya ve yayılan yöne bağlı olarak bir yüzeyin ne kadar parlak görüneceğini belirleyen çift yönlü yansıtma dağılım fonksiyonunu tartışmaya devam ederler. Öğretim görevlisi, yansımanın bir gonyometre kullanılarak ölçülebileceğini ve bir nesnenin ışığı nasıl yansıttığını gerçekçi bir şekilde modellemenin önemli olduğunu açıklar. Ayrıca, iki yönlü yansıtma dağılım fonksiyonu için Helmholtz karşılıklılığı kavramını da açıklarlar. Ders daha sonra yüzey malzeme modellerine gradyan uzayı uygulamayı tartışarak devam eder ve öğrencilere ev ödevi bilgilerini güncel tutmalarını hatırlatır.

  • 00:00:00 Bu bölümde, bir görüntüdeki parlaklığı neyin belirlediğini keşfetmek için gradyan alanı kavramı tanıtılmaktadır. Parlaklık, yüzey oryantasyonu gibi genellikle aydınlatmaya ve geometriye bağlıdır, dolayısıyla parlaklığı belirlemek için yüzey yamasının oryantasyonundan bahsetmeyi gerekli kılar. Görüntüdeki eğimler için sadece uygun kısaltmalar olan birim normallerden ve p ve q'dan da bahsedilir. Bir Lambert yüzeyinin parlaklığı, söz konusu yüzeyin yönüne bağlı olarak tartışmalıdır. Birçok mat yüzey, bir Lambert yüzeyinin yaklaşık değerleridir ve bu tür yaklaşık değerler kullanışlı görünebilir. Bununla birlikte, çoğu kozmik ve mikroskobik durum bu tür yaklaşımlar için uygun değildir.

  • 00:05:00 Dersin bu bölümünde, konuşmacı, bir yüzeyin yönüne göre ne kadar parlak görünmesi gerektiğini gösteren bir diyagram olan yansıma haritası kavramını tartışıyor. Bu diyagram, grafik uygulamaları için yüzey yönünü ve parlaklığı belirlemek için kullanılabilir. Konuşmacı daha sonra bu konseptin Lambertian olmayan yüzeylere nasıl genişletilebileceğini ve yüzey yönüne dayalı olarak parlaklığı belirlemek için bir arama tablosunun nasıl oluşturulacağını açıklamaya devam ediyor. Yüzey oryantasyonu tahminini daha da hassaslaştırmak için ek bilgi ve kısıtlamalar kullanılabilir.

  • 00:10:00 Bu bölümde öğretim görevlisi, görüntü kalibrasyonu için küre gibi bir kalibrasyon nesnesinin nasıl kullanılacağını tartışır. Aydınlatılmış bir kürenin her yönden görüntüsünü alarak ve ona bir daire yerleştirerek, görüntünün merkezini ve yarıçapını tahmin edebilirsiniz. Küreler için, yüzeye bir noktanın ve bir birim vektörün paralel olduğu ve yüzey yönelimini belirlemeyi kolaylaştıran uygun bir ilişki vardır. Bu yöntem, enlem tanımında bazı değişikliklerle Dünya için de kullanılabilir. Önceki dersteki formül kullanılarak p ve q hesaplanarak, görüntüdeki her nokta için n ve yüzey yönü belirlenebilir.

  • 00:15:00 Bu bölümde ders, farklı aydınlatma koşullarında çekilmiş üç fotoğrafta yüzey yönünden parlaklığa sayısal bir harita oluşturma sürecini tartışıyor. Amaç, daha sonra aynı aydınlatma koşulları altında bir nesnenin üç görüntüsünü çekerken bu bilgiyi yüzey yönünü hesaplamak için kullanmaktır. Öğretim görevlisi, bilgisayarda her kutunun p ve q değerlerine sahip olduğu üç boyutlu bir dizi oluşturmayı içeren bu sürecin uygulanmasını açıklar. Görüntüler daha sonra ayrı aralıklarla nicelenir ve diziye bilgi koymak için kullanılır. Ders ayrıca niceleme etkileri ve asla doldurulamayacak boş hücreler gibi konuları da ele alır.

  • 00:20:00 Bu bölümde, konuşmacı Gradient Space'i açıklamaktadır; bu, 2B bir alan, o alanı fiilen doldurmadan 3B bir alana eşlenir. Bunun yerine, o boşlukta bir yüzey oluşur ve o yüzeydeki noktaları p ve q kullanarak adresleyebiliriz. İki görüntüden üçe geçtiğimizde, e1 e2 e3 ile doğrusal olarak ölçeklenen albedo faktörünü tanıtıyoruz. Kalibrasyon nesneleri beyaza boyanır ve rho eşittir bir için yüzey tanımları üretilerek ölçümler yapılır. Ancak diğer satırlar için küpleri doldurabilir ve başka yüzeyler oluşturabiliriz. Girişlerin yerleştirildiği arama tablosu, 3B'den 3B'ye bir arama tablosu olan p qve satırını içerir. Bir şeyler ters giderse, albedo rho için birden farklı bir değer olarak yansıtılır ve bu, üç ışık kaynağından birinde bir hata veya beklenmeyen bir blokaj olduğunu gösterir. Yöntem, gölge dökümünün tanınmasına veya çok yakın olan veya üst üste binen halka şekillerinde olduğu gibi yerleştirilmiş yansıtıcı yüzeyler için görüntüyü bölümlere ayırmaya ve parçalara ayırmaya yardımcı olur.

  • 00:25:00 Dersin bu bölümünde, konuşmacı, gradyan alanı ve yansıma haritalarını kullanarak, düşen gölgeleri ve yüksek yansıma alanlarını bölümlere ayırmanın yollarını tartışıyor. Tablo değerlerini karşılık gelen voksel değerleri ile doldurmanın metodik bir yolu vardır. Konuşmacı ayrıca, bir yüzeye çarpan bir ışık kaynağının birim alan başına gücü olan ışınım kavramını da tanıtıyor. Sensörü doğrudan aydınlatmaya maruz bırakmadığımız için bu konsept, görüntü işleme bağlamında pek kullanışlı değildir. Konuşmacı, yayılan gücün alana bölünmesiyle ilgili bir terminoloji olduğunu, ancak bunun görüntü işleme için faydasız olduğunu açıklıyor.

  • 00:30:00 Bu bölümde, konuşmacı yoğunluk kavramını ve bir nokta kaynağı kullanarak belirli bir yönde ne kadar radyasyon gittiğini ölçmek açısından anlamını açıklıyor. Kesintisiz açı, ölçümü normalleştirmek için tanımlanır ve birimleri, 2B'deki radyanlara benzeyen, ancak üç boşluğa yansıtılan steradyan cinsinden ölçülür. Kesintisiz açı, hoparlörün etrafındaki olası yönlerin dört pi steradyana eşit olduğu herhangi bir şekildeki bir dizi yönün ölçülmesine izin verir. Ek olarak, konuşmacı, örneğin bir kamera merceğinin merkez dışı bir özneye göre eğik olması gibi, nesnenin önceden kısalması olgusu nedeniyle yüzey alanının kürenin merkezine göre eğimli olduğu durumları hesaba katmanın önemine değiniyor.

  • 00:35:00 Videonun bu bölümünde yoğunluk ve parlaklık kavramları anlatılmaktadır. Yoğunluk, bir katı açı için güç olarak tanımlanırken, parlaklık, birim katı açı başına birim alan başına güçtür. Bir yüzeyden bir gözlemciye veya kameraya neyin ulaştığını ölçmek söz konusu olduğunda parlaklık daha yararlı olan niceliktir. Görüntü düzleminde parlaklık, yüzeyin parlaklığı cinsinden ölçtüğümüz parlaklık olan ışınım olarak ölçülür.

  • 00:40:00 Bu bölümde, öğretim görevlisi enerji ve güç ölçümü arasındaki ilişkiyi ve birbirleriyle nasıl orantılı olduklarını tartışır. Ayrıca parlaklığı ölçerken sınırlı bir diyafram kullanmanın öneminden ve iğne deliği modelini kullanırken ortaya çıkan sorunlardan bahsediyor. Öğretim görevlisi ideal ince merceği ve merkezdeki ışının sapmaması ve odak merkezinden gelen ışının optik eksene paralel çıkması dahil olmak üzere üç kuralını tanıtır. Lenslerin sınırlı sayıda foton verirken iğne deliği ile aynı projeksiyonu nasıl sağladığını ve bunları belirli bir odak uzaklığı ve mesafesinde kullanmanın cezasını açıklıyor.

  • 00:45:00 Bu bölümde video, ışığın bir mercekten geçtikten sonra nasıl davrandığına dair üç kuralı açıklıyor. Bir numaralı kural, odak merkezinden gelen herhangi bir ışının mercekten geçtikten sonra optik eksene paralel olacağını iddia eder. İki numaralı kural, sağdan paralel bir dizinin odak merkezinden geçeceğini belirtir. Son olarak, üç numaralı kural, ilk iki kuralın birleşimidir. Video, merceğin odağını ve uzunluğunu belirlemeye olanak tanıyan mercek formülünü türetmek için benzer üçgenler kullanır. Lensler, ışık ışınlarını yönlendirebilen etkileyici analog bilgisayarlar olmasına rağmen, lensin fiziksel sınırlamaları nedeniyle mükemmel bir yönlendirme elde edemezler.

  • 00:50:00 Bu bölümde video, lenslerin çeşitli yönlerden gelen ışınlarla nasıl başa çıktığını ve radyal bozulma gibi farklı kusur türleri arasında nasıl değiş tokuş yapıldığını tartışıyor. Video ayrıca ışınım ve nesne parlaklığı kavramını ve basit bir görüntüleme sisteminin diyagramının, bir nesne yamasından ne kadar güç çıktığını ve aydınlatma yoluyla bir görüntü parçasında ne kadarının kaldığını belirlemek için nasıl kullanılabileceğini açıklıyor. Ek olarak video, kameralarda düz görüntü düzlemlerinin ve lenslerin kullanıldığı varsayımına dikkat çekiyor.

  • 00:55:00 Dersin bu bölümünde konuşmacı, bir nesnenin yüzeyindeki birim vektörün önceden kısaltma etkisinin görüntü sensörüne gelen ışıkla nasıl ilişkilendirileceğini tartışır. Katı açı için bir formül yazıyor ve kosinüs alfa ile çarparak ve f sekant alfa kareye bölerek önceden kısaltma etkisini hesaba katıyor. Daha sonra görüntüdeki ışınımı o parçadan çıkan toplam enerji ve delta i alanı ile ilişkilendirir. Son olarak, merceğin ışınları nasıl odakladığından ve nesneden bakıldığında merceğin kapladığı katı açının, yüzeydeki o parçadan gelen ışığın ne kadarının görüntüde yoğunlaştığını nasıl belirlediğinden bahsediyor.
  • 01:00:00 Dersin bu bölümünde konuşmacı, katı açı ve kosinüs tetayı hesaba katan bir görüntüdeki küçük bir alana iletilen toplam gücün denklemini açıklıyor. Daha sonra birim alan başına güç, toplam gücün gerçekte ölçülen alana bölünmesiyle bulunur. Konuşmacı ayrıca bu denklemi kameralardaki diyafram açıklığının ne kadar açık olduğunu belirleyen ve dolayısıyla alınan ışık miktarını kontrol eden f-durağı ile ilişkilendirir. Açıklık boyutu genellikle 2'nin kareköküyle ölçülür ve görüntü parlaklığı f-durağının karesiyle ters orantılıdır.

  • 01:05:00 Bu bölümde konuşmacı, görüntüdeki parlaklık olan görüntü ışınımının gerçek dünyadaki nesnelerin parlaklığıyla nasıl orantılı olduğunu tartışıyor. Yüzey parlaklığının parlaklığının görüntü ışınımındaki parlaklıkla orantılı olması görüntüdeki parlaklığı ölçmemizi kolaylaştırır. Bununla birlikte, kosinüs ila dördüncü alfa ile temsil edilen ve geniş açılı bir lens kullanırken dikkate alınması gereken, eksen dışına çıktıkça parlaklık düşer. Bu etki çok belirgin olmasa da görüntü işleme zincirinde telafi edilebilir. Bu formül, görüntüdeki gri seviyeleri kullanarak parlaklığı ölçme fikrini haklı çıkarıyor ve bunun gerçek dünyada olanla bir ilgisi olduğunu gösteriyor.

  • 01:10:00 Bu bölümde öğretim görevlisi, gelen ve yayılan yöne bağlı olarak bir yüzeyin ne kadar parlak görüneceğini belirleyen çift yönlü yansıma dağılım fonksiyonu kavramını açıklar. Öğretim görevlisi, yansıtma oranının, beyazın gelen ışığın tamamını yansıttığını ve siyahın hiçbirini yansıtmadığını söylemek kadar basit olmadığını ortaya koyuyor. Öğretim görevlisi ayrıca gelen ışığın veya çıkan ışığın yönünü belirlemek için kutup ve azimut açılarının geleneksel kullanımını tartıştı. Çift yönlü yansıtma dağılım fonksiyonu, yansıtmanın belirlenmesinde esastır ve giden gücün giren güce bölünmesiyle ölçülür.

  • 01:15:00 Dersin bu bölümünde konuşmacı, bir nesnenin belirli bir konumdan bakıldığında ne kadar parlak göründüğünün kaynak yönünden ne kadar enerji verildiğine bölümü olarak tanımlanan yansımayı tartışır. Konuşmacı, yansımanın dört boyutlu bir uzayı keşfetmeye yardımcı olan bir açı ölçüm cihazı olan gonyometre kullanılarak ölçülebileceğini açıklıyor. Konuşmacı, birçok yüzeyin yansımayı doğru bir şekilde ölçmek için yalnızca iki açı arasındaki farkı gerektirdiğini ve bu da işlemi belirli nesneler için daha basit hale getirdiğini belirtiyor. Bir nesnenin ışığı nasıl yansıttığını gerçekçi bir şekilde modellemek önemlidir ve yansımayı ölçmek, sadece iyi bilinen bir modele yaklaşmak yerine bu gerçekçi modellemeye izin verir.

  • 01:20:00 Bu bölümde profesör, müdahale yoluyla renk üreten mikro yapılara sahip yanardöner nesneler ve kaplan gözü gibi sıkıca birbirine yapışmış yarı değerli taşlar gibi görünümlerini hesaplamak için tam dört boyutlu model gerektiren malzemeleri tartışıyor. ışığın dalga boyu ölçeğinde paketlenmiş mikro yapılar. Profesör ayrıca, gelen ve yayılan ışığı değiştirirseniz aynı değeri elde ederek veri toplamayı kolaylaştıracağınızı belirten iki yönlü yansıma dağılım işlevi için Helmholtz karşılıklılığı kavramını da tanıtıyor.

  • 01:25:00 Bu bölümde, konuşmacı bir münazara sırasında bir profesör tarafından kullanılan bir tekniği tartışıyor. Konuşmacı başlangıçta profesörün Almanca bir kitaba atıfta bulunarak bilgi eksikliklerini vurguladığını düşündü, ancak daha sonra bunun sadece bir münazara tekniği olduğunu anladı. Ders daha sonra, güneş sistemimizdeki ay ve kayalık gezegenler gibi nesneler üzerindeki yüzey gölgesini belirlemek için yüzey malzeme modellerine gradyan uzayı uygulamayı tartışarak devam eder. Konuşmacı ayrıca öğrencilere Piazza aracılığıyla ev ödeviyle ilgili herhangi bir uzantı veya önemli bilgiyi güncel tutmalarını hatırlatır.
Lecture 7: Gradient Space, Reflectance Map, Image Irradiance Equation, Gnomonic Projection
Lecture 7: Gradient Space, Reflectance Map, Image Irradiance Equation, Gnomonic Projection
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
 

Ders 8: Gölgeleme, Özel Durumlar, Ay Yüzeyi, Taramalı Elektron Mikroskobu, Green Teoremi




Ders 8: Gölgeleme, Özel Durumlar, Ay Yüzeyi, Taramalı Elektron Mikroskobu, Green Teoremi

Bu derste profesör, fotometri ve gölgeleme ile ilgili birkaç konuyu ele alıyor. Işınım, yoğunluk ve parlaklık arasındaki ilişkiyi ve bunların nasıl ölçüldüğünü ve ilişkili olduğunu açıklıyor. Ders ayrıca, aydınlatmanın bir yüzeyin yönünü ve malzemesini nasıl etkilediğini açıklamak için çift yönlü yansıma dağılım fonksiyonunu (BRDF) tanıtıyor. Öğretim görevlisi ayrıca ideal bir lambertian yüzeyinin özelliklerini ve bunun gelen ışığı ölçmek ve Helmhotz karşılıklılığı ile uğraşırken karışıklığı önlemek için sonuçlarını tartışıyor. Ders ayrıca gradyandan birim vektöre dönüştürme sürecini ve bunun ışık kaynağının konumuyla nasıl ilişkili olduğunu da kapsar. Son olarak ders, parlaklığın ölçülmesinin bir yüzeyin dikliğini veya eğim yönünü nasıl belirleyebileceğini açıklar.

Ders, optik ve bilgisayar görüşü ile ilgili çeşitli konuları kapsar. Profesör, şeklini belirlemek için bir nesnenin yüzeyinin bir profilini elde etmek için gölgeleme tekniklerinden şekil kullanmayı tartışıyor. Daha sonra mercekleri tartışmaya geçer ve ortografik izdüşüm kullanımını haklı çıkarır. Öğretim görevlisi ayrıca telesentrik lensler oluşturarak makine görüşünde perspektif projeksiyonun kaldırılmasından bahsediyor ve camın dalga boylarıyla kırılma indisi değişimi nedeniyle oluşan sapmaları telafi etmek için çeşitli hileler gösteriyor. Son olarak, konuşmacı, perspektif projeksiyonla ilgili bazı problemleri basitleştiren ortografik projeksiyon kavramını tanıtır.

  • 00:00:00 Bu bölümde, öğretim görevlisi önceki fotometri dersindeki temel kavramları gözden geçirir. Işınım, yoğunluk ve parlaklığı tanımlar ve bunların nasıl ölçüldüğünü ve ilişkili olduğunu açıklar. Daha sonra, bir yüzeyin parlaklığı ile bir görüntünün karşılık gelen bölümünün parlaklığı arasındaki ilişkiyi tanıtıyor; bu, hem dünyadaki hem de bir kameranın içindeki parlaklıktan bahsetmek için kullanılabilir. Öğretim görevlisi, bu ilişkinin, görüntünün katı açısını ve alanını sınırlayan mercek üzerindeki diyaframdan nasıl etkilendiğini açıklar.

  • 00:05:00 Bu bölümde, aydınlatma miktarı, geometri ve malzeme ile ilişkili olarak bir yüzeyin parlaklığının belirlenmesine odaklanılır. Aydınlatmanın bir yüzeyin yönünü ve malzemesini nasıl etkilediğini açıklamak için çift yönlü yansıma dağılım fonksiyonu (BRDF) tanıtıldı. BRDF, toplam çıkış gücünün toplam giriş gücüne bölünmesiyle hesaplanabilen ışığın geliş yönünün ve yayılan yönünün bir fonksiyonudur. Ek olarak, BRDF'nin bir kısıtlamayı karşılaması gerekir, burada kaynağa ve izleyiciye giden yönler birbirinin yerine geçerse aynı şekilde çıkması gerekir. Bazı yüzey yansıtma modelleri bu kısıtlamayı ihlal ederken, insan veya makine görüşü için kritik değildir, bu da alınması gereken ölçüm sayısını azaltmada bir kestirme yol haline getirir.

  • 00:10:00 Dersin bu bölümünde, profesör ideal bir lambert yüzeyinin özelliklerini tartışıyor: her bakış açısından eşit derecede parlak görünüyor ve eğer ideal bir lambert yüzeyi ise, gelen tüm ışığı da yansıtıyor. Profesör, dört parametreden ikisine bağlı olmayacağı için bunun formülü basitleştirdiğini açıklıyor. Ardından, bir odadaki ışıklar gibi dağıtılmış kaynaklarla nasıl başa çıkılacağını ve olay yönlerinin bir yarımkürede entegrasyonunu tartışıyor. Profesör, yayılan tüm doğrultularda integral almamız gerektiğini ve kutup açısı ve azumit kullanarak yamanın alanını nasıl hesaplayacağımızı açıklıyor. Son olarak, f teriminin sabit olduğundan bahseder.

  • 00:15:00 Bu bölümde ders, gölgeleme kavramını ve ışığın bir yüzeydeki yansımasını tartışır. Ders, bir yüzeye düşen ışığın gelen radyasyona ve geliş açısına bağlı olduğunu vurgular. Işığın tamamının yansıdığı ve yüzeyde biriken gücün e kosinüs teta i çarpı yüzey alanı olduğu söylenir. Bu nedenle yansıyan ışık entegre edildiğinde gelen ışığa eşittir. Ders, inversiyon yüzeyi için f'nin sabit değerini hesaplar ve lambert yüzeyi için f'nin 1 bölü pi olduğu sonucuna varır. Yansıtılan enerjinin her yöne eşit olarak yayılmadığına dikkat çekilerek, kısaltmanın bir yüzeyden yayılan gücü nasıl etkilediği açıklanır.

  • 00:20:00 Dersin bu bölümünde profesör, ışığı her yöne eşit olarak yayan bir yüzey olan Lambert yüzeyi kavramını tartışıyor. Ancak, büyük ve ışık kaynağına açılı bir yüzey söz konusu olduğunda, yüzey elemanının alanı küçülür ve sonuç olarak, birim alan başına düşen güç sonsuz olur. Retina hasarını önlemek için yüzey belirli yönlerde daha az ışıma yapar, ancak birim alan başına düşen güç sabit kalır. Bu durum, yüzeyin aslında belirli alanlarda daha fazla ve diğerlerinde daha az ışıması anlamına gelir ve bu da bir bölü 2 pi yerine bir bölü pi oranıyla sonuçlanır. Ders daha sonra gelen ışığı ölçmek ve Helmhotz karşılıklılığı ile uğraşırken kafa karışıklığını önlemek için bu bilginin nasıl kullanılacağını açıklayarak devam eder.

  • 00:25:00 Bu bölümde öğretim görevlisi, Lambert yüzeyinden farklı olan ve birçok uygulamada oldukça önemli olan bir yüzey tipini tanıtıyor. Bu tür bir yüzey, bir bölü kosinüs teta i çarpı kosinüs teta e'nin kareköküdür ve Helmholtz karşılıklılığını karşılar. Bu tür bir yüzeyin parlaklığı, önceden kısaltmadan etkilenir ve ay ve kayalık gezegenlerin yanı sıra bazı asteroitlerin yüzeylerini modellemek için kullanılır. Ders, 3B uzayda iç içe daireler olan, ancak görüntü düzleminde elipsler olarak yansıtılan bu yüzeyin izofotlarının nasıl belirleneceğini açıklayarak parlaklık kontur haritaları hakkında fikir verir.

  • 00:30:00 Bu bölümde, konuşmacı belirli bir malzemeyi 3B uzayda gölgelemenin yolunu bulmanın zorluğunu tartışıyor. Bir laboratuvarda kullanılan önceki yöntemin bu malzeme için işe yaramayacağını, bu nedenle yeni bir yaklaşıma ihtiyaç olduğunu açıklıyorlar. Konuşmacı daha sonra, sabit bir vektöre dik olması gereken yüzeydeki tüm noktaların sabit değerlerini bulmak için birim normalleri kullanmayı gösterir. Daha sonra bunun, yüzeydeki aynı parlaklığa sahip tüm birim vektörlerin bir düzlemde olması gerektiği anlamına geldiğini ve malzeme hakkında yararlı bilgiler ortaya koyduğunu gösterir. Son olarak, konuşmacı daha iyi bir anlayış kazanmak için küresel koordinatları kullanır.

  • 00:35:00 Bu bölümde, öğretim görevlisi, iyi bir sisteme sahip olmanın cebirsel bir karışıklığı önleyebileceğinden, ay yüzeyinin gölgelenmesiyle uğraşırken bir koordinat sisteminin nasıl seçileceğini tartışıyor. Güneş ve dünyanın z=0'da olduğu bir koordinat sisteminin kullanılmasını öneriyorlar, bu da hesaplamaları yalnızca bir bilinmeyene kadar basitleştiriyor. Ders ayrıca, diskin eşit şekilde parlak olması gereken, ancak Lambertian olmayan mikro yapısı nedeniyle tamamen küresel görünmediği dolunayın görünümüne de kısaca değiniyor. Hakka modeli, bu tür davranışları tahmin etmek için iyi bir modeldir. Son olarak ders, n nokta s bölü n nokta v formülüne dalıyor ve sonuçta küresel koordinat vektörlerini kullanan basitleştirilmiş bir versiyona ulaşıyor.

  • 00:40:00 Bu bölümde öğretim görevlisi, ay yüzeyinin parlaklığı ve azimutu arasındaki ilişkiyi tartışıyor. Yüzeydeki aynı parlaklığa sahip tüm noktaların aynı azimuta sahip olduğunu ve sabit boylam çizgilerinin izofot olduğunu açıklarlar. Bu, bir lambert yüzeyinden çok farklıdır. Ay, kömüre eşit bir albedoya sahip olmasına rağmen, yansımasını ölçecek karşılaştırma nesnelerinin olmaması nedeniyle gökyüzünde çok parlak görünür. Bununla birlikte, farklı aydınlatma koşulları altında yüzeyin birden fazla fotoğrafını çekerek ayın yüzey yönünü ve potansiyel olarak şeklini belirlemek için fotometrik stereo kullanabiliriz. Hopkin modeli, yüzey yönelimini gradyan cinsinden tanımlamak için kullanılır.

  • 00:45:00 Bu bölümde öğretim görevlisi, eğimden birim vektöre dönüştürme sürecini ve bunun ışık kaynağının konumuyla nasıl ilişkili olduğunu tartışır. Helmholtz'un tatminini sağlamak için karekökün gerekli olduğunu ve belirli nokta çarpımlarının oranını alarak pq uzayında çizilebilen izofotlar için doğrusal bir denklem elde edildiğini açıklarlar. Öğretim görevlisi, bu çizgilerin karekök nedeniyle eşit aralıklı olmamasına rağmen paralel olduklarını ve gelen radyasyondan 90 derecelik bir sapmayı gösteren parlaklığın sıfır olduğu bir çizgi olduğunu not eder. Genel olarak, bu bölüm izofotların hesaplanmasının altında yatan matematiksel kavramları ve belirli bir alandaki ışık kaynaklarının konumu ile parlaklığı arasındaki ilişkiyi kapsar.

  • 00:50:00 Bu bölümde öğretim görevlisi, çeşitli problemlerin kolayca çözülmesini sağlayan fotometrik stereoda doğrusal gölgelemenin avantajlarını tartışır. İki farklı aydınlatma koşulunda, iki doğrusal denklem kesişir ve kesişme noktası yüzey yönüdür. Öğretim görevlisi, dört adede kadar çözümün olduğu önceki yöntemde bir sorun olan Lambertian gölgelemede bir belirsizlik olmadığını belirtiyor. Öğretim üyesi ayrıca birinci uzamsal türevlerin koordinat sistemi ile aynı şekilde döndüğünü gösterir ve bu, yüzeyin tüm yönünü bilmeden belirli bir yöndeki yüzey yönünü belirlemede faydalıdır.

  • 00:55:00 Bu bölümde öğretim görevlisi, parlaklığın ölçülmesinin bir yüzeyin dikliğini veya eğim yönünü nasıl belirleyebileceğini açıklayarak, araştırmacıların noktaların dikey ve yatay olarak parlaklığını veya yansıtıcılığını ölçerek bir yüzey profili oluşturmasına olanak tanır. İşlem, başlamak için yüzeyin parlaklığını ölçen ve kademeli olarak z'yi bulan bir başlangıç koşulu gerektirir. Bununla birlikte, ölçümün doğruluğu yansıtmadaki farklılıklardan ve parlaklık ölçümündeki yanlışlıklardan etkilenebilir.

  • 01:00:00 Bu bölümde profesör, gölgeleme tekniklerinden şekil kullanarak şeklini belirlemek için bir nesnenin yüzeyinin profilinin nasıl elde edileceğini tartışıyor. Bir nesne üzerinde bir profil çalıştırarak, başlangıç değerini bildiği sürece profilin şeklini nasıl elde edebileceğini açıklıyor. Ancak başlangıç değerini bilmiyorsa profilin mutlak dikey konumunu elde edemez. Daha sonra, nesnenin şeklini keşfetmek için yüzeyin çeşitli profillerini elde etmek için bu tekniği aya uygular. Profesör ayrıca profillerden 3B yüzeyleri birleştirmek için buluşsal yöntemlerden bahsediyor. Daha sonra lensler hakkında konuşmak için konu değiştiriyor ve ortografik izdüşüm kullanımını haklı çıkarıyor.

  • 01:05:00 Bu bölümde öğretim görevlisi, birden çok öğeden oluşan bileşik lenslerin dikkatlice tasarlanmış düzenlemelerle sapmaları nasıl telafi ettiğini tartışıyor. Camın kırılma indisinin dalga boylarına göre değiştiğini ve bunun da renk sapmalarına neden olduğunu, ancak farklı malzemelerden oluşan bileşik lenslerin bunu telafi edebileceğini belirtiyor. Öğretim görevlisi, kalın lenslerin düğüm noktaları ve ana düzlemler kullanılarak nasıl yaklaşık olarak tahmin edilebileceğini ve t (düğüm noktaları arasındaki kalınlık) negatif yapmanın nasıl kısa bir telefoto lensle sonuçlanabileceğini açıklar. Bu teknik, uzun odak uzaklığını ve küçük görüş alanını korurken bir telefoto lensin uzunluğunu önemli ölçüde azaltabilir.

  • 01:10:00 Bu bölümde öğretim görevlisi, makine görüşünde perspektif projeksiyonu kaldırmak için iki numara gösteriyor. İlk numara, düğümlerden birinin sonsuza taşınmasını içerir, bu da mesafeyle değişen büyütmenin etkisini azaltır. Uzak bir projeksiyon merkezine sahip bir telesentrik lens oluşturarak, yön konisi daha paralel hale gelir ve büyütme, mesafeden bağımsız olarak sabit kalır. İkinci numara, görüntü düzlemi tam olarak doğru yerde olmadığında büyütmeyi değiştiren diğer düğümü hareket ettirmeyi içerir. Keskin bir görüntü elde etmek için, camın odak uzunluğunu değiştirerek veya merceği görüntü düzlemine göre hareket ettirerek merceğin odaklanması gerekir.

  • 01:15:00 Dersin bu bölümünde, konuşmacı kosinüs üzeri dördüncü yasa ve izdüşüm merkezi artı sonsuzda olmadığında değişen büyütme ile ilgili konuları tartışıyor. Radyasyonun sensöre dik olan belirli bir sensöre ulaşmasına neden olduğundan, düğüm noktasının dışarı taşınmasının ve çift telesentrik lenslerin kullanılmasının bu sorunları nasıl ortadan kaldırabileceğini açıklıyor. Ek olarak, konuşmacı, gelen ışığı daha küçük bir alana yoğunlaştırmak ve sinyalde yüksek frekanslı bileşenler olduğunda ortaya çıkabilen örtüşmeyi önlemek için küçük lens kapaklarına duyulan ihtiyacı tartışıyor. Son olarak, konuşmacı, düşük geçişli filtrelemenin öneminden ve onu mükemmel bir şekilde yeniden oluşturmak için yalnızca sinyalin bant genişliğinin iki katı örnekleme sinyalinin öneminden bahseder.

  • 01:20:00 Bu bölümde öğretim görevlisi, geniş bir alandan gelen ışığı ölçmek için bir mercek dizisini kullanırken, blok ortalamalı alçak geçiren filtrelemenin örtüşme sorunlarını nasıl azaltabileceğini tartışıyor. Bu yöntem, telesentrik lensler kullanılarak elde edilen ışık sensöre dik olarak gelirse iyi çalışır. Bununla birlikte, ders daha sonra belirli durumlarda, örneğin bir sahnedeki derinlik değişikliklerinin derinliğin kendisinden daha küçük olduğu durumlarda, ortografik izdüşüm kullanmanın daha uygun olduğunu açıklayarak devam eder. Bu, dünyadaki x ve y ile görüntüdeki x ve y arasında doğrusal bir ilişki sağlayarak, nesnelerin ne kadar uzakta olduklarından bağımsız olarak mesafelerinin ve boyutlarının ölçülmesine olanak tanır.

  • 01:25:00 Bu bölümde konuşmacı, telesentrik merceklerle pratik uygulamalar için yararlı olan ve tartışılacak bazı sorunları basitleştiren ortografik izdüşüm kavramını tanıtıyor. Bazıları bu yöntemin yalnızca Lamborghini için işe yaradığını düşünse de, aslında her şey için işe yaradığını, ancak diğer sürümler için denklemlerin karıştığını belirtiyorlar. Konuşmacı, bundan sonra ele alacakları türden yeniden yapılandırmanın perspektif projeksiyon altında yapılabileceğini, ancak bunun karmaşık olduğunu ve pek içgörülü olmadığını açıklıyor. Ancak, ortografik izdüşüme geçildiğinde bu sorunların çoğu daha net hale gelir.
Lecture 8: Shading, Special Cases, Lunar Surface, Scanning Electron Microscope, Green's Theorem
Lecture 8: Shading, Special Cases, Lunar Surface, Scanning Electron Microscope, Green's Theorem
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
 

Ders 9: Gölgelendirmeden Şekil, Genel Vaka - Birinci Dereceden Doğrusal Olmayan PDE'den Beş ODE'ye



Ders 9: Gölgelendirmeden Şekil, Genel Vaka - Birinci Dereceden Doğrusal Olmayan PDE'den Beş ODE'ye

Bu ders, görüntü parlaklığındaki varyasyonları kullanarak nesnelerin şekillerini yorumlamak için bir yöntem olan gölgelemeden şekil konusunu kapsar. Öğretim görevlisi, yüzey eğiminin tahminine izin vererek, gelen bir elektron ışınının geri çıkmasını sağlayan kısmını ölçmek için ikincil bir elektron toplayıcının kullanıldığı taramalı elektron mikroskobu sürecini açıklar. Ders ayrıca, yüzey türevlerini tahmin etmek ve ölçüm gürültüsü verilen en küçük yüzeyi bulmak için kontur integrallerinin, momentlerin ve en küçük karelerin kullanımını tartışır. Konuşmacı, gölgeleme probleminden şekil için beş adi diferansiyel denklem türetiyor ve ayrıca görüntü işleme işlemlerinde kullanılan Laplace operatörü kavramını açıklıyor.

"Gölgelemeden Şekil" konulu bu derste, konuşmacı gölgelemeden şekle en küçük kareler çözümü için denklemleri çözmeye yönelik çeşitli yaklaşımları tartışıyor. Öğretim görevlisi, Laplace koşulunu sağlamak, piksel değerlerini ayarlamak ve farklı noktalardan görüntü ölçümleri ve eğim hesaplamaları kullanarak yüzeyleri yeniden oluşturmak için farklı teknikleri açıklar. Ders, başlangıç değerleri, döndürme dönüşümü ve eksi teta ile ters dönüşüm konularını kapsar. Öğretim görevlisi, gelişigüzel yansıma haritaları için bu denklemlerin genelleştirilmesi ve gölgeleme yorumlamasının somut örneklerini sağlamak için taramalı elektron mikroskobu görüntülerini incelemenin önemi hakkında bir tartışma ile bitirir.

  • 00:00:00 Dersin bu bölümünde profesör, görüntü parlaklığı ölçümlerini kullanarak nesnelerin şekillerini kurtarma yöntemi olan gölgelemeden şekli tanıtıyor. Bu yöntemin, çoklu pozlama gerektiren fotometrik stereodan nasıl farklı olduğunu açıklıyor. Profesör ayrıca hapke, kayalık gezegenlerden yansıma için bir model ve mikroskopi için üçüncü bir model dahil olmak üzere farklı yüzey malzemeleri türlerini ve yansıtma özelliklerini tartışıyor. Elektron mikroskobu yöntemleri arasında bir karşılaştırma sunuyor ve taramalı elektron mikroskoplarının, kenarlara yaklaştıkça daha parlak hale gelen parlaklıktaki belirli varyasyonları nedeniyle insanların yorumlamayı kolay bulduğu görüntüleri neden ürettiklerini açıklıyor.

  • 00:05:00 Bu bölümde öğretim görevlisi, nesnelerin şeklini yorumlamada önemli bir rol oynayan görüntülerde gölgelendirmenin önemini tartışır. Öğretim görevlisi, yüzey yönelimlerine bağlı olarak parlaklıkta farklılıklar gösteren, şekillerini kolayca yorumlayabilmemizi sağlayan bir güve kafasının ve oval bir futbol benzeri şeklin görüntülerini sunar. İlginç bir şekilde, futbol benzeri nesnenin lambert olmayan yüzeyine rağmen, insanlar şeklini doğru bir şekilde yorumlayabiliyor. Ders daha sonra, nesnenin yüzeyinin görüntülerini oluşturmak için bir hızlandırılmış elektron ışını kullanan taramalı elektron mikroskoplarının işleyişini inceler.

  • 00:10:00 Bu bölümde, taramalı elektron mikroskobu kullanarak gölgeli görüntüler oluşturma işlemi anlatılmaktadır. Birkaç kilo elektron volttaki elektronlar bir nesneye çarpar ve bazıları geri saçılma olarak seker, ancak çoğu nüfuz eder ve enerji kaybederek ve iyonlaştırıcı şeylerden elektronları çarparak ikincil elektronlar oluşturur. İkincil elektronların bir kısmı nesneden çıkar ve nesneyi raster benzeri bir şekilde taramak için bir elektrot tarafından toplanır. Burada ölçülen akım daha sonra bir ekrandaki bir ışık demetini modüle etmek için kullanılır; bu, binlerce ila on binlerce büyütme elde etmek için sapma yoluyla büyütülebilir ve bu da onu optik mikroskopiden daha güçlü kılar.

  • 00:15:00 Dersin bu bölümünde, konuşmacı bir yüzeyin yönelimini ikincil bir elektron toplayıcı kullanarak ölçme sürecini açıklıyor. Toplayıcı, daha fazla ikincil elektronun kaçması nedeniyle daha fazla akımla sonuçlanan oldukça eğimli yüzeylerle gelen ışının onu geri çıkaran kısmını ölçer. Bir yansıma haritası çizerek, parlaklığa karşı yön, yüzeyin eğimi belirlenebilir, ancak gradyanı belirlenemez, geriye iki bilinmeyen ve bir kısıtlama kalır. Bu problem, amacın bir parlaklık modelinden yüzey şeklini tahmin etmek olduğu gölgeleme probleminden şekil alma problemine bir örnektir.

  • 00:20:00 Dersin bu bölümünde, konuşmacı bir yüzeyin eğimini veya eğimini belirlemek için yansıma haritasının kullanımını tartışıyor. Bu yöntemin sadece belirli tipler için değil, çeşitli yüzeyler için kullanılabileceğini açıklıyorlar. Tartışma ayrıca iğne diyagramlarını ve bunların yüzey yönünü ve şeklini belirlemek için nasıl kullanılabileceğini de kapsar. Konuşmacı, bunun basit bir problem olmasına rağmen, bilinmeyenlerden daha fazla kısıtlama olduğu için fazla belirlenmiş olduğunu açıklıyor. Bu, gürültünün azaltılmasını ve daha iyi bir sonuç alınmasını sağlar. Ders, orijinden yükseklik değişimini belirlemek için p'nin integralinin alınmasıyla sona erer.

  • 00:25:00 Bu bölümde, konuşmacı, tüm alanı doldurmak için birleştirilebilen x ekseni veya y ekseni boyunca herhangi bir yerde yükseklikleri tahmin etmek için bilinen verilerin nasıl entegre edileceğini tartışır. Bununla birlikte, kullanılan p ve q değerleri ölçüm gürültüsüne tabidir, yani p ve q'nun farklı şekillerde ölçülmesinin aynı cevaba yol açacağının garantisi yoktur. Bu sorunu çözmek için, p ve q üzerinde bir kısıtlama getirilmelidir; p ve q, herhangi bir döngü için bu kısıtlamayı karşılamalıdır ve büyük döngü, kısıtlamanın büyük döngü için de geçerli olduğundan emin olmak için birbirini götüren küçük döngülere ayrıştırılabilir.

  • 00:30:00 Bu bölümde öğretim görevlisi, bir yüzeyin türevlerinin fotometrik dış veya diğer görüş yöntemleriyle ölçülmesi bağlamında kontur integrali ile alan integrali arasındaki ilişkiyi tartışır. Ders, eğimin hemen hemen sabit olduğu bir uzantının merkezine göre eğimin nasıl tahmin edilebileceğini gösteriyor ve x y yüzeyinin türevlerini ilişkilendiren bir denklem türetmek için Taylor serisi açılımını kullanıyor. Ölçülen p ve q'yu veren xy'nin tam z'sini bulmanın imkansız olduğu söylenir, ancak en küçük kareler yaklaşımını bulmak için daha zarif bir yol sunulur.

  • 00:35:00 Dersin bu bölümünde, konuşmacı bilgisayarlı görüde hesaplamaları tüm piksellerden yalnızca bir bölgenin sınırına indirmenin faydasını tartışıyor. Konuşmacı, pikselleri saymak yerine anahattı izleyerek verimli bir şekilde hesaplanabilen kontur integralleri ve momentleri aracılığıyla bir damlanın alanını ve konumunu hesaplama örneğini kullanır. Ders, kontur integralini momentlerin hesaplanmasıyla eşleştirmek için Green teoremini uygulayarak devam eder.

  • 00:40:00 Bu bölümde öğretim görevlisi, ölçümlerimize göre mümkün olan en küçük yüzeyi nasıl bulacağımızı tartışıyor. İdeal olarak, x ve y türevlerinin sırasıyla görüntüden elde ettiğimiz p ve q ile eşleştiği bir yüzey bulurduk. Ancak, ölçüm gürültüsü nedeniyle bu mümkün olmayacaktır, bunun yerine bir en küçük kareler problemini çözerek mümkün olduğu kadar küçük yapmaya çalışacağız. Z, sonsuz serbestlik derecesine sahip bir fonksiyondur, dolayısıyla sıradan hesap kullanamayız. Bunun yerine, bir grid üzerindeki sonlu sayıdaki bilinmeyenlerin her birine göre türev alabilir ve birçok denklem elde etmek için sonucu sıfıra eşitleyebiliriz.

  • 00:45:00 Dersin bu bölümünde, konuşmacı hem x hem de y yönlerinde gözlemlenen değerler ile tahmini türevler arasındaki hatayı en aza indirmek için her ızgara noktası için bir z değeri bulma sürecini tartışıyor. Bunu yapmak için konuşmacı, i ve j'nin tüm olası değerleri için türev almaları ve sonucu sıfıra eşitlemeleri gerektiğini açıklar; bu, en küçük kareler kullanılarak çözülebilen bir dizi doğrusal denklemle sonuçlanır. Ancak konuşmacı, i ve j tanımlayıcı adlarının başka adlarla değiştirilmemesi durumunda yanlış yanıt alınmasına neden olabilecek olası bir soruna karşı uyarır. Çok sayıda denklem olmasına rağmen, denklemler seyrektir, bu da onların çözülmesini kolaylaştırır.

  • 00:50:00 Bu bölümde, konuşmacı gölgeleme probleminden şekil için beş adi diferansiyel denklem türetmek için birinci dereceden doğrusal olmayan kısmi diferansiyel denklemleri kullanma sürecini gözden geçiriyor. Kare içindeki terimlerin türevinin alınması, terimlerin eşleştirilmesi, k ve l'nin çeşitli değerlerinin dikkate alınması aşamalarını açıklar. Öğretim görevlisi son denklemi basitleştirir ve sırasıyla p ve q'nun x ve y türevlerini belirlemek için terimleri ayırır. Amaç, sonuçta görüntüdeki tüm noktalar için bir çözüm bulmaktır.

  • 00:55:00 Bu bölümde konuşmacı, yapay görmede türevleri tahmin etmenin grafik bir yolu olan hesaplamalı molekül diyagramını açıklıyor. Bunu, görüntü işleme operasyonlarında yoğun olarak kullanılan Laplacian operatörünün nasıl türetileceğini göstermek için kullanır. Laplacian'ın dönme simetrik olduğunu ve kenar tespitinde çok yararlı olan ve aynı zamanda dönme simetrik olan türev operatörlerin olduğunu açıklıyor.

  • 01:00:00 Bu bölümde, konuşmacı gölgelendirmeden şekle en küçük kareler çözümü için denklemleri çözmek için varyasyon hesabını kullanmak yerine ayrık bir yaklaşımı tartışıyor. Ortaya çıkan denklemler, birçok değişkene sahip olmasına rağmen, yinelemeli çözümü mümkün kılan seyrektir. Konuşmacı, komşu piksellerin yerel ortalamalarını hesaplamayı ve görüntü bilgisine dayalı bir düzeltme eklemeyi içeren yinelemeli bir yaklaşım kullanarak bu denklemlerin nasıl çözüleceğini açıklar. Konuşmacı, yinelemeli çözümler önermenin kolay olsa da bunların yakınsadığını göstermenin zor olduğunu, ancak ders kitaplarının yakınsadıklarını öne sürdüğünü belirtiyor.

  • 01:05:00 Bu bölümde öğretim görevlisi, seyrek terimlerle basit bir denklem kullanarak piksel değerlerini ayarlayarak Laplace koşulunu sağlamaya yönelik bir yaklaşımı tartışıyor. Bu yaklaşım, ısı denklemini çözmekle ilgilidir ve paralel olarak verimli bir şekilde yapılabilir ve ölçüm gürültüsüyle bile kararlı hale getirilebilir. Teknik, bir yüzeyi en küçük kareler şeklinde yeniden oluşturmak için fotometrik stereo verilere uygulanabilir ve deneysel verilerle eşleşen makul bir çözüm sağlar. Bununla birlikte öğretim görevlisi, bu yaklaşımın fotometrik stereo ötesinde doğrudan yararlı olmadığını ve tek görüntü rekonstrüksiyonları gibi çözülmesi gereken daha zorlu problemler olduğunu kabul eder.

  • 01:10:00 Bu bölümde öğretim görevlisi, izofotlar olarak paralel düz çizgilerle yansıma haritasının basit bir durumunu tartışıyor. Paralel çizgiler, daha kullanışlı bir koordinat sistemine dönmeyi ve bilgiyi bir yönde maksimuma çıkarırken diğerinde en aza indirmeyi mümkün kılar. Ders, p, q, p üssü ve q üssü arasındaki ilişkiyi, bir üçgen tarafından verilen teta açısını ve eksi tetadan dönmenin ters dönüşümünü sağlar. Son olarak, ders dalgalı çizgilerle genel durumu analiz eder ve gölgelemeden şekil kavramını tartışır.

  • 01:15:00 Bu bölümde öğretim görevlisi, görüntü ölçümlerini ve farklı noktalardan eğim hesaplamalarını kullanarak bir yüzeyin nasıl yeniden oluşturulacağını anlatıyor. Ders ayrıca, z'nin yüksekliğine bir sabit ekleme ve değişiklikleri bulma yaklaşımının z'nin Laplacian'ını hiçbir şekilde ayarlamadığı fikrini de kapsar, bu da yükseklikteki farklılıkların fazla bilgi sağlamadığını, yalnızca göreli derinlik sağladığını ima eder. Bununla birlikte, öğretim görevlisi, bir yeniden yapılandırma elde etmek için z için bir başlangıç değerinin gerekli olduğunu not eder.

  • 01:20:00 Bu bölümde, konuşmacı Shape from Shading ile bir yüzeyin şekli için çözümlerin hesaplanmasında her satır için potansiyel olarak farklı başlangıç değerlerine sahip olmanın zorluğunu tartışıyor. Genel bir yükseklik değişikliğiyle başa çıkmak kolay olsa da, her sıra için farklı başlangıç değerlerine sahip olmak, orijinal, döndürülmemiş dünyaya geri döndürülebilecek farklı bir başlangıç eğrisi gerektirir. Konuşmacı, bu eğriler boyunca hareket ederek, bunları bağımsız olarak hesaplayarak ve ardından çözümü keşfetmek için hızı değiştirerek yüzeyi keşfetmek için eta'nın bir işlevi olan bir başlangıç eğrisi kullanmayı önerir.

  • 01:25:00 Bu bölümde konuşmacı bir sabitle çarparak denklemlerin daha basit hale geldiğini ve x ve y yönündeki hareketin sırasıyla q s ve p s ile orantılı olduğunu, z yönünde ise a basit formül. Ders, keyfi yansıma haritaları için bu denklemlerin genelleştirilmesi ve gölgeleme yorumlamasının somut örneklerini sağlamak için taramalı elektron mikroskobu görüntülerinin incelenmesinin önemi hakkında bir tartışma ile sona erer.
Lecture 9: Shape from Shading, General Case - From First Order Nonlinear PDE to Five ODEs
Lecture 9: Shape from Shading, General Case - From First Order Nonlinear PDE to Five ODEs
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
 

Ders 10: Karakteristik Şerit Genişletme, Gölgelendirmeden Şekil, İteratif Çözümler



Ders 10: Karakteristik Şerit Genişletme, Gölgelendirmeden Şekil, İteratif Çözümler

Bu derste eğitmen, görüntü oluşturma kavramında parlaklık ölçümlerini kullanarak gölgelemeden şekil konusunu ele alır. Bu, parlaklığı yüzey yönü, aydınlatma, yüzey malzemesi ve geometri ile ilişkilendiren görüntü ışınım denkleminin anlaşılmasını içerir. Birbirini besleyen iki ayrı denklem sistemini kullanarak ve parlaklık gradyanını kullanarak bütün bir şeridi izleyerek p ve q değişkenlerini güncelleme yöntemini açıklıyorlar. Ders ayrıca birinci dereceden doğrusal olmayan PDE'leri çözmenin zorluklarını ve yüzeyi keşfederken bir konturdan diğerine adım atmanın farklı yöntemlerini tartışır. Son olarak, eğitmen karakteristik şerit genişletmenin uygulanmasını ve sıralı bir yaklaşımın neden en iyi yöntem olmayabileceğini tartışarak paralelleştirmeyi önerir ve adım boyutunu kontrol eder.

Ders 10'da profesör, yüzeyde sabit noktalar kullanmak ve yerel şekli tahmin etmek için etrafına küçük bir başlık şekli oluşturmak da dahil olmak üzere, gölgelemeden şekil problemlerini çözmek için çeşitli yöntemleri tartışıyor. Öğretim görevlisi ayrıca, çözümler için başlangıç koşulları sağlayabilen tıkayıcı sınır kavramını da tanıtıyor ve karmaşık sayısal analiz yöntemlerini kullanarak üç cisim problemi için hesaplama çözümlerindeki son gelişmeleri tartışıyor. Buna ek olarak ders, bir sonraki derste ele alınacak olan endüstriyel yapay görme yöntemleri konusuna ve ilgili kalıplara değinir.

  • 00:00:00 Bu bölümde öğretim elemanı dönem projesi için ilk kısa sınav ve öneri sunumu ile ilgili duyuruları yapar. Dönem projesi, bir yapay görme sorununa bir çözüm uygulamayı içerir ve öğrenciler ayın 22'sine kadar kısa bir teklif sunmalıdır. Eğitmen daha sonra, yayınlanmış makaleler veya ders kitapları yerine patentlere bakacakları endüstriyel yapay görme konusundaki hız değişikliğinden bahseder. Bu süreçte öğrenciler, girişimlerde yer alan girişimciler için gerekli olan patent dilini öğreneceklerdir. Son olarak, eğitmen uç algılama için alt piksel yöntemlerinin uygulanması veya bir android telefonda iletişim süresi gibi öğrenci projelerinden örnekler sunar.

  • 00:05:00 Bu bölümde, öğretim görevlisi özellikle parlaklık ölçümlerini kullanarak gölgelemeden şekil kavramına odaklanarak görüntü oluşumunun farklı yönlerini tartışıyor. Bu, parlaklığı yüzey yönü, aydınlatma, yüzey malzemesi ve geometri ile ilişkilendiren görüntü ışınım denkleminin anlaşılmasını gerektirir. Yansıma haritası, bu denklemi basitleştirmek için kullanılır ve çift yönlü yansıtma dağılım fonksiyonundan (BRDF) türetilmiş olmasına rağmen, ayrıntılı yansıtma özelliklerini özetlemenin bir yolu olarak hizmet eder. Ders, bu kavramın ayın ve diğer kayalık gezegenlerin yansıtma özelliklerine nasıl uygulandığını ve belirli yönlerde yüzey yöneliminin belirlenmesine izin veren bir dizi denklemle sonuçlandığını açıklayarak devam eder.

  • 00:10:00 Bu bölümde, konuşmacı ortografik izdüşüm kullanarak görüntüde küçük bir adım atmanın yükseklikteki küçük bir adıma karşılık gelmesi kuralını tartışıyor. Bunun matematiği basitleştirdiğini ve Lambertian varsayımlarını mümkün kılan bir telesentrik lens ve uzak bir ışık kaynağı varsayımıyla bağlantılı olduğunu açıklıyor. Genel süreç, ileri Euler yöntemiyle üç sıradan diferansiyel denklemi sayısal olarak çözmeyi ve Hapka tipi yüzey boyunca parlaklığı beslemeyi içerir. Konuşmacı, bunun p ve q cinsinden nasıl ifade edileceğini ve ardından parlaklık görüntüsü için denklemin nasıl çıkarılacağını gösterir.

  • 00:15:00 Bu bölümde konuşmacı, ölçülen yüzey parlaklığı miktarı ile belirli bir yüzey için gereken çözüm arasındaki doğrudan ilişkiyi tartışır. Çözümü basitleştirmek için kullanılan, kaynak konumuna bağlı olan ve rs adında bir sabit olduğunu açıklıyor. Teknik, parlaklığın alınmasını, karesinin alınmasını, rs ile çarpılmasını ve z yönündeki türevi ile bir çıkarılmasını içerir. Konuşmacı ayrıca diferansiyel denklemler için bir başlangıç koşulunun nasıl elde edileceğini ve parametreler kullanılarak bir eğrinin nasıl tanımlanabileceğini açıklar. Yöntem daha sonra, eğimin yerel olarak belirlenemediği genel durumu ele almak için genelleştirilir.

  • 00:20:00 Bu bölümde öğretim görevlisi, karakteristik şerit açılımı kullanarak bir çözüm oluşturmayı tartışıyor. Bunu yapmak için, z'nin nasıl değişeceğini bilmek için yükseklikteki değişimi hesaplamak gerekir. Yüzey oryantasyonu, p ve q ile birlikte x, y ve z ile başladığımızı ve x, y ve z için kuralları güncellediğimizi ve z'nin yüksekliğindeki değişimin bir denklemle verildiğini varsayıyorlar. Devam ettikçe p ve q'yu güncellemek gereklidir, bu da sadece bir eğriye sahip olmaktan daha fazla bilgi anlamına gelen, yüzey yönünü taşıyan karakteristik bir şeritle sonuçlanır. Öğretim görevlisi, ikiye-iki matris ve eğriliğe karşılık gelen yüksekliğin ikinci kısmi türevlerini kullanarak p ve q'nun nasıl güncelleneceğini açıklar.

  • 00:25:00 Bu bölümde öğretim görevlisi, düzlemdeki bir eğriden daha karmaşık olan bir 3B yüzey için eğrilik matrisinin nasıl hesaplanacağını tartışır. Eğrilik matrisi, Hessian matrisi olarak adlandırılan ikinci dereceden türevlerin tam bir matrisini gerektirir. Ancak, çözüme devam etmek için daha yüksek mertebeden türevlerin kullanılması daha fazla bilinmeyene yol açacaktır. Bu nedenle, yüzey yönelimindeki değişiklikler görüntü parlaklığını etkileyen eğriliğe karşılık geldiğinden, görüntü ışınım denklemine, özellikle parlaklık gradyanına ihtiyaç vardır. Hem eğrilik hem de parlaklık gradyan denklemlerindeki ortak matris H'ye bakarak, H'nin hesaplanması x, y, z, p ve q'da bir güncellemeye izin vererek yöntemi tamamlar.

  • 00:30:00 Bu bölümde öğretim görevlisi h'yi iki lineer denklem kullanarak çözme kavramını tartışıyor. H, bu denklemlerin her ikisinde de görünür, ancak iki denklemimiz ve üç bilinmeyenimiz olduğu için h'yi çözemeyiz. Bununla birlikte, belirli bir delta x ve delta y kullanarak, adım boyutunu kontrol edebilir ve delta p ve delta q'yu hesaplamak için belirli bir yön seçebiliriz. Öğretim görevlisi, yüzey keşfedildikçe yönün değişebileceğini de açıklar. Bunu denkleme yerleştirerek, sorunu çözmek için p ve q'nun nasıl değiştirileceğini bulabiliriz.

  • 00:35:00 Bu bölümde öğretim görevlisi, görüntü ışınım denklemindeki z değişkenini çözmek için gereken beş adi diferansiyel denklemi tartışır ve p ve q değişkenlerini güncellemek için parlaklık gradyanını kullanarak bir şerit oluşturmak için bir yöntem sunar. Öğretim görevlisi, birbirini besleyen iki denklem sistemini içeren çözümün ilginç kısmını ve bunların gradyan yönünü nasıl belirlediklerini ve bütün bir şeridi izlemek için kullanılabileceğini açıklamaya devam ediyor. Son olarak, kısmi diferansiyel denklem, denklemin daha az göz korkutucu görünmesini sağlamak için p ve q kullanılarak basit, sıradan diferansiyel denklemlere indirgenir.

  • 00:40:00 Bu bölümde, konuşmacı birinci dereceden doğrusal olmayan PDE'lerin gölgelemeden şekil bağlamında parlaklığı çözmedeki zorluklarını tartışıyor. Bu, fizikte bulunan tipik olarak ikinci dereceden ve doğrusal PDE'lerden bir sapmadır, yani bu tür PDE'leri çözmek için özel bir yöntem gerekir. Herhangi bir R of P ve Q için genel durum tartışılır ve ardından iki spesifik yüzey özelliğine uygulanır: hapke ve taramalı elektron mikroskobu. X ve Y için güncelleme kurallarının sırasıyla PS ve QS ile orantılı olduğu gösterilmiştir.

  • 00:45:00 Bu bölümde öğretim görevlisi, karakteristik şerit genişletme ve gölgelemeden gelen şekli yinelemeli çözümlerle kullanarak x, y ve yükseklik eksenlerini güncelleme yöntemini açıklar. Yöntem, x ve y için güncellemeyi hesaplamak için p ve q'ya göre türev almayı ve yükseklik eksenini güncellemek için prp artı qrq'yi kullanmayı içerir. Ders, bu yöntemin taramalı elektron mikroskobu görüntülerinde kullanılabileceğini belirtiyor ve ayrıca görüntünün mümkün olduğu kadar çoğunu keşfetmek için karakteristik şeritlerin görüntü düzlemine yansıtılmasını içeren temel özellikler kavramına değiniyor.

  • 00:50:00 Bu bölümde, konuşmacı karakteristik şerit genişletmenin uygulanmasını ve sıralı bir yaklaşımın neden en iyi yöntem olmayabileceğini tartışıyor. Her eğri boyunca bulunan bağımsız çözümler nedeniyle, her eğri boyunca bir süreç çalıştırılabilir ve bu da hesaplamayı paralelleştirilebilir hale getirir. Makul bir adım boyutuna sahip olması gereken hesaplamanın hızı tartışılmış ve adım boyutunun z sabiti tarafından kontrol edildiği basit bir durum incelenmiştir. Z denkleminde PRP ve QRQ ile bölünerek, değişim oranı bir olur ve z'nin artan değerlerinde konturları olan her eğri boyunca sabit çözümler elde edilir.

  • 00:55:00 Dersin bu bölümünde, konuşmacı siz yüzeyi keşfederken bir konturdan diğerine geçmenin farklı yollarını tartışıyor. Tüm denklemlerin sabit bir faktöre bölünmesini gerektiren, z yönünde sabit boyutlu artışlarla adım atma veya görüntüde sabit adım boyutuna sahip olma seçeneğinden bahsediyorlar. Diğer bir seçenek, artışların karelerinin toplamının 1 olduğu 3B'de sabit boyutlu artışlarda adım atma ve son olarak, kontrast veya parlaklık görüntüsünde konturlarda izofotlarda adım atma olasılığıdır. Bununla birlikte, bu yöntemlerin bazılarında farklı eğrilerin farklı hızlarda çalışması veya sıfıra bölünmesi gibi sorunlar olabilir, bu nedenle bu sınırlamaları dikkate almak önemlidir.

  • 01:00:00 Dersin bu bölümünde, profesör görüntüdeki iki gradyanın iç çarpımını ve kırılma haritasını tartışıyor ama çok fazla ayrıntıya girmiyor. Görüntüde konturdan kontura hareket etmek, komşu çözümlerin daha kolay birbirine bağlanmasını sağlar ve ham sayısal analiz yöntemleri yeterli sonuçlar sağlayabilir. Profesör daha sonra üç cisim problemi için hesaplama çözümlerindeki son ilerlemeleri ve analitik olarak çözülmesi imkansız olmasa bile zor olacak denklemleri çözmek için karmaşık sayısal analiz yöntemlerinin nasıl kullanıldığını tartışmaya devam ediyor.

  • 01:05:00 Bu bölümde öğretim görevlisi, optik yapay görme yöntemlerini kullanarak bir yüzeyi keşfetmek için bir başlangıç eğrisine ihtiyaç duymanın zorluğunu tartışıyor. Neyse ki, eğrinin oryantasyonu üzerinde bir kısıtlama sağlayan bir görüntü ışınım denklemi var ve eğrinin yüzeyde olduğunu biliyoruz, bu da türevleri hesaplamamıza ve lineer bir denklemi çözmemize izin veriyor. Bu, nesne üzerinde şekli, yönü vb. bildiğimiz özel noktalar bulabilirsek, yönü bulabileceğimiz ve nesne üzerinde bir başlangıç şeridi ihtiyacından kurtulabileceğimiz anlamına gelir.

  • 01:10:00 Bu bölümde konuşmacı, bir nesnenin bir taraftaki kısmı görünürken diğerinin görünmeyeceği şekilde kıvrıldığı yer olan tıkayıcı sınır kavramını tartışıyor. Bu noktada bir yüzey normali oluşturursak, bu, kapatma sınırı boyunca oluşturulmuş bir vektöre paralel olacaktır, bu da bize çözümlerimize başlamak için başlangıç koşullarını verir. Ancak, eğim sonsuz olduğundan denklemleri çözmek için kapatma sınırındaki oranları kullanamayız. Konuşmacı ayrıca, benzersiz, küresel, yalıtılmış ekstremumlar olan ve bir nesne aydınlatıldığında yüzeyindeki en parlak noktalardan kaynaklanan durağan noktalar kavramını da tanıtıyor. Bu noktalar, gölgeleme problemlerinden şekli çözmek için değerli bilgiler olan o noktadaki yüzeyin oryantasyonunu sağlar.

  • 01:15:00 Bu bölümde öğretim görevlisi, kullanılan görüntüleme tekniğine bağlı olarak ekstremum veya minimuma karşılık gelen yansıma haritası ve görüntü üzerindeki durağan noktaları tartışır. Ancak durağan noktalar, bağımlı değişkenlerde herhangi bir değişiklik olmadığı için çözümün doğrudan başlamasına izin vermez. Çözüm, yalnızca çözümü başlatmak için yüzeyin bir yaklaşıklığını oluşturmaya çalışırken durağan noktadan uzaklaşabilir. Fikir, sabit noktanın yönünü kullanarak küçük bir düzlem oluşturmak ve ardından çözümü başlatmak için bir yarıçap oluşturmaktır. Bunu yaparak, çözüm durağan noktadan uzaklaşabilir ve daha iyi bir çözüme doğru yinelemeye başlayabilir.

  • 01:20:00 Dersin bu bölümünde, konuşmacı eğimli yüzeylerde gölgelemeden kaynaklanan şekil ile ilgili sabit noktalar kavramını tartışır. Fikir, sabit bir noktaya sahip bir yüzeyin eğriliği için benzersiz bir çözüm bulmaktır. Konuşmacı, bu noktaların insan algısında önemli olduğunu ve bir çözümün benzersizliğini etkileyebileceğini açıklıyor. Ders daha sonra bir yüzeyin eğriliğini bulma sürecini, yüzeyin sem tipi bir yansıtma haritasına sahip olduğu ve orijinde durağan bir noktaya sahip olduğu varsayıldığı bir örnek kullanarak açıklamaya devam eder. Görüntünün gradyanı, orijinde sıfır olarak bulunur ve bu noktada bir ekstremumun varlığını doğrular. Bununla birlikte, gradyan, orijinde sıfır olduğu ve bu nedenle ikinci bir türev gerektirdiği için yerel şekli tahmin etmek için kullanılamaz.

  • 01:25:00 Bu bölümde konuşmacı, parlaklığın ikinci kısmi türevlerinin alınmasının şekil hakkında nasıl bilgi sağlayabileceğini ve yerel şekli sabit noktalardan tahmin ederek ve etrafına küçük bir başlık şekli oluşturarak nasıl geri kazanılacağını açıklar. Ayrıca, konuşmacı endüstriyel yapay görme yöntemleri konusunu ve bir sonraki derste tartışılacak olan ilgili kalıpları tanıtıyor.
Lecture 10: Characteristic Strip Expansion, Shape from Shading, Iterative Solutions
Lecture 10: Characteristic Strip Expansion, Shape from Shading, Iterative Solutions
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
 

Ders 11: Kenar Algılama, Alt Piksel Konumu, CORDIC, Çizgi Algılama (ABD patenti 6408109)



Ders 11: Kenar Algılama, Alt Piksel Konumu, CORDIC, Çizgi Algılama (ABD patenti 6408109)

"Lecture 11: Edge Detection, Subpixel Position, CORDIC, Line Detection (US 6.408.109)" başlıklı bu YouTube videosu, yapay görme sistemlerinde kenar algılama ve alt piksel konumu ile ilgili birkaç konuyu kapsar. Konuşmacı buluş sürecinde patentlerin önemini ve patent savaşlarında nasıl kullanıldığını anlatıyor. Ayrıca çeşitli kenar algılama operatörlerini ve bunların avantajlarını ve sınırlamalarını tartışırlar. Videoda, Kartezyen koordinatları kutupsal koordinatlara dönüştürmek ve kenar konumunu belirlemek için kullanılan matematiksel formüllerin ayrıntılı açıklamaları yer alıyor. Video, patentler için geniş ve dar iddialar yazmanın önemini ve patent yasasının zaman içindeki gelişimini tartışarak sona eriyor.

Ders 11'de, konuşmacı, verimlilik üzerinde durarak kenar tespiti ve türev tahmini için farklı hesaplamalı moleküllere odaklanır. Gradyanların karelerinin toplamını hesaplamak için Sobel ve Roberts Cross operatörleri, formül ve teknikteki varyasyonlar tartışılarak sunulmuştur. Alt piksel doğruluğunu elde etmek için birden fazla operatör kullanılır ve eğrinin tepe noktasını belirlemek için bir parabol uydurma veya bir üçgen model kullanma gibi teknikler sunulur. Buna ek olarak, ders, kuantizasyona alternatifleri ve kare bir ızgara üzerinde gradyan yönüyle ilgili sorunları tartışır. Genel olarak ders, kenar algılamada iyi performans elde etmek için birçok ayrıntıyı dikkate almanın önemini vurgular.

  • 00:00:00 Bu bölümde öğretim görevlisi, entegre devre imalatında hizalama ve inceleme için makine görüşünün kullanımı ve farmasötik etiket okunabilirliği dahil olmak üzere endüstriyel yapay görme konusunu ve üretim süreçlerindeki önemini tanıtıyor. Öğretim üyesi, patentlerin amacını, bir buluşun topluma uzun vadede nasıl fayda sağlayacağını açıklamak karşılığında, bir buluşun kullanımında sınırlı bir tekel elde etmenin bir yolu olarak açıklar. Patent numarası ve başlığı, patent tarihi ve şirketler arasındaki patent savaşlarında patentlerin cephane olarak kullanılması da dahil olmak üzere bir patentin yapısı ve meta verileri de tartışılır. Ders daha sonra, önde gelen bir yapay görme şirketi olan Cognex'te Bill Silver'ın algılama ve alt piksel konumu üzerine bir patentini kısaca açıklar.

  • 00:05:00 Bu bölümde öğretim görevlisi, farklı parlaklık seviyeleri arasındaki geçişe odaklanılan dijital görüntülerde kenar algılama sürecini tartışıyor. Öğretim görevlisi, bir şeyi tanımlamak için gereken bitleri önemli ölçüde azalttığı için, alt piksel doğruluğuna kenar bulmanın taşıma bandı ve entegre devre dünyalarında çok önemli olduğunu belirtiyor. Ders ayrıca, bu işlemin daha yüksek pikselli bir kamera ile gerçekleştirilebileceğini ancak maliyetli olduğunu ve bu nedenle daha düşük maliyetlerle gerçekleştirebilen yazılımların faydalı olacağını açıklar. Öğretim görevlisi ayrıca pikselin 40'ına ulaşılabileceğini, bunun önemli bir avantaj olduğunu, ancak zorlukları da beraberinde getirdiğini açıklıyor. Ders, belgelerde kullanılan gizli dil ve patent başvurusunda yaşanan gecikme dahil olmak üzere, patent başvurusu ve sürecin zaman içinde nasıl değiştiğine ilişkin bir tartışma ile sona erer.

  • 00:10:00 Videonun bu bölümünde konuşmacı, geçmişi 1950'lere kadar uzanan yapay görmede kenar algılamayla ilgili çeşitli teknik belgeleri ve patentleri tartışıyor. Bu konudaki ilk ünlü makale, 1965'te basit ama yanıltıcı bir kenar detektörü kullanan Roberts tarafından yayınlandı. Konuşmacı ayrıca, Sobel'in operatörü, Roberts çapraz kenar dedektörü ve Bill Silva'nın altıgen ızgaralar için alternatif operatörleri dahil olmak üzere çeşitli kenar algılama operatörlerinin avantajlarını ve dezavantajlarını tartışarak, kenar algılama ile ilgili diğer belgelerden ve patentlerden bahseder. Konuşmacı, çeşitli uygulamalarda kenar algılamanın önemini ve mühendisler ile araştırmacıların kenar algılama algoritmalarını geliştirmeye yönelik devam eden çabalarını vurgulamaktadır.

  • 00:15:00 Bu bölümde ders, çözünürlük ve dönme simetrisi açısından altıgen ızgaralı kameralar kullanmanın avantajlarını ve dezavantajlarını açıklıyor ancak altıgen bir ızgarayla çalışmanın ekstra zahmetinin mühendisler için çok fazla olduğunu belirtiyor. Ders daha sonra, karekökler ve yay teğetlerini almanın maliyetine rağmen, parlaklık gradyanının kendisinden ziyade gradyanın büyüklüğü ve yönü formülünü kullanarak Kartezyenden kutupsal koordinatlara dönüştürmeyi tartışmaya devam eder. Ders daha sonra, gerekli minimum aritmetik işlemlerle farkı azaltmak için yinelemeli adımlar kullanarak bir vektörün büyüklüğünü ve yönünü tahmin etmenin bir yolu olan tarama tabloları veya CORDIC yöntemi gibi alternatif çözümleri araştırır.

  • 00:20:00 Dersin bu bölümünde, konuşmacı kenar algılama ve alt piksel konumu algoritmalarını tartışır. Bir degradenin büyük olduğu yerin nasıl bulunacağını ve degradenin maksimum yönünü bulmak için maksimum olmayan bastırmanın nasıl kullanılacağını açıklarlar. Konuşmacı ayrıca gradyanın yönlerini ölçmekten bahsediyor ve daha uzağa bakmanın daha geniş bir yön aralığına yol açabileceğini belirtiyor. Gradyanın gerçek tepe noktasını bulmak için, verilere bir parabol uydurulur ve tepe noktasını bulmak için farklılaştırılır. Son olarak ders, Mondrian'a dayalı bir dünya modeliyle çalışırken parlaklığın beklenen davranışını tartışıyor.

  • 00:25:00 Bu bölümde video, kenar algılamada alt piksel doğruluğu elde etmeye yönelik teknikleri tartışıyor. Bir yaklaşım, yönleri nicelemeyi ve zirveyi bulmayı içerir, ancak kenar boyunca hangi noktanın seçileceği konusunda belirsizlik olabilir. Başka bir yöntem, merkez piksele en yakın olan kenar noktasını bulmak için dikey enterpolasyon yapmaktır. Ancak, gerçek kenar konumu varsayılan modellere uymayabilir ve bu da önyargıya neden olabilir. Video, önyargıyı kalibre etmek ve doğruluğu artırmak için basit bir düzeltme önerir.

  • 00:30:00 Bu bölümde öğretim görevlisi, yapay görme sistemlerinde kenar algılama doğruluğunu iyileştirmenin yollarını tartışıyor. İncelediği patent, kullanılan belirli sisteme bağlı olarak önyargıyı ortadan kaldırmak ve doğruluğu artırmak için "s" nin farklı güçlerinin kullanılmasını önerir. Eğimin yönü de sapmayı etkiler ve daha da yüksek doğruluk için telafi gerektirir. Sistemin genel diyagramı, kenardaki maksimuma en yakın noktayı kullanarak konumu enterpolasyon yapmak ve yanlılığı telafi etmek için parlaklık gradyanlarını tahmin etmeyi, büyüklük ve yönü bulmayı, maksimum olmayan bastırmayı ve tepe algılamayı içerir. Buluş, dijital görüntülerde alt piksel tespiti için bir aparat ve yöntem sağlar ve patentin sonunda kısa bir versiyonda özetlenir.

  • 00:35:00 Bu bölümde, konuşmacı bir buluşu patentleme sürecini ve bunun patent davalarıyla nasıl bir ilişkisi olduğunu tartışıyor. Mucitlerin, tüm temelleri kapsamak için nasıl hem bir aparat hem de yöntem oluşturduklarını ve bunun nasıl gereksiz iddialara yol açabileceğini açıklarlar. Konuşmacı, Kanadalı bir şirket olan Matrox'un, patentte yer alan yazılım uygulamaları yoluyla bir patenti ihlal etmekle suçlandığı bir durumu anlatıyor. Kodu analiz etmek için bilirkişiler getirildi ve sonunda, bunun tamamen yazılım olduğu ve patentlenemeyeceği sonucuna varıldı. Bu bölüm ayrıca patenti olabildiğince geniş tutmanın ve avukatlar tarafından yazılan patentlerin okunmasını zorlaştırabilecek tüm olası değişiklikleri düşünmenin önemini de kapsar.

  • 00:40:00 Videonun bu bölümünde, konuşmacı formüllerin üzerinden geçiyor ve Kartezyen koordinatların kutupsal koordinatlara nasıl dönüştürüleceğine dair ayrıntılı bir açıklama yapıyor. Ayrıca parabollerde ve üçgen dalga formlarında zirveleri bulmak için kullanılan farklı formülleri açıklarlar. Video daha sonra patentlere ve onu korumak için bulduğunuzu düşündüğünüz şeyi talep etme sürecine giriyor. Konuşmacı, dijital bir görüntüdeki kenarların alt piksel konumunu tespit etmek ve alt piksel konumunu tespit etmek için bir aparat olan birinci iddiayı okur ve bir gradyan tahmincisi, bir tepe detektörü ve bir alt piksel enterpolatörü dahil olmak üzere iddiayı oluşturan farklı bileşenleri parçalara ayırır. Gelecekteki hak taleplerine ve ihlallere karşı koruma sağladığı için birden fazla hak talebine sahip olmanın önemi de tartışılmaktadır.

  • 00:45:00 Dersin bu bölümünde, konuşmacı patent taleplerinin nasıl yazılacağını ve yapılandırılacağını tartışıyor. Bir patentteki ilk istemin genellikle geniş bir istem olduğunu, ardından geniş istem geçersiz olsa bile daha dar istemlerin geçerliliğini koruyabilmesini sağlamak için daha spesifik olan daha dar istemlerin geldiğini açıklıyor. Konuşmacı daha sonra, her bir iddianın geçerli olabilmesi için karşılanması gereken bazı koşulların altını çizerek, gradyan tahmini için patentteki istemleri incelemeye devam eder. Son olarak, bir patentin geçerlilik süresi ve rüçhan taleplerini çevreleyen kurallar açısından patent yasasının zaman içinde nasıl geliştiğini açıklıyor.

  • 00:50:00 Bu bölümde video, yapay görmede kenar algılamayı tartışıyor. Bir şeyin bir taşıma bandında nerede olduğunu bulmak veya bir entegre devre maskesinin farklı katmanlarını sıralamak için görüntüleri yalnızca kenarları tartışmak üzere yoğunlaştırmayı içeren Mondrian dünya modeli tanıtıldı. Kenar algılama, farklı ve kabaca aynı parlaklıkta olan görüntü bölgeleri arasındaki sınırların konumunu belirleme işlemi olarak tanımlanır. Kenar, görüntü gradyan büyüklüğünün görüntü gradyan yönünde yerel bir maksimuma ulaştığı veya görüntü gradyan yönünde parlaklığın ikinci türevinin sıfırı geçtiği bir görüntüdeki nokta olarak tanımlanır. Video ayrıca çok ölçekli kenar algılamaya da değiniyor ve bir görüntü için sonsuz çözünürlüğe sahip olmanın dezavantajını açıklıyor.

  • 00:55:00 Dersin bu bölümünde, konuşmacı kenar algılamayı ve bir pikselle mükemmel şekilde hizalanmış bir kenarı ölçmeyle ilgili sorunları tartışıyor. Bununla mücadele etmek için konuşmacı, sıfır geçişleri arayan ve konturları çizerek kenarı bulmayı kolaylaştıran bir Laplace kenar dedektörünün kullanımını açıklıyor. Ancak, bu yöntem gürültü varlığında daha kötü performansa yol açabilir. Konuşmacı ayrıca bir bükülme noktası kavramını ve bunun kenarı tanımlamak için kullanılabilecek maksimum türev ile nasıl ilişkili olduğunu da kapsar. Ders aynı zamanda parlaklık gradyan tahmini ve operatörlerin aynı noktayı referans almak için 45 derecelik açılarda kullanımını da kapsar.

  • 01:00:00 Dersin bu bölümünde, konuşmacı kenar saptamayı ve farklı hesaplamalı moleküller kullanarak türevlerin tahminini tartışıyor. Orijinal koordinat sistemindeki gradyanların karelerinin toplamını hesaplamada kullanılabilecek, Roberts tarafından kullanılan iki operatör tanıtılmıştır. Sobel operatörleri kavramından da bahsedilir ve bir ortalama alma tekniği kullanılarak türevin tahmini tartışılır. Tahminin en düşük mertebeli hata terimi ikinci mertebe olarak gösterilmiştir, bu da onu eğri çizgiler için pek güvenilir kılmamaktadır. Doğruluğu artırmak için daha yüksek dereceli terimler de tanıtılmıştır.

  • 01:05:00 Bu bölümde öğretim görevlisi, üçüncü türevi çok büyük olmadığı sürece eğri bir çizgi için çalışabilecek daha yüksek mertebeden bir hata terimine izin vererek, kenar algılama için bir türevi yaklaşık olarak tahmin etmek üzere bir operatör kullanmayı açıklamaktadır. İki değerin ortalamasını alarak ve bir türev tahmini bularak, yarım piksel kaydırılmış türevler bile kullanılabilir. Aynı en düşük dereceli hata terimine sahip iki operatörün karşılaştırılması, daha küçük bir çarpana sahip olanın avantajlı olduğu bulunmuştur. Bununla birlikte, hem x hem de y türevini tahmin etmek için operatörün uygulanması, iki boyutlu bir operatör kullanılarak çözülebilecek tutarsızlıklara yol açar. Bu yaklaşım, sabit optik akışta bütün bir veri küpü için y yönünün türevlerini hesaplamak için de kullanışlıdır.

  • 01:10:00 Bu bölümde konuşmacı, milyonlarca piksel ile kenar algılama gerçekleştirirken operatörlerde verimliliğin önemini vurgulamaktadır. Hesaplamaları akıllıca düzenleyerek, operatör altı işlemden dörde düşürülebilir. Konuşmacı, gürültüyü azaltmak ve aynı zamanda görüntüyü bulanıklaştırmak için 2x2'lik bir blok üzerinde ortalama yaparak operatörü belirli bir şekilde kopyalayan Roberts Cross operatöründen ve Urbain Sobel'den bahsediyor.

  • 01:15:00 Videonun bu bölümünde öğretim görevlisi, birden fazla operatör kullanarak kenar algılamada yarım piksel ofseti sorununun nasıl önlenebileceğini tartışıyor. Tartışma, formül varyasyonlarını ve uygulama tercihlerini içerir. Ders ayrıca, parlaklık gradyanı için Kartezyenden kutupsal koordinatlara dönüştürme, gradyan büyüklük yönü niceleme ve maksimum değerleri tarama dahil sonraki adımları da açıklar. Piksel niceleme sorunu nedeniyle alt piksel doğruluğu elde edilemiyor. Öğretim üyesi, görüntüdeki maksimum olmayanları göz ardı ederek yalnızca maksimumların nasıl tutulacağını açıklar.

  • 01:20:00 Bu bölümde video, kenar algılamada asimetrik koşullara duyulan ihtiyacı ve g sıfırın g artıya veya g eksiye eşit olduğu durumlar için bir bağlantı kesiciye olan ihtiyacı tartışıyor. Eğrinin tepe noktasını bulmak için, video bir parabolün bir eşitlik bozucu ile kenara sığdırılmasını anlatıyor ve bu şekilde hesaplanan s'nin büyüklük olarak yarıyla sınırlı olduğu gösteriliyor. Gösterilen başka bir yöntem, iki çizginin eğimlerinin aynı olduğunu varsayan ve dikey ve yatay konumları tahmin ederek s formülüyle sonuçlanan küçük bir üçgen modelidir. Her iki yöntem de alt piksel doğruluğuna ulaşmak içindir ve video, üçgen modelinin tuhaf görünebileceğini ancak belirli durumlarda etkili olduğunu öne sürüyor.

  • 01:25:00 Bu bölümde öğretim görevlisi, odaklanma durumunda bir kenarın şeklini, özellikle bunun gerçek kenar konumunu kurtarma yöntemini nasıl etkilediğini tartışır. Ayrıca, gradyan yönünü nicelemenin alternatiflerinden ve özellikle yalnızca sekiz yönün olduğu kare bir ızgarada bunun nasıl sorunlu olabileceğinden bahsediyor. Bu problem, türevleri hesaplamak için iyi bir yol bulmak gibi iyi bir performans isteniyorsa dikkate alınması gereken birçok ayrıntı olduğunu gösterir.
Lecture 11: Edge Detection, Subpixel Position, CORDIC, Line Detection (US 6,408,109)
Lecture 11: Edge Detection, Subpixel Position, CORDIC, Line Detection (US 6,408,109)
  • 2022.06.08
  • www.youtube.com
MIT 6.801 Machine Vision, Fall 2020Instructor: Berthold HornView the complete course: https://ocw.mit.edu/6-801F20YouTube Playlist: https://www.youtube.com/p...
Neden: