Makine Öğrenimi ve Sinir Ağları - sayfa 24

[MetaQuotes]

MIT 6.S192 - Ders 9: "Nöral Soyutlamalar", Tom White

MIT 6.S192 - Ders 9: "Nöral Soyutlamalar", Tom White

Bu videoda, sanatçı ve öğretim görevlisi Tom White, makine algısını ve sinir ağlarını sanatsal pratiğine dahil etme yaklaşımını tartışıyor. White, MIT'de matematik ve grafik tasarım eğitimi konusundaki geçmişini ve Victoria Üniversitesi'nde yaratıcı kodlama öğretimi alanındaki mevcut işini paylaşıyor. Ayrıca, başkalarının ortamı yaratıcı bir şekilde kullanmasına yardımcı olmak için araçlar oluşturma konusundaki araştırmasını ve makine algısını araştıran kendi sanat eserini tartışıyor. White, AI algoritmaları kullanılarak oluşturulan eskizlerini ve baskılarını sergiliyor ve müzik gruplarıyla yaptığı işbirlikleri ve son sanat sergileri hakkında konuşuyor. Ayrıca sinir ağları ile işbirliğinin zorluklarını ve yapay zeka tarafından üretilen sanatı vahşi doğaya koymanın istenmeyen sonuçlarını tartışıyor.

• 00:00:00 Videonun bu bölümünde sanatçı ve öğretim görevlisi Tom White kendini tanıtıyor ve MIT Medya Laboratuvarı'nda matematik ve grafik tasarım eğitimi de dahil olmak üzere geçmişinden bahsediyor. Programlamayı yaratıcı bir disiplin olarak keşfetmeye olan ilgisini ve şu anda Wellington'daki Victoria Üniversitesi'nde yaratıcı kodlamayı nasıl öğrettiğini tartışıyor. White ayrıca, başkalarının ortamı yaratıcı bir şekilde kullanmasına yardımcı olacak pratik araçlar oluşturmaya odaklanan araştırmasından da bahsediyor. Ayrıca, konuşmasında daha fazla tartışacağını söylediği kendi ayrı sanat pratiğinden bahsediyor ve benzer yolları takip etmek isteyen öğrencilere ilham vermeyi umuyor.
  
  
• 00:05:00 Bu bölümde, konuşmacı nöral soyutlamalar üzerine konuşmasının ve makine algısını araştıran sanat eserinin ana hatlarını sunuyor. Makinelerin dünyayı görme konusunda kendilerine özgü yolları olduğunu ve sanat eserinin bunu daha geniş bir izleyici kitlesine göstermeyi amaçladığını açıklıyor. Konuşmacı ayrıca yapay zeka temsili ve soyutlama konusuna ve nöral net görüş sistemlerinin temsillerini sanatsal bir bağlamda iletmek için nasıl araştırdığına da değiniyor. Bunu, gözler, yüzler ve tavuklar gibi gerçek görüntülerin veri kümelerine dayanan birkaç sanat eserini ve sistemin iç dünyasını anlama sürecine teşhis koymayı nasıl dahil ettiğini göstererek örneklendiriyor. Konuşma, sanatta makine algısını keşfetmenin çıkarımları ve bunun, makinelerin dünyayı farklı algılama şekillerini takdir etmemize nasıl yardımcı olabileceği ile sona eriyor.
  
  
• 00:10:00 Bu bölümde Tom White, gerçek zamanlı video filtreleri oluşturmak için makine öğrenimi tekniklerini keşfetmesi, çoklu dokunma etkileşimi için özel bir el arayüzü oluşturması da dahil olmak üzere MIT'de geçirdiği süre boyunca yaptığı ilk projelerden bazılarını tartışıyor. ve ilgili kelimeleri bulmak için WordNet gibi yapay zeka tekniklerini içeren sanat projesi Bilinç Akışı. White ayrıca, daha sonra Processing ve OpenFrameworks gibi sistemlerin temelini oluşturan çekirdek yazılım kitaplığı Acu'nun yaratılmasındaki rolünden ve şu anki işinin makine öğrenimi süreçleri için eskizler ve çizimler oluşturmayı nasıl içerdiğinden bahsediyor.
  
  
• 00:15:00 Bu bölümde, konuşmacı, ortak nesneleri alıp içlerinde yeni bir şey bulana kadar kendini defalarca boyamaya zorlayan sanatçı Stuart Davis'ten başlayarak, eserlerine ilham veren sanattaki önceliği tartışıyor. Harold Cohen, marka oluşturma konusundaki fikirlerini yapay zeka aracılığıyla resmi bir şekilde kodlayarak üretken çizim sistemlerini deneyen başka bir sanatçıydı. Hayatının ilerleyen dönemlerinde bu sistemlerle daha çok işbirlikçi olarak çalışan Cohen'in temel sorusu, "görüntü nedir?" Konuşmacı daha sonra Andy Warhol ve Roy Lichtenstein'ın sanat eserlerini icra ederken paylaştıkları bir teknik olarak serigrafi çalışmalarının teknik yönünden bahsediyor.
  
  
• 00:20:00 Bu bölümde, sanatçı ve öğretim görevlisi Tom White, elektrikli fanlar gibi görünen görüntüler oluşturmak için algısal olarak optimize eden bir bilgisayar görme sistemi kullanarak oluşturduğu fırça tekniği yerine serigrafi kullanarak baskılar oluşturmaya yönelik sanatsal tekniğini tartışıyor. veya yapay zeka algoritmalarını kullanan dürbün. White, Stuart Davis'in her gün aynı nesnelere bakarak tanıdık nesneleri yeni şekillerde algılamayı ve temsil etmeyi nasıl öğrendiğini tartışıyor. Benzer şekilde, White, tanıdık nesneleri algılamanın ve temsil etmenin yeni yollarını tanıtmak için bilgisayarla görme sistemlerini kullanmayı amaçlıyor.
  
  
• 00:25:00 Videonun bu bölümünde konuşmacı, farklı görüntüler oluşturmak için manipüle edebilen çok az vuruş kullanarak basit eskizler oluşturmak için bir sinir ağı sistemi kullanma demolarını tartışıyor. Aynı sayıda vuruş kullanarak bir çekiç kafalı köpekbalığı ve bir demirin eskizlerini nasıl oluşturduğunu açıklıyor ve ardından vuruşların konumunu çevirerek sinir ağlarını bir demiri köpekbalığı olarak görmek için kandırabileceğini ve bunun tersini de gösteriyor. Konuşmacı, sinir ağının farklı nesnelerin eskizlerini nasıl oluşturabileceğini gösterir ve sistemin sağlanan eğitim veri setinde sol veya sağ el yöneliminden etkilenmediğini, ancak renklerden nasıl etkilendiğini gösterir.
  
  
• 00:30:00 Bu bölümde Tom White, makine öğreniminin farklı örneklerinden ve bunların nasıl çalıştığından bahsediyor. Bir örnek, ağırlıklı olarak yeşil olan ölçü kaplarının bir örneğini kullanan ve sistemin yeşil ölçü kaplarının gerçekte olduğundan daha yaygın olduğuna inanmasını sağlayan bir bilgisayarla görme sistemidir. White ayrıca, kavramların daha iyi bir soyutlamasını oluşturmak için basitleştirme yoluyla büyütmenin kullanıldığı sanat ve tasarımla karşılaştırdığı, tüm doğrulama örneklerinden daha güçlü kaydedilen bir onay işaretinden yaptığı bir baskıyı tartışıyor. Son olarak White, arama motorlarında filtreleri tetikleyen müstehcen veya iş için güvenli olmayan görüntüleri taklit eden soyut baskılardan oluşan sentetik soyutlamalar serisini sunar.
  
  
• 00:35:00 Bu bölümde konuşmacı, balinalar, penguenler ve gözler için veri kümeleri dahil olmak üzere sistemlerinin çevrimiçi API'lerle nasıl çalıştığına dair örnekler paylaşıyor. Ayrıca, özel veri kümeleri oluşturduğu bir müzik grubuyla yaptığı işbirliğinden ve bilgisayarın düğüm, karınca veya diğer nesneler olduğunu düşündüğü görüntü gruplarını içeren son sanat sergilerinden bahsediyor. Konuşmacı üretim tekniklerine farklı yaklaşımlardan ve sanat eserlerinin gerçek dünyayı nasıl etkilediğinden bahsetmeye devam ediyor. Cinsiyet ağlarına olan ilgisinden ve yüzlerin nöral net çıktılarını kullanarak nasıl bir sanat eseri yarattığından bahsediyor.
  
  
• 00:40:00 Bu bölümde Tom White, üretken ağları keşfetmesinden ve lisansüstü öğrencilerle, bir elektronik tablonun arayüzü aracılığıyla üretken bir modelden örnekleri yaratıcılık aracı olarak kullanan bir elektronik tablo aracı yapmak için yaptığı çalışmalardan bahsediyor. Lena Sarin, Mario Klingemann, Robbie Barrett ve Edmund Bellamy gibi diğer sanatçılardan da bahsediliyor. White ayrıca, birlikte yaratma sürecinde hem sanatçının hem de sistemin rolünü vurgulayarak, sanat üretimi için bu sistemlerle işbirliğinin zorluklarını tartışıyor. Son olarak, yapay zeka tarafından üretilen sanatı vahşi doğaya koymanın istenmeyen sonuçlarından ve onu görselleştirme teknikleriyle ve sisteme ne gördüğünü sorarak nasıl anlayabileceğimizden bahsediyor.
  
  
• 00:45:00 Bu bölümde konuşmacı, nasıl bir ilişki kurduğunu görselleştirmek için bir görüntünün bir sisteme beslendiği derin rüyaya benzer tekniklerden bahsediyor. Konuşmacı, sanat eserlerinin Tumblr'ın yetişkinlere uygun içerik filtresi, Amazon API ve Sloan Kettering'in akademik ofisleri gibi gerçek dünya sistemlerine nasıl çarptığından bahsediyor. Ayrıca, sanat eserlerini gerçek dünyadaki nesneler için sahip oldukları aynı etiket altında kategorize ederek bu görüş sistemlerinin nasıl çöktüğüne dair örnekleri tartışıyorlar. Konuşmacı, sanat eserlerinin ana fikrinin onu makinelerin gözünden anlamak olduğunu açıklıyor; bu da makineler için ve makineler tarafından sanat yaratıyor ve makine öğrenimi geçmişi ne olursa olsun insanların onu takdir etmesine olanak tanıyor.
  
  
• 00:50:00 Bu bölümde Tom White, fiziksel sanat eserleri için tercih ettiği ortam olarak neden serigrafiyi seçtiğini açıklıyor. Fiziksel çalışmanın, ekranlar ve kameralarla yapılan etkileşimli enstalasyonlardan farklı olarak insanların onunla ilişki kurmasına izin verdiğini vurguluyor. Ayrıca serigrafinin daha hassas işler yaratmasını sağladığını ve sanat dünyasında pop sanatçıları için bir emsali olduğunu açıklıyor. Tom ayrıca, olası fotoğraflarla uğraşmanın zor olduğu için fiziksel iş yapmanın daha zor olduğunu, ancak düşman saldırılarını fiziksel dünyaya taşımanın ilginç bir yolu olduğunu açıklıyor. Ek olarak, sanatın algoritmik önyargıyı veya yapay zeka ve siber güvenliğin diğer yönlerini daha iyi anlamaya nasıl yardımcı olabileceğinden bahsediyor.
  
  
• 00:55:00 Bu bölümde Tom White, Celeb-A veri kümesindeki önyargının, kadınların erkeklerden daha fazla gülümseyerek etiketlenmesinin, yüz ifadelerini değiştirmeyi amaçlayan üretici ağlarda önyargıya nasıl yol açabileceğini tartışıyor. Çalışmasının rakip örneklere değil, sinir ağlarını tetikleyen uyaranları görselleştirmeye ve anlamaya odaklandığını belirtiyor. White ayrıca görsel çıktıların oluşturulmasını kolaylaştırmak için minimal vuruşlar gibi basit temsillerle denemeler yapmaktan da bahsediyor. İnsanların, bu yeteneği test eden psikoloji araştırmalarından ilham alarak düşük çözünürlüklü formatlardaki görüntüleri tanıyabildiğini belirtiyor.
  
  
• 01:00:00 Bu bölümde Tom White, izleyicileri nöral soyutlamalar alanındaki araştırmayı incelemeye teşvik ediyor ve daha fazla bilgi için onları bir önceki yılki atölye çalışmasından videolara yönlendiriyor. Araştırmanın değerini vurguluyor ve izleyicilerin sorularını memnuniyetle karşılıyor.

[MetaQuotes]

MIT 6.S192 - Ders 10: "Magenta: Yaratıcı ajansı makine öğrenimiyle güçlendirme", Jesse Engel

MIT 6.S192 - Ders 10: "Magenta: Yaratıcı ajansı makine öğrenimiyle güçlendirme", Jesse Engel

Google Brain'de baş araştırmacı araştırmacı olan Jesse Engel, yaratıcılık ve müzikte AI ve makine öğreniminin rolüne bakan bir araştırma grubu olan Magenta'yı tartışıyor. Grup, öncelikle medya oluşturan ve bunları açık kaynak kodu ve Javascript'te etkileşimli yaratıcı modellerin oluşturulmasına izin veren magenta.js adlı bir çerçeve aracılığıyla erişilebilir kılan makine öğrenimi modellerine odaklanır. Engel, müziği ucuza üretilip tüketilecek bir metadan ziyade kültürel kimlik ve bağlantı için sosyal ve evrimsel bir platform olarak görmenin önemini vurguluyor. Makine öğreniminin, ifade, etkileşim ve uyarlanabilirlik yoluyla yeni yaratıcı temsil biçimleriyle bireyleri nasıl güçlendirebileceğini keşfediyorlar. Ders, müzik için makine öğrenimi modelleri tasarlama, tahmine dayalı çıktılar için genişletilmiş evrişim kullanma, türevlenebilir dijital sinyal işleme ve güzel hatalar üreten makine öğrenimi sistemleri oluşturma gibi çeşitli konuları kapsar. Ek olarak, sanatçılarla işbirliğine dayalı zorluklardan ve öğrenme modellerinde dağıtım ve kompozisyondan çıkmanın büyük zorluğundan bahsediyor.

• 00:00:00 Bu bölümde, Google Brain'de baş araştırma bilimcisi olan Jesse Engel, yaratıcılık ve müzikte AI ve makine öğreniminin rolüne bakan bir araştırma grubu olan Magenta'yı tartışıyor. Grup, öncelikle medya oluşturan ve bunları açık kaynak kodu ve Javascript'te etkileşimli yaratıcı modellerin oluşturulmasına izin veren magenta.js adlı bir çerçeve aracılığıyla erişilebilir kılan makine öğrenimi modellerine odaklanır. Engel, müziği ucuza üretilip tüketilecek bir metadan ziyade kültürel kimlik ve bağlantı için sosyal ve evrimsel bir platform olarak görmenin önemini vurguluyor. Makine öğreniminin, ifade, etkileşim ve uyarlanabilirlik yoluyla yeni yaratıcı temsil biçimleriyle bireyleri nasıl güçlendirebileceğini keşfediyorlar.
  
  
• 00:05:00 Bu bölümde, Jesse Engel, özellikle müzik bağlamında, daha hacklenebilir ve eğitmek için daha az veri gerektiren makine öğrenimi modelleri tasarlamaktan bahsediyor. Algoritma tasarlamanın farklı yönleri arasındaki, sezgisel nedensel kontrollerle onları düşük gecikmeli hale getirirken, yine de anlamlı ve uyarlanabilir olma gibi değiş tokuşları tartışıyor. İki makine öğrenimi modelini karşılaştırıyor: tonlarca veri gerektirme pahasına ham ses dalga biçimini çok gerçekçi bir şekilde modelleyen openai Jukenbox ve müziği yapılandırılmış veriler olarak ancak gerçekçi olmayan seslerle modelleyen karalamalar. Yorumlanabilirlik ve ifade edilebilirlik arasında uzlaşma sağlamak için model içindeki yapıyı kullanmak olan grubun benimsediği yaklaşımı tartışarak bitirir.
  
  
• 00:10:00 Bu bölümde Jesse Engel, işitsel transkripsiyon modellerinin önceki son durumunu ve notaları insan algısıyla eşleşecek şekilde doğru bir şekilde tahmin etmeye geldiğinde nasıl sınırlı olduklarını tartışıyor. Bireysel çerçevelerdeki hataların, notaların gerçekte ne zaman başladığı kadar önemli olmadığını ve kayıp işlevini önemsediğimiz şeyle daha iyi eşleştirmek için yeni bir sinir ağı mimarisinin nasıl yaratıldığını - çaldığımızda müziğin nasıl duyulduğunu gösteriyor. geri. Yeni teknoloji harikası model, cep telefonundan çalan bir piyanistin gösterdiği gibi, ses "çılgınca" olduğunda bile doğru transkripsiyon elde edebildi.
  
  
• 00:15:00 Videonun bu bölümünde, Google Brain'den Jesse Engel, uluslararası e-piyano yarışmasından büyük bir veri seti örneğini kullanarak sinir ağlarındaki veri setlerinin önemini açıklıyor. Müzik dizilerini modellemek için tekrarlayan sinir ağları (RNN'ler) ve transformatör mimarisi gibi sinir ağlarının kullanımını ve müzik notalarını tokenleştirmenin zorluğunu tartışıyor. Bu zorluğun üstesinden gelmek için, bireysel müzik etkinliklerini ve zaman damgalarını tanıyan bir sözlük oluşturdular. Verilerdeki mikro zamanlamayı, hızı ve varyasyonları doğru bir şekilde temsil eden modeller, kulağa daha doğal gelen müzikler üretebiliyor.
  
  
• 00:20:00 Dersin bu bölümünde Jesse Engel, Magenta ekibinin nasıl sadece orijinal bir motifle başladığını ve önceki belirteçler verildiğinde bir sonraki belirteci tahmin etmek için LSTM adlı otoregresif bir modeli nasıl kullandığını açıklıyor. Bununla birlikte, LSTM'nin sınırlı uzun vadeli tutarlılığı nedeniyle, tutarlılığı iyileştirmek için önceki tüm verileri takip edecek bir transformatör uyguladılar. Bununla, binlerce saatlik sembolik müzik elde etmek için ham sesi yazıya dökebildiler ve çok daha uzun vadeli tutarlılığa sahip modeller geliştirmelerine olanak sağladılar. Ekip, daha sezgisel kontrol sağlamak için melodiyi de çıkardı ve neslin bağımlı olduğu bir kontrol olarak kullandı. Daha sonra bu modeli farklı sesler için bir nöral sentezleyici olarak kullanabilirler ve parametreler belirli ses setlerine göre ayarlanabilir.
  
  
• 00:25:00 Videonun bu bölümünde Jesse Engel, Magenta'nın bir sinir ağının yüksek seviyeli kontrollere dayalı çıktıları tahmin etmesi için genişletilmiş evrişim süreçlerinin teknik yönlerini açıklıyor. Genişletilmiş konvolüsyon kullanarak sistem, aşağı örnekleme olmadan geniş bir zaman kapsamına bakabilir ve ifade ederken bilgi kaybını önler. Bununla birlikte, süreç yavaştır ve daha uzun vadeli yapı için daha uzun vadeli şartlandırma gerektirir. Nota koşullandırmanın kullanılmasıyla sistem, yorumlanabilir ara temsillerle gerçekçi performanslar üretebilir.
  
  
• 00:30:00 Bu bölümde, DDSP veya diferansiyellenebilir dijital sinyal işleme hakkında bilgi ediniyoruz. Jesse Engel, daha verimli, gerçekçi ve duyarlı bir sistem oluşturmak için osilatörler, filtreler ve sentezleyiciler gibi geleneksel sinyal işleme yöntemlerini derin öğrenmeyle entegre etmeyi önerir. Bir nöral ağın doğrudan ses oluşturması yerine, bilinen sinyal işleme öğeleri kullanılır ve bir nöral ağ, anlamlı çıktılar üretmek için bunları kontrol eder. DDSP modülleri yorumlanabilir ve verimlidir ve ses, bu değişken frekanslı sinüzoidal osilatörler tarafından modellenebilir. DDSP, ses modellemede daha fazla esneklik için harmonik salınım ve ikinci dereceden diferansiyel denklemler kullanır. DDSP sadece periyodik bileşenlerden oluşmaz, aynı zamanda farklı filtrelerle rastgele şekillendirilebilen gürültü elemanlarını da içerir. Bir nöral ağ kod çözücü kullanarak bu sentez öğelerini kontrol ederek, orijinal sesle olumlu bir şekilde karşılaştırılan ses üretilebilir.
  
  
• 00:35:00 Dersin bu bölümünde konuşmacı, model üzerinden spektrogramlar çalıştırıp ardından yeniden sentezleyerek daha az veriyle yüksek kaliteli sentez oluşturmak için kod çözücüyü nasıl eğitebileceklerini açıklıyor. Bu, modelin perde ve ses yüksekliğini bir flüt sesine, keman sesine dönüştürmesine ve hatta şarkı stillerinden tını tonlarını aktarmasına olanak tanır. Ayrı nitelikleri incelemek için yankı ve harmonikler gibi farklı model bileşenlerini de kapatabilirler. Model, bir tarayıcıda gerçek zamanlı işlem uygulaması için bir megabaytın altındaki modellere sıkıştırılabilir. DDSP modeli, mikrotonal varyasyonları ve kaymaları koruyabilmesini sağlayarak çok çeşitli kültürlere uygulanabilir.
  
  
• 00:40:00 Bu bölümde Jesse Engel, Magenta projesini ve onun makine öğrenimini kullanarak yaratıcı ajansı güçlendirme hedefini tartışıyor. Aracı değiştirmek yerine yaratıcı süreçlerinde yardımcı bulan müzisyenlerden olumlu tepkiler aldıklarını açıklıyor. Magenta ekibi, eğitim modelleri için bir web arayüzü, web uygulamalarına dağıtım ve müzik yazılımı için gerçek zamanlı eklentiler dahil olmak üzere daha geniş bir ekosistem oluşturmaya odaklanmıştır. Engel, sistemin daha etkileşimli, gerçek zamanlı ve uyarlanabilir olduğunu, ancak ifade ve çeşitli etkileşimli modeller açısından hâlâ iyileştirmeye yer olduğunu belirtiyor. Ekip, verilerden yapıyı ve etiketleri öğrenmek için denetimsiz modelleri araştırıyor. Web sitelerinde herkesin deneyebileceği çeşitli demolar, yazılımlar ve profesyonel araçlar var.
  
  
• 00:45:00 Bu bölümde Jesse Engel, güzel başarısızlıklar üreten makine öğrenimi sistemleri oluşturmanın, sanatçıların kullanabileceği sistemler oluşturmayı düşünmenin bir yolu olduğunu açıklıyor. Örneğin, orijinal davul makinelerinde tasarlanan sınırlamalar, hip-hop ve elektronik müzisyenlerin sesleri eğlenceli ve sanatsal şekillerde kullanmalarına neden olan tanımlayıcı özellikleri haline geldi. Ek olarak Engel, yorumlanabilirlik ve etkileşim arasındaki ilişkiyi tartışıyor ve makine öğrenimi modellerinin kullandığı dil ve varsayımların, maksimum yorumlanabilirlik için yazılım ile kullanıcı arasında aracı görevi gören API'ler oluşturmanın çözümü olabileceğini öne sürüyor.
  
  
• 00:50:00 Videonun bu bölümünde Jesse Engel, hedef kitleye uygun modeller tasarlarken genelleme için yapıyı zorlamanın zorluklarını tartışıyor. Sinir ağlarının, belirli bir görüntü kümesinde Newton Mekaniğini nasıl taklit edebildiğini, ancak görüntünün bir yönü değiştiğinde tahminde bulunmak için nasıl mücadele ettiğini açıklıyor. Müziğin yoğunluğuna veya kick davulun sesine uyum sağlayabilen modeller oluşturmanın büyüleyici bir fikir olabileceğine de değiniyor. Sanatçılarla işbirliklerine ilişkin tartışma da gündeme geliyor, ancak Jesse, sınırlamalar ve araştırmaya dayalı tanıtım sistemleri nedeniyle bunun zor olduğunu açıklıyor. Tartışma, öğrenme modellerinde dağıtım ve kompozisyondan çıkmanın büyük zorluğuyla bağlantılıdır.

[MetaQuotes]

MIT 6.S192 - Ders 11: "Yapay Biyoçeşitlilik", Sofia Crespo ve Feileacan McCormick

MIT 6.S192 - Ders 11: "Yapay Biyoçeşitlilik", Sofia Crespo ve Feileacan McCormick

"Yapay Biyoçeşitlilik" konulu bu derste Sofia Crespo ve Feileacan McCormick, benzersiz sanat biçimleri üretmek için teknoloji ve doğanın kesişimini keşfediyor. İkili, makine öğrenimine olan ilgilerini ve kullanımlarını ve bunun güzellikle bağlantısını tartışıyor ve insan algısının sınırlarını vurguluyor. Ekolojik sistemlerin daha iyi anlaşılmasını sağlamak için hem bireysel türleri hem de onların karmaşık karışıklıklarını temsil etmeyi savundukları "Dolaşık Ötekiler" de dahil olmak üzere ortak projelerini de tartışıyorlar. Konuşmacılar, sanatsal pratikte sürdürülebilirlik ve işbirliğinin önemini ve araçlar ile sanat arasındaki ilişkiyi vurgulayarak, algoritmaların insan sanatçıların yerini alamayacağını belirtiyor.

• 00:00:00 Bu bölümde, Sofia Crespo ve Feileacan McCormick yapay biyoçeşitlilik kavramını tartışıyor ve makine öğrenimi alanında bir şeyi güzel yapan şeyin ne olduğu sorusunu araştırıyor. İkili, güzelliğin sinir ağlarını eğitmek için kullanılan veri setinde mi, modeli eğitme sürecinde mi yoksa beyindeki sanal nöron katmanları arasındaki etkileşimde mi olduğunu ele alıyor. Ayrıca, bir sinir ağını eğitme eylemi ile meditasyon arasında paralellikler kurarlar, çünkü her ikisi de bir veri setinin iyileştirilmesini ve kalıpların keşfedilmesini içerir. Genel olarak, tartışma, teknolojinin ve doğanın benzersiz sanat biçimleri üretmek için kesişebileceği yolları vurgulamaktadır.
  
  
• 00:05:00 Bu bölümde, Sofia Crespo denizanasına olan hayranlığını ve renk açısından insan algısının sınırlarını tartışıyor. Denizanasına olan ilgisinin, onu makine öğrenimi algoritmaları yoluyla sentetik denizanalarını keşfetmeye yönelttiğini açıklıyor. Yapay sinir ağlarının bize bilişsel süreçlerimiz ve "doğalık" kavramı hakkında ne öğretebileceği ve bunu nasıl görselleştirebileceğimiz sorusu üzerine kafa yoruyor. Crespo ayrıca Aaron Hertzmann'ın gan sanatında görsel belirsizlik üzerine yazdığı ve anlamlı görsel uyaranların nasıl görsel olarak belirsiz olabileceğini ve bilişsel tepkileri tetikleyebileceğini araştıran makalesini tartışıyor.
  
  
• 00:10:00 Bu bölümde konuşmacılar, makine öğrenimine olan ilgilerini, kullanımlarını ve bunun güzellikle bağlantısını tartışıyorlar. Makine öğrenimi ile çalışırken, insan yapımı veri kümelerini kullanarak tamamen insani bir alanda çalıştıklarını ve bu nedenle insanın doğanın görsel varsayımlarını ele aldıklarını açıklıyorlar. Konuşmacılar, insanlar doğanın bir parçası olduğu için teknolojinin doğanın bir parçası olduğunu ve teknolojinin doğadan ayrı bir varlık olduğu fikrinin kusurlu olduğunu öne sürüyorlar. Ayrıca konuşmacılar yapay yaşamın tanımını tartışıyor ve yapay yaşamın yazılım, sanat ve hatta ıslak yazılım, donanım ve genetik gibi çeşitli disiplinlerde anlaşılabileceğinin altını çiziyor. İlkellerin yaşam benzeri nitelikleri somutlaştırma yeteneklerini göstermek için Karl Sim'in evrimleşmiş yapay yaratıklar üzerindeki çalışmasını kullanıyorlar ve davranışlarıyla birlikte bir rekabet duygusu ve hedefe yönelik eylemler ortaya çıkarıyorlar.
  
  
• 00:15:00 Bu bölümde, yapay sinir ağlarının Luigi Serafini'nin Codex Seraphinianus'u gibi nasıl fantastik yaratıklar ve dil yaratabileceğini öğreniyoruz. Bu kreasyonlar, insanın botanik, zooloji, dil ve mimarlık bilgisinin yeniden karıştırılmış bir birleşimidir. Yapaylıklarına rağmen, çeşitlilikte dikkate değer bir çeşitlilik gösterirler. Ders ayrıca, siyanotip tekniğini yaratan 19. yüzyıldan bir fotoğrafçı ve botanikçi olan Anna Atkins'i de tartışıyor. Konuşmacı, Atkins'in tekniğini evrişimli sinir ağıyla birleştirerek, siyanotip tekniği kullanılarak basılan canlı benzeri yaratıklar üretti. Bu projeye, insanların kameraların varlığından önce doğayı nasıl gördüklerini gösteren bir kitap olan Yapay Doğa Tarihi adı verilir.
  
  
• 00:20:00 Bu bölümde, Sofia Crespo ve Feileacan McCormick, ekolojik sistemlerin daha iyi anlaşılmasını sağlamak için yalnızca tek tek türleri değil, aynı zamanda karmaşık karışıklıklarını da temsil etmeyi savundukları ortak projeleri "Dolaşık Ötekiler"i tartışıyorlar. Böceklerin 3 boyutlu modellerini ürettikleri ve insanların dijital yaratıklarla etkileşim kurması için bir artırılmış gerçeklik deneyimi yarattıkları ilk projeleri "Yapay Kalıntılar"ı açıklıyorlar. Bu projenin başarısı, bir ekosistem inşa etmeyi ve bir ilişki içinde var olmanın soyut kavramını keşfetmeyi içeren son çabalarına yol açtı. Ancak COVID-19 nedeniyle fuar planları değişti.
  
  
• 00:25:00 Bu bölümde konuşmacılar, "yapay biyoçeşitlilik" konusundaki projelerini ve ekosistemlerin birbirine bağlılığına bir örnek olarak nasıl mercan resiflerine döndüklerini tartışıyorlar. Ancak, veri eksikliği nedeniyle, mercan morfolojilerinin çeşitliliğini taklit etmek amacıyla sentetik mercan yaratmak için bir sanatçıyla çalışmak zorunda kaldılar. Bir mercan resifinin karmaşık sisteminin doğru bir yansıması olmadığı, ancak yine de bize onun niteliklerini hatırlattığı için bunun öznel bir temsil olduğunu kabul ediyorlar. Ayrıca, doğadaki kalıpların soyut bir temsili aracılığıyla doğayı ön plana çıkarmanın büyüleyici yönünden ve biyomalzemelerle çalışmanın bir öğrenme zorluğu olduğundan bahsediyorlar.
  
  
• 00:30:00 Bu bölümde konuşmacılar, atılan zeytin çekirdeklerinden biyoplastik oluşturma konusunda uzmanlaşmış bir stüdyoyla işbirliği yaparak sürdürülebilirliği önceliklendirmek için nasıl çaba gösterdiklerini tartışıyorlar. Bu malzeme eritilebilir ve tekrar tekrar başka bir amaca uygun hale getirilebilir, bu da sergiler oluşturmalarına ve ardından malzemeyi gelecekteki projeler için yeniden kullanmalarına olanak tanır. Doğa ile çalışan sanatçıların, özellikle sanatsal pratikte makine öğrenimini kullanarak, sürdürülebilir bir şekilde düşünmelerinin ve dijital katmanların fiziksel sonuçlarını dikkate almalarının çok önemli olduğunu vurguluyorlar. Ayrıca, bağlantıları güçlendirmek ve yeni bağlantılar oluşturmak için işbirliğinin ve disiplinler arası etkileşimlerin önemini vurguluyorlar; Tartışma aynı zamanda felsefeye de değiniyor ve Platon, Deleuze ve Guattari'ye göndermeler yapıyor.
  
  
• 00:35:00 Bu bölümde, sanatçılar Sofia Crespo ve Feileacan McCormick araçlar ve sanat arasındaki ilişkiyi tartışıyorlar. Bir kalem nasıl çizimimizi şekillendiriyorsa, dijital araçların da şekillendirici nitelikleri olduğunu açıklıyorlar. Üretken ve dijital sanat üretirken sanatsal bakış açısını unutmamanın önemine ve sadece teknik çözümlerin değil, neden, nasıl ve neyin sorgulanması gerektiğine de değiniyorlar. Sanatın insanların tüketmesi için yapıldığını ve algoritmaların insan sanatçıların yerini alamayacağını kendimize hatırlatmanın şart olduğunu belirtiyorlar.

[MetaQuotes]

MIT 6.S192 - Ders 12: "AI+Creativity, an Art Nerd's Perspective", Jason Bailey

MIT 6.S192 - Ders 12: "AI+Creativity, an Art Nerd's Perspective", Jason Bailey

Jason Bailey, makine öğreniminin sahtecilik tespitinden fiyat tahminine kadar sanat alanını nasıl etkilediğini tartışıyor. Sanatçıları, veriye dayalı sanatın doğasında var olan önyargıların farkında olmaya teşvik ediyor ve tüm bakış açılarını içeren veri eğitimi ihtiyacını teşvik ediyor.

• 00:00:00 Jason Bailey, MIT'de yapay zeka ve yaratıcılığı tartışacak bir öğretim görevlisi. Mühendislik ve pazarlama geçmişinden geliyor ve bu deneyimi sanat ve teknolojinin kesiştiği konuşmasına taşıyor. Bailey üç temel alana odaklanacak: sanat tarihi, sanat piyasasında fiyat tahmini ve yaratıcı sanatlarda AI ve ML kullanımı.
  
  
• 00:05:00 Jason Bailey, sanatta sahtecilik sorunuyla nasıl ilgilenmeye başladığını ve sanatçının tüm eserlerinden oluşan bir veri tabanı oluşturmak için üç yılını büyük formatlı kitapları tarayarak nasıl geçirdiğini anlatıyor. Bu katalog özgeçmişlerini bulmanın ne kadar nadir ve zor olduğundan ve yakın zamanda birinin popüler bir sürümü yaklaşık 2.000$'a yeniden yayınladığından bahsediyor.
  
  
• 00:10:00 Jason Bailey'nin blogu "artnome.com", sanatı daha iyi anlamak ve eleştirmek için verileri kullanmanın yollarını araştırıyor. 2017'de blogu, "Ai for Art Scholarship: Bu Neye benziyor?" Projesi hakkında bir hikaye yayınlayan 538'den ilgi gördü. Bailey, dersinde proje ve yayınlarının bağlantılarını paylaştıktan sonra konuşmasının 1 paragraflık bir özetini veriyor.
  
  
• 00:15:00 Jason Bailey, makine öğreniminin sanat tarihinde, özellikle tabloları analiz etmede ve sanat tarihini anlamada nasıl yararlı olduğunu tartışıyor. Aynı sanatçının farklı müzelerdeki ikonik tablolarını tanımlamak için bir makine öğrenimi modelinin eğitilmesini içeren son projesinden de bahsediyor.
  
  
• 00:20:00 Jason Bailey'nin dersi, tablo fiyatları ile tabloları oluşturan tek pikseller arasındaki ilişkileri ve sanat piyasasındaki eğilimleri araştırıyor. Makine öğrenimi platformu, İspanyol ressam Pablo Picasso'nun resimlerinin fiyatlarını 0,58 korelasyonla tahmin edebildi.
  
  
• 00:25:00 Jason Bailey, makine öğreniminin mevcut durumunu ve bunun sanat dünyası üzerindeki etkisini tartışıyor. Daha gerçekçi ve gerçeküstü sanat yaratmak için makine öğreniminin nasıl kullanıldığından ve bu yeniliğin son zamanlarda bu alanda yeniden ilgi uyandırdığından bahsediyor.
  
  
• 00:30:00 Jason Bailey yapay zeka ve yaratıcılık üzerine bir konferans veriyor ve derin hayal kurmanın ve stil aktarımının sanat yaratmak için nasıl kullanılabileceğini anlatıyor. Bu teknolojilerle ilgili kendi deneyimlerinden ve bunların kendisine onları ilk keşfettiği zamanki kadar heyecan verici gelmediğinden bahsediyor. Dersi, Fransız ressam Robbie Barrett'in çalışmalarını tartışarak bitirir.
  
  
• 00:35:00 Jason Bailey, yapay zeka ve yaratıcılık üzerine bir konferans veriyor ve geleneksel sanat eğitiminin, yapay zeka ve üretken sanatın yaygın olduğu günümüzle başa çıkmak için nasıl yetersiz kaldığını tartışıyor. Sanat geçmişinin, üretken sanatın sanatçıları ve destekçileri ile nasıl bağlantı kurmasına izin verdiğini ve kendi çalışmalarının bu sanatçılardan nasıl etkilendiğini tartışıyor.
  
  
• 00:40:00 Jason Bailey, teknoloji ve sanatın geçmişte nasıl kesiştiğini ve veri analitiğinin sanatçıların soyutlamayı ölçmesine nasıl yardımcı olabileceğini tartışıyor. Ayrıca, bir ressamın kariyerinde soyutlamayı hesapladıkları bir projeden de bahsediyor.
  
  
• 00:45:00 Jason Bailey, ekibinin algoritmasının, sanatçının tarihsel popülaritesi, tablonun karmaşıklığı ve tabloda kullanılan malzeme gibi bir dizi faktöre dayalı olarak tabloların fiyatlarını tahmin etmek için nasıl kullanılabileceğini açıklıyor. Algoritmanın henüz başlangıç aşamasında olduğunu ve onu geliştirmek için daha fazla araştırmaya ihtiyaç olduğunu da belirtiyor.
  
  
• 00:50:00 Bu derste Jason Bailey, yaratıcılığı incelemek için müzayede verilerini nasıl kullandığını ve ayrıca sanat ve doğa gibi diğer alanları modellerine nasıl dahil ettiğini tartışıyor.
  
  
• 00:55:00 Jason Bailey, yapay zekanın yaratıcılık üzerindeki etkisini tartışıyor ve tüm bakış açılarını içeren eğitim verilerine duyulan ihtiyacı vurguluyor. Ayrıca önyargılı yapay zeka algoritmalarının potansiyel sonuçlarını da tartışıyor. Son olarak, sanatçıları veriye dayalı sanatın doğasında var olan önyargıların farkında olmaya teşvik ediyor.

[MetaQuotes]

MIT 6.S192 - Ders 13: "Yüzeyler, Nesneler, Prosedürler: 3B Sahne Anlayışı için Öğrenme ve Grafikleri Entegre Etme", Jiajun Wu

MIT 6.S192 - Ders 13: "Yüzeyler, Nesneler, Prosedürler: 3B Sahne Anlayışı için Öğrenme ve Grafikleri Entegre Etme", Jiajun Wu

Stanford'da yardımcı doçent olan Jiajun Wu, bilgisayar grafiklerinden derin öğrenme ve alan bilgisinin entegrasyonu yoluyla makinelerde sahne anlayışı üzerine yaptığı araştırmayı tartışıyor. Wu, görünür yüzeyi derinlik haritası aracılığıyla tahmin ederek ve diğer benzer şekillerden oluşan geniş bir veri kümesinden önceki bilgilere dayalı olarak şekli tamamlayarak tek bir görüntüden 3B nesne geometrisini kurtarmak için iki adımlı bir yaklaşım önerir. Wu ayrıca, yüzey özelliklerini daha iyi yakalamak için 3 boyutlu yüzeyler için vekil bir temsil olarak küresel haritaların kullanılmasını önererek sistemin şekilleri daha ayrıntılı ve pürüzsüz bir çıktıyla tamamlamasına olanak tanır. Ek olarak Wu, şekillerin şekil programlarına dönüştürülmesinin, özellikle soyut ve insan yapımı nesneler için modelleme ve yeniden yapılandırmayı nasıl önemli ölçüde iyileştirebileceğini tartışıyor. Son olarak Wu, şekil yeniden yapılandırmasını, doku sentezini ve sahne anlayışını iyileştirmek için bilgisayar grafiklerinden alan bilgisinin makine öğrenimiyle nasıl entegre edilebileceğini tartışıyor.

• 00:00:00 Videonun bu bölümünde, Stanford'da yardımcı doçent olan Jiajun Wu, bilgisayar grafiklerinden derin öğrenme ve alan bilgisinin entegrasyonu yoluyla makinelerde sahne anlayışı üzerine yaptığı araştırmayı tartışıyor. İnsan bilişini kopyalayarak amacı, nesne kategorileri, 3B geometri, fiziksel özellikler ve gelecek tahminleri dahil olmak üzere sahneleri kapsamlı bir şekilde anlayan makineler oluşturmaktır. Wu'nun araştırması aynı zamanda bilgisayar grafiklerinden alan bilgisini derin öğrenmeyle bütünleştiren hibrit bir model oluşturarak makine öğrenimi ile sanat arasındaki boşluğu kapatmayı hedefliyor. Bu yaklaşım, görüntü düzenleme ve oluşturmada yeni olasılıkların yanı sıra derin öğrenme uygulamasında yaratıcılığa izin verir.
  
  
• 00:05:00 Dersin bu bölümünde, Jiajun Wu tek bir görüntüden 3B nesne geometrisini kurtarma problemini tartışıyor; bu, bilgisayar grafiklerindeki klasik 3B şekilden 2B görüntü oluşturma probleminin tersi olarak görülebilir. , doku, aydınlatma, malzeme ve bakış açısı. Bir sinir ağı, görevi yerine getirmek için eğitilebilirken, Wu, bilgisayar grafiklerinden önceki bilgileri entegre etmenin performansı, verimliliği ve genelleştirilebilirliği artırabileceğini öne sürüyor. Problemi çözmek için iki aşamalı bir yaklaşım öneriyor: ilk olarak, görünür yüzeyi derinlik haritası aracılığıyla tahmin etmek ve ikincisi, diğer benzer şekillerden oluşan geniş bir veri kümesinden önceki bilgilere dayalı olarak şekli tamamlamak.
  
  
• 00:10:00 Bu bölümde Jiajun Wu, nesne yüzeylerini ve şekillerdeki ayrıntıları yakalamak için derinliği bir ara temsil olarak kullanmanın önemini tartışıyor. ShapeNet veri kümesi üzerinde bir model eğiterek ve ondan rastgele şekiller alarak Wu, bu yaklaşımın çıktının doğruluğunu büyük ölçüde geliştirdiğini gösteriyor. Ancak, modelin daha önce hiç görmediği nesnelere genelleme yapmanın zor olabileceğini ve verilerin yanlış yorumlanmasına yol açabileceğini kabul ediyor. Bunu ele almak için Wu, 2 boyutlu bir temsili 3 boyutlu bir temsile geri yansıtan ve sistemin şekilleri tamamlamak için deterministik ve tamamen farklılaştırılabilir bir süreç belirlemesine izin veren bir diferansiyel katman oluşturmayı öneriyor.
  
  
• 00:15:00 Bu bölümde, konuşmacı 3 boyutlu nesneler için kısmi bir yüzey kullanmanın sınırlamalarını tartışıyor, özellikle de 3 boyutlu uzayın birçok alanının boş olması, bu da tamamlama ağının yüzey özelliklerini yakalamasını zorlaştırıyor. Konuşmacı, bunu ele almak için, her pikselin yüzeydeki bir noktaya karşılık geldiği ve hiçbir temsilin boşa gitmediği 3 boyutlu yüzeyler için vekil temsil olarak küresel haritaların kullanılmasını önerir. Boru hattı tahmini bir derinlik alır ve onu kısmi küresel bir haritaya yansıtır, bu daha sonra küresel bir harita alanında bir tamamlama ağı kullanılarak tamamlanabilir. Bu yeni yöntem, çok daha düzgün ve ayrıntılı çıktı sağlar ve eğitim sırasında görülmeyen nesne kategorilerine genelleştirilebilir.
  
  
• 00:20:00 Bu bölümde Jiajun Wu, ara temsillerin ve geri projeksiyonun daha genelleştirilebilir, daha iyi bir şekle sahip yeniden yapılandırma sistemi oluşturmaya nasıl yardımcı olabileceğini tartışıyor. Wu, insanlar ve atlar üzerindeki test örneklerini kullanarak, sistemin daha önce deforme olabilen nesneleri görmeden, tek bir görünümden nispeten makul bir şekilde nesneleri yeniden oluşturabildiğini belirtiyor ve bu da sistemin daha iyi görüş sistemleri oluşturmak için kullanılabileceğini gösteriyor. Wu ayrıca, yüzeylerin ve ileri projeksiyonun ara temsillerinin, bağımsız faktörler üzerinde daha fazla kontrolle yeni nesne şekillerinin ve dokularının sentezine izin vererek, işlemeyi daha iyi hale getirmeye nasıl yardımcı olabileceğini açıklıyor.
  
  
• 00:25:00 Bu bölümde Jiajun Wu, önceki teknikleri sahnelere yaymak için birleştirme sürecini tartışıyor. İlk olarak, ağaçlar veya gökyüzü gibi nesne benzeri olmayan arka plan bölümleri için gizli temsiller dahil olmak üzere nesnelerin geometrisinin, pozunun ve dokularının temsillerini elde etmek için ters çevirme sistemlerini kullanır. Ardından, bir arabayı yaklaştırmak veya dokusunu değiştirmek gibi sahnedeki farklı değişikliklerin genel görüntüyü nasıl etkilediğini görmek için bu temsilleri düzenler. Wu, yöntemin tam ve doğru sonuçlar üretmesine izin verdiği için nesnelerin 3B geometriye sahip olduğunun anlaşılmasının önemini vurguluyor. Son olarak, tablolar gibi insan yapımı nesneleri yeniden oluştururken şekil soyutlamasının zorluğunu ve soyut ve program benzeri temsilleri birleştirmenin nasıl daha iyi sonuçlara yol açabileceğini tartışıyor.
  
  
• 00:30:00 Bu bölümde Wu, şekillerin şekil programlarına dönüştürülmesinin, özellikle mobilya gibi nesneler için modelleme ve yeniden yapılandırmayı nasıl önemli ölçüde iyileştirebileceğini tartışıyor. Ek olarak, bina tasarımı için 3B projeksiyona rehberlik edebilen bir algoritma gibi içerik oluşturma için çoğaltma ve simetri gibi prosedürel yapılardan nasıl yararlanılabileceğini açıklıyor. Ham 2B görüntüleri ve 3B alanı birbirine bağlamak için Wu'nun ekibi, görsel verilerdeki çizgiler ve üçgenler gibi ilkel öğeleri saptamak için stokastik bir aramadan ilham aldı ve şimdi görüntü algılamayı yönlendirmek için 3B ilkellerin şekillerini sentezlemeye çalışıyor.
  
  
• 00:35:00 Bu bölümde Jiajun Wu, tek bir görüntüde yamaların kendilerini tekrar edebileceğini ve bu tekrarın ölçekler arasında gerçekleşebileceğini gözlemleyerek, görüntü istatistiklerinden tek bir görüntüden her şeyi öğrenmek için dahili öğrenmenin nasıl kullanılabileceğini tartışıyor. Tek bir görüntüde yinelenen nesneleri tanımlamak için nöronal aktivasyonları kullanarak, bulunan ilkel öğeler çizgiler, dikdörtgenler, küreler veya silindirler olabilir ve sinir ağları, bu tekrarlanan nesnelerin ağırlık merkezlerinin üzerindeki programları tanımlayıp sentezlemek için özellikleri öğrenebilir. Bu, görüntü tamamlama veya ekstrapolasyon ve sahneleri daha düzensiz hale getirmek için düzenlilik düzenlemesi gibi bir dizi sorunun çözülmesine yardımcı olabilir.
  
  
• 00:40:00 Bu bölümde konuşmacı, programlarını tek bir düzlemden daha karmaşık olan 3 boyutlu görüntülere nasıl uygulayacaklarını tartışıyor. Buradaki problem, her bir düzlemin yönelimi ve yüzey seviyeleri göz önünde bulundurularak görüntüyü birden çok düzleme bölmektir. Konuşmacı, bunu ele almak için ufuk noktaları ve tel çerçeveler gibi görsel ipuçları kullanmayı önerir. Bununla birlikte, tel kafes özellikleri gürültülü olabilir ve birden fazla olası aday düzlem bölümü olabilir. Programlarının yukarıdan aşağıya bilgisini kullanarak, aday düzlemleri 2B görüntülere doğrultabilir ve görüntünün doğru bölümünü bulmak için program sentezi gerçekleştirebilirler. Bunu yapmak, geleneksel yöntemlerin başaramadığı en iyi ortak işlem sonuçlarını ve görüntü sentezini bulmalarına yardımcı olabilir.
  
  
• 00:45:00 Bu bölümde Jiajun Wu, bilgisayar grafiklerinden alan bilgisinin şekil yeniden yapılandırmasını, doku sentezini ve sahne anlayışını geliştirmek için makine öğrenimiyle nasıl entegre edilebileceğini tartıştı. Wu, sahne anlayışının görsel verilerin ardındaki minimal ama evrensel nedensel yapıya dayandığını vurguladı: nesneler, yüzeyler, projeksiyonlar ve kapatmalar. Öğrenme ve makine öğrenimini entegre ederek Wu, geleneksel 2B görüntülerin ötesine geçen daha gelişmiş 3B modeller oluşturmada daha büyük bir potansiyel olduğuna inanıyor. Wu ve ekibi 3D baskı konusuna girmemiş olsalar da, 3D şekil modelleme ve bu modellerin arkasında çıkarımsal prosedürleri kullanma olasılığı ile ilgileniyorlar.

[MetaQuotes]

MIT 6.S192 - Ders 14: "Sonsuz Yaratıcı Açık Uçlu İnovasyon Motorları Yaratmaya Doğru", Jeff Clune

MIT 6.S192 - Ders 14: "Sonsuz Yaratıcı Açık Uçlu İnovasyon Motorları Yaratmaya Doğru", Jeff Clune

OpenAI'de bir araştırmacı olan Jeff Clune, bu MIT dersinde sonsuz derecede yaratıcı, açık uçlu inovasyon motorları yaratma konusundaki çalışmalarını tartışıyor. Doğal evrimi ve insan kültürünün bir dizi şeyle başlayıp yeni şeyler üretme, ilginç olanı korumak için değerlendirme ve ilginç yeniliği korumak için onu değiştirme reçetesini gerçekleştirebilecek algoritmalar yaratmaya çalışıyor. Clune, yeni şeyleri tanımak, Map Elites algoritması hakkında konuşmak ve kodlama için Kompozisyonel Model Üreten Ağları tanıtmak için sinir ağlarını kullanmayı araştırıyor. Karmaşık ve çeşitli görüntüler oluşturmak, zor sorunları çözmek ve zorluklara karşı çözümlerini sürekli olarak yenileyebilen açık uçlu algoritmalar oluşturmak için bu araçların nasıl birleştirilebileceğini gösteriyor.

• 00:00:00 Bu bölümde, British Columbia Üniversitesi'nde bilgisayar bilimi doçenti ve OpenAI'de araştırma ekibi lideri olan Jeff Clune, sonsuz derecede yaratıcı, açık uçlu inovasyon motorları yaratma konusundaki araştırmasını tartışıyor. Felsefeyle başlayan ve ardından yapay zekanın büyük zorluğunun üstesinden gelmek için hesaplama sistemleri oluşturmaya doğru geçiş yapan kişisel yolculuğunu yansıtıyor. Clune, jaguarların ve şahinlerin karmaşık mühendislik tasarımları gibi doğanın sonsuz yaratımlarında görülen ve sonsuz yenilik yapan açık uçlu algoritmalar oluşturmakla ilgileniyor.
  
  
• 00:05:00 Bu bölümde konuşmacı, hem doğal evrimin hem de yaratıcı olmalarını sağlayan insan kültürünün izlediği reçete olarak tanımladığı inovasyon motorları kavramını tartışıyor. Bu tarif, bir dizi şeyle başlamayı, yeni bir şey üretmeyi, ilginç olup olmadığını değerlendirmeyi ve ilginç sonuçları elde tutmayı ve değiştirmeyi içerir. Konuşmacı, uzun vadede bu işlemi insan müdahalesi olmadan otomatik olarak gerçekleştirebilecek bir algoritma oluşturmayı hedefliyor. Bununla birlikte, en büyük zorluk, ilgi çekici olmayan yenilik üretmekten kaçınmak ve yalnızca ilginç yenilik üretmektir. Konuşmacı, yeni tür şeyleri tanımak ve ilginç sonuçlar üretmek için çok sayıda sınıfı tanımak için sinir ağlarını kullanmayı önerir.
  
  
• 00:10:00 Bu bölümde Jeff Clune, Map Elites adlı bir algoritmayı ve onun algoritmik arama alanındaki yerini tartışıyor. Birçok zor problemin sadece bir amaç için optimizasyon yapmaktan ziyade yeni şeyler keşfetmeyi ve keşfetmeyi gerektirdiğini ve bunun algoritmalara yansıması gerektiğini açıklıyor. Clune ve meslektaşları, bu tür bir çözüm için olabildiğince iyi olan geniş, çeşitli çözümler bulmayı amaçlayan, Kalite Çeşitliliği Algoritmaları adlı yeni bir alt alan üzerinde çalışıyorlar. Algoritma, gerçekten zor sorunları çözmenin tek yolunun bu olabileceğine inanarak, başka bir görevde ilerleme kaydederken hedefler arasında geçiş yapmaya çalışır.
  
  
• 00:15:00 Bu bölümde biyoloji ve yapay zekanın kesişimi üzerine çalışan araştırmacı Jeff Clune, çözümleri bazı kriterlere göre optimize etmek için kullanılan Map Elites algoritmasını anlatıyor. Clune, kendisinin ve meslektaşlarının Map Elites'i bir robotik probleme uyguladıklarını, genetik bir algoritma ile yumuşak robot morfolojileri üreterek çok çeşitli yaratıklar ortaya çıkardığını açıklıyor. Ancak ekip, her yaratığın neredeyse aynı olduğunu fark ettikleri ve algoritmanın yalnızca yeni bir arama başlatarak çeşitli tasarımlar ürettiği için tatmin olmadı. Bunu düzeltmek için Clune, Map Elites algoritmasını aynı soruna uyguladı, bu sefer kanonik optimizasyon algoritması kullanmak yerine ilgilenilen boyutlar olarak voksel sayısını ve belirli bir malzemenin miktarını seçti. Algoritmanın çok daha geniş bir olasılıklar alanını araştırdığını ve nihayetinde çok daha iyi sonuçlar ürettiğini buldu. Ayrıca Clune, Bileşim Modeli Üreten Ağı (CPPN) adı verilen kodlamanın, üzerinde çalıştıkları sorunu çözmede ne kadar kritik olduğunu sonraki bir bölümde açıkladı.
  
  
• 00:20:00 Dersin bu bölümünde, Jeff Clune derin öğrenme ve evrimsel algoritmalardaki kodlama seçimini tartışıyor. Doğrudan kodlamada, son yapıdaki her bir özellik, parametre vektörü üzerinde bir sayı ile temsil edilirken, üretken kodlamada, parametre vektöründeki bilgi nihai ürünü üretmek için yeniden kullanılır ve daha düzenli veya desenli ürünlerle sonuçlanır. Doğa, hücrenin vücuttaki konumuna bağlı olarak her hücrenin dönüşeceği hücre türü olan hücre kaderini belirlemek için geometrik desenler kullanarak üretken kodlamayı kullanır. Bu yaklaşım, nihai üründe yeni modeller oluşturmak için önceden var olan kalıpların birleştirildiği gelişim biyolojisinde bir ortak dil olarak görülüyor.
  
  
• 00:25:00 Bu bölümde, OpenAI'den bir araştırmacı olan Jeff Clune, açık uçlu AI sistemleri yapmak için gelişimsel biyolojinin gücünün nasıl verimli bir şekilde kullanılacağını tartışıyor. Geometrik konumları fenotipik öğelerin bir fonksiyonu olarak kodlamak için, temel kimyalardan herhangi biri olmadan doğal sistemlerin gücünün çoğunu soyutlayan Bileşimsel Model Üreten Ağların (CPPN'ler) kullanılmasını önerir. CPPN'ler, sinir ağı veya robot morfolojisi gibi fenotipik öğeleri optimize etmek için bir yapay yapıya koordinatlar sağlayarak, asimetrik ve simetrik ve tekrar eden temaların karıştırılması ve eşleştirilmesi yoluyla keyfi karmaşıklık üretebilir. Clune ve ekibi, bu fikri üç boyuta taşıyarak, sonsuzforms.com adlı bir web sitesi oluşturarak, kullanıcıların giderek büyüyen bir basamak taşları arşivi oluşturmak için birbirlerinin gelişmiş şekillerini alabilecekleri bir web sitesi oluşturdu.
  
  
• 00:30:00 Dersin bu bölümünde Jeff Clune, tasarımı otomatikleştirmek ve rastgele karmaşık görüntüleri 3B yazdırmak için CPPN'leri kullanmayı tartışıyor ve bu araçların teknik engelleri ortadan kaldırma ve kolayca yaratıcı tasarımlar üretme gücünü gösteriyor. Ardından, açık uçlu bir algoritma oluşturma görevi için CPPN'leri uygular ve bunları ImageNet'teki bin kutunun her birini sınıflandırmak için optimize eder. Clune, daha iyi performans hipotezinin nasıl test edildiğini, bunun da sıklıkla ilişkilendirildikleri kategoriye benzeyen veya kavramın sanatsal bir yorumunu çağrıştıran görüntülerle sonuçlandığını açıklıyor. Bazı "aldatıcı görüntüler" oluşturmasına rağmen, bu oluşturma süreci, ekibin tamamen yeni bir estetik alanı keşfetmesine olanak tanırken, düşman görüntülere yol açan derin sinir ağlarının doğasında var olan kusurları da gösterdi.
  
  
• 00:35:00 Bu bölümde Jeff Clune, kendisinin ve ekibinin geliştirdiği, yüksek kaliteli çeşitli görüntüler üretebilen çeşitlilik algoritmasının niteliklerini tartışıyor. Algoritma, bazıları estetik açıdan ilginç olan ve iş logoları gibi pratik amaçlar için kullanılabilen çeşitli görüntüler üretir. Ayrıca, algoritmanın hedef değiştirme yeteneğinin, biyoloji ve teknolojik alanlarda meydana gelenlere benzer şekilde, uyarlanabilir radyasyonların oluşmasına nasıl izin verdiğini açıklıyor. Yenilikçi fikirlerin doğuşunu ve evrimini gösteren grafikleri ve filogenetik ağaçları sergileyerek, algoritma içinde yer alan evrimsel süreçler hakkında fikir veriyor. Ek olarak, algoritmanın ve çıktılarının sanatsal Turing testini geçtiğini ve yapay zeka yerine insanlar tarafından yaratılan sanatla karıştırıldığını paylaşıyor.
  
  
• 00:40:00 Bu bölümde Jeff Clune, iyi performans gösteren ve hedefleri değiştirme yeteneğine sahip çeşitli çözümler üretebilen kalite çeşitliliği (QD) algoritmaları fikrini tanıtıyor. Hasara uyum sağlayabilen robotlar gibi zorlukları çözmede ve Montezuma'nın İntikamı ve Tuzağı gibi zorlu keşif zorluklarını keşfetmede kullanımlarını tartışıyor. QD algoritmalarının yenilik yapma potansiyeline sahip olmasına rağmen henüz açık uçlu olmadıklarını ve çevre tarafından kısıtlandıklarını belirtiyor. Jeff Clune daha sonra ilginç, karmaşık ve çeşitli öğrenme ortamlarını ve bunların çözümlerini sonsuz şekilde üretebilen Eşleştirilmiş Açık Uçlu Öncü (POET) algoritması gibi açık uçlu algoritmalar oluşturma fikrini önerir. POET algoritması, mevcut temsilci popülasyonu için ne çok kolay ne de çok zor olan yeni öğrenme ortamları oluşturmak için tasarlanmıştır, aracıları zorlukların her birini daha iyi çözmek için optimize eder ve bunlar arasında hedef geçişine izin verir.
  
  
• 00:45:00 Bu bölümde, Jeff Clune "hedef değiştirme" kavramını tartışıyor - bir sistemin bir ortamda rekabet edebilmesi, ilerlemesi ve ardından başka bir ortama geçmesi. Otomatik olarak giderek daha zor ortamlar yaratan arazileri kateden bir RL algoritması gösteriyor. Clune, bunun ilerlemeyi ölçmenin ve yerel optimumları aşmanın bir yolu olduğunu açıklıyor. 'Şair' algoritmasını sunuyor ve bunun zor sorunları çözmenin tek yolu olduğunu gösteriyor. Yeni optimize edilmiş bir robotun eski bir ortamı istila ederek önceki enkarnasyonun yerini aldığı bir görevde görüldüğü gibi, şiirin yerel optimumun üstesinden gelmek için gerekli olduğunu gösteriyor. Clune, bu tür karmaşık inovasyonların daha gelişmiş simülasyonların önünü açabileceğini belirtiyor.
  
  
• 00:50:00 Dersin bu bölümünde Jeff Clune, mağarada yaşayan örümceklerle aynı şekilde belirli ortamlar için optimize edilmiş canlılar yaratmak için vücut optimizasyonu ile çevre oluşturmayı birleştirmenin potansiyelini tartışıyor. Ayrıca, Dali gibi yenilik motorlarını, sorunu ve çözümü icat eden, ardından üretilen resimlerde, videolarda, müzikte veya şiirde ilginç olan yeni şeyleri tespit eden algoritmalarla eşleştirmeyi öneriyor. Clune, araştırma ekibinin, derin sinir ağlarının sınıflandırdıkları görüntüler hakkında ne kadar anladığını inceleyen bir alan olan yapay sinirbilimi de keşfettiğinden bahseder. Bunu, belirli nöronları maksimum düzeyde etkinleştiren görüntüleri sentezleyerek yaptılar ve ağdaki beş ayaklı denizyıldızı kavramını keşfetmeyi başardılar.
  
  
• 00:55:00 Dersin bu bölümünde Jeff Clune, doğal görüntü oluşturmaya kısıtlamalar eklemekten doğal görüntü önceliklerini öğrenmek için derin öğrenmeyi kullanmaya kadar derin öğrenme görüntüsü oluşturmanın gelişimini tartışıyor. Algoritmalarda yapılan küçük değişikliklerle, her bir oluşturucudan çılgınca farklı sanatsal stiller üretilir. Sinir ağları, doğal görüntülerin alanı gibi belirli bir alanda her bir nesnenin ne anlama geldiğini anlar ve daha yüksek fotogerçekçi kalitede görüntüler üretebilir. Ancak, bu doğal görüntü alanlarında çok az çeşitlilik üretilir. Bu sorunun üstesinden gelmek için, daha önce derin öğrenmede görülenden çok daha geniş bir yelpazede çeşitli görüntüler üreten tak ve çalıştır üretken ağlar tanıtıldı.
  
  
• 01:00:00 Dersin bu bölümünde, Jeff Clune yapay zeka nörobiliminde kaydedilen ilerlemeyi ve açık uçlu yaratıcı süreçlerin yaratılmasını tartışıyor. Yapay zekanın dünyamızdaki volkanlar veya çim biçme makinesi gibi kavramları nasıl tanıyabileceğini ve öğrenebileceğini, ancak düşmanca görüntüler üretmeye ve tanımaya nasıl duyarlı olduğunu vurguluyor. Clune, Chris Ola'nın çalışmasını öneriyor ve ekibinin konuşma ve video gibi farklı modları keşfetme konusundaki çalışmalarından bahsediyor. Ayrıca, gerçek bir maymun beynindeki nöronları harekete geçiren sentetik görüntülerin üretilmesi de dahil olmak üzere, bu alanda kaydedilen ilerleme ve gelecekteki potansiyel konusundaki heyecanını paylaşıyor. Clune, bilimin genellikle estetik eserler ürettiğini ve modern makine öğrenimi araçlarının sanat ve bilimin birleşmesine nasıl izin verdiğini öne sürüyor. Son olarak, sonsuz yaratıcı açık uçlu süreçler yaratma misyonuna katılmak isteyen öğrencilere Ken Stanley ve Joel Lehman'ın eserlerini okumalarını tavsiye ediyor.
  
  
• 01:05:00 Bu bölümde Jeff Clune, açık uçlu algoritmaların yapay genel zekadaki ilerlemeleri destekleme potansiyeline sahip olduğunu açıklıyor. Bu algoritmaların genel yapay zeka üretmenin yolu olabileceğini araştıran Yapay Zeka Oluşturma Algoritmaları makalesini okumanızı tavsiye ediyor. Jeff ayrıca araştırmacıları bu fikirleri çeşitli alanlarda uygulamaya ve bunu yapmak için GPT-3 veya Dolly gibi araçları kullanmaya teşvik ediyor. Şiir veya mimarlık gibi farklı alanlarda düşük asılı meyveleri keşfetmenin heyecan verici ilerlemelere yol açabileceğini öne sürüyor. Jeff ayrıca Joseph'in Poet algoritmasını çok aracılı bir ortamda kullanmaya ilişkin sorusuna da değiniyor ve böyle bir ortamda aracı performansını ölçmenin zorluğu gibi ortaya çıkan zorlukları tartışıyor.

[MetaQuotes]

MIT 6.S192 - Ders 15: "Yaratıcı Ağlar", Joel Simon

MIT 6.S192 - Ders 15: "Yaratıcı Ağlar", Joel Simon

Bu derste Joel Simon, doğal ekosistemlerden yararlanan yaratıcı ağlara yönelik ilhamlarını ve yaklaşımlarını keşfediyor. Topoloji optimizasyonu, morfojenler ve evrimsel algoritmalar gibi tekniklerin inanılmaz formların ve dokuların ortaya çıkmasını nasıl sağlayabileceğini açıklayarak yaratıcı süreçte hesaplama yeteneklerinin potansiyelini gösteriyor. Simon ayrıca, bir CPPN ve GAN kullanarak görüntüleri keşfetmeye ve değiştirmeye yarayan çevrimiçi bir araç olan GANBreeder projesiyle ilgili ayrıntıları paylaşıyor ve yaratıcı süreçte çapraz öneri sistemlerinin potansiyelini tartışıyor. Simon, teknolojinin ve yaratıcılığın geleceği konusunda iyimser, insanların işbirliği yapabileceğine ve binaların işlevlerini optimize edebileceğine ve daha büyük bir şey yaratabileceğine inanıyor.

• 00:00:00 Bu bölümde Joel Simon, yaratıcı ağ çalışmasına yönelik geçmişini ve ilham kaynaklarını açıklıyor. Brian Eno'nun yalnız dahiler kavramına yönelik eleştirisinin altını çiziyor ve yaratıcılığın, birlikte çalışan çeşitli güçlerin ortaya çıkan bir ürünü olarak nasıl ölçülebileceğini açıklıyor. Simon ayrıca, dijital olmakla hesaplamalı olmak arasındaki farkı vurgulayarak, yaratmanın hesaplamalı yollarını öğrenmesine ve keşfetmesine yol açan heykeltıraşlığa yönelik yolculuğundan bahsediyor.
  
  
• 00:05:00 Bu bölümde Joel Simon, üniversite yıllarında keşfettiği hesaplamalı tasarım ve topoloji optimizasyonu alanındaki çalışmaları için ilham kaynağı olduğunu açıklıyor. Topoloji optimizasyonunun geleneksel anlamda asla yaratılamayacak yeni formlar üretme kapasitesinden etkilenen Simon, potansiyelini daha fazla keşfetmeye çalıştı. Bununla birlikte, basit optimizasyon tekniklerinin ötesine geçmesi ve bir binanın bir ağaç gibi büyümesini sağlayabilecek ve onu üretken mimari üzerinde deneyler yürütmesine yol açabilecek, uyarlanabilirlik ve çevre gibi gerçek doğa unsurlarını dahil etmesi gerektiğini fark etti. Çalışmaları sadece mimari tasarıma dayanmıyordu, aynı zamanda hesaplamalı tasarımda artan karmaşıklık ve yenilikçilik için ilham kaynağı olarak grafik simülasyon yöntemlerini kullandı ve sanal yaratıklar geliştirdi.
  
  
• 00:10:00 Bu bölümde konuşmacı, özellikle reaksiyon difüzyonu açısından, büyüme sürecinde örüntü bilgisinin ve morfojenlerin kullanımını tartışıyor. Bu kalıpların sanatta doku üretmek için kullanılabileceğini açıklıyor ve basit bir ağı konumdan renge haritalamak ve onu bir görüntüye dönüştürmek için kullanılan Jeff'in CPPN'lerini tartışıyor. Konuşmacı, bu büyüme fikirlerini daha da ileri götürmek için, köşelerin hareket ve yayma yönünü kontrol etmek için bir 3D ağın köşeleri boyunca morfojenleri kullanan "Evolving Alien Corals" projesini yarattı. Bu, inanılmaz formlara yol açan bileşik etkileri mümkün kıldı. Mercanların renkleri, optimize edilen morfojenlerdir ve sadece güzel desenler üretmezler. Bu proje aynı zamanda, formun uygunluk işlevini takip ettiği formları yönlendirmek için güçler veya hedeflerle şekillendirebilme fikrini de gösteriyor. Konuşmacı ayrıca ekosistemler fikrine ve optimal çeşitliliğe ortada bir miktar rahatsızlıkla ulaşıldığı ara rahatsızlık hipotezine kısaca değinir.
  
  
• 00:15:00 Bu bölümde Joel Simon, doğal ekosistemlerden yararlanan yaratıcı ağlara olan hayranlığını tartışıyor ve bu manzaraların kalıpları şekillendirmeye ve manipüle etmeye nasıl yardımcı olduğunu araştırıyor. Ekolojik çöküşü görmenin nasıl bir şey olacağı veya istilacı türler veya farklı adaların bir araya gelmesi gibi rahatsızlıkların ekosistemi nasıl etkileyeceği sorusunu soruyor. Simon, çok amaçlı bir soruna çözüm olarak çivi yazısından ve kaligrafi fikrinden ilham aldı. Farklı yöntemleri denemek için Simon, gürültülü bir ortam aracılığıyla iletişim için örüntü tanıma üreten, her bir biçimin tanınabilir ve karşılıklı olarak ayırt edici olduğu, farklı dillerin ortaya çıkmasına neden olan özel bir sinir mimarisi yarattı. Daha sonra, bu sistemi hem işbirlikçi hem de düşmanca olacak şekilde değiştirerek, birbirine benzeyen ancak farklı bir şekilde işlevsel kalan benzersiz hat setleri üretti.
  
  
• 00:20:00 Bu bölümde, Joel Simon, Matisse'in otoportreleri ve Conways'in Game of Life gibi çeşitli kaynaklardan ilham aldığı üretken sanat projelerinden bazılarını tartışıyor. Genetik algoritmalar kullanarak portreler yarattı ve yapay yaşam için üretken bir mimari kavramını araştırdı. Simon ayrıca, daha sonra yeni ve ilginç tasarımlar oluşturmak için seçici olarak yetiştirilen yaratıkların görüntülerini oluşturmak için bir sinir ağı kullanmayı içeren kazma yetiştiricisi projesinden nasıl ilham aldığından da bahsediyor.
  
  
• 00:25:00 Bu bölümde konuşmacı, bir CPPN ve GAN kullanarak görüntüleri keşfetmeye ve değiştirmeye yönelik çevrimiçi bir araç olan GANBreeder'ı yaratma ilhamını tartışıyor. Bu araçta kullanılan algoritmaları artırmaya yardımcı olabilecek, insanlara doğuştan gelen ilgi duygusuyla büyüklüğün planlanamayacağı ve ilgisini çekemeyeceği fikrinden ilham aldı. GAN'ları daha derinlemesine araştırıyor ve GAN'ların gizli vektörlerinin, çocukların görüntülerinin her iki ebeveyne de benzemesine izin veren çaprazlama için kullanılmak üzere gerekli özelliğe sahip olduğunu fark ediyor. Konuşmacı, farklı yaratıcılık türlerinden bahsediyor ve aracının, GANBreeder'ı oluşturmak için BigGAN ile Picbreeder'ı birleştirdiği kombinatoryal bir şey olduğunu belirtiyor. Ayrıca, GANBreeder'ın kullanıcıların görüntüler oluşturmasına izin verdiği üç yolu, yani rastgele çocuklar elde etmeyi, iki görüntüyü bir araya getirmeyi ve bir görüntünün genlerini düzenlemeyi tartışıyor.
  
  
• 00:30:00 Dersin bu bölümünde, Joel Simon, yaratıcı süreci, açık uçlu olmaktan kasıtlı olmaya kadar değişen ve aralarında bir geçiş olan keşif aşamaları açısından tartışıyor. Eşeysiz üreme, eşeyli üreme ve canlılık gibi biyolojik paralelliklerden, görüntü yaratmanın ve yapmanın farklı yolları olarak bahsedilir. Simon daha sonra yaptığı bir görüntünün bir örneğini, onu oluşturan genlerle birlikte vererek, insanlar 128 boyutta düşünemeyeceği için etkileşimli, işbirlikçi keşfin önemini vurguluyor. Simon, ArtBreeder'ın fikir ve ilham bulmak için bir araç olarak kullanılabileceği fikriyle bitiriyor ve kullanıcıların makine öğrenimiyle ilgilenenlerle alakalı kendi genlerini oluşturmalarına olanak tanıyan yeni bir özellikten bahsediyor.
  
  
• 00:35:00 Bu bölümde Simon, Ganbreeder adlı projesinin görüntüleri etiketlemeye yönelik kalabalık kaynak ekosisteminden nasıl yararlandığını açıklıyor. Kullanıcılar, görüntülerdeki incelikli bir özelliğin örneklerini toplayarak, onu daha güçlü genler oluşturmaya izin veren bir araca veya filtreye dönüştürebilir. Proje, hangi görüntünün en ilgi çekici olduğunu soran basit bir görüntü ızgarası olarak başladı. Bununla birlikte, kullanıcılar Ganbreeder'ı, tarihi figürleri renklendirmek için fotoğraf yüklemek, elbiseler yapmak ve hatta karakterlerin üzerini boyamak gibi beklenmedik şekillerde kullanıyor. Simon, deneyin çalışması için ikisinin gerçekten birlikte çalışması gerektiğinden, deneyin aslında gan değil arayüz olduğunu vurguluyor.
  
  
• 00:40:00 Videonun bu bölümünde Joel Simon, şu anda mevcut öneri motorlarında kullanılmayan gizli varyasyon boyutlarını kullanan bir çapraz öneri sistemi aracı oluşturmanın potansiyel gücünü tartışıyor. Çalışırken şarkı sözlerinin var olup olmadığına karar verememe örneğini kullanıyor ve tavsiye motorları, onun gibi kullanıcıların varyasyonun bu boyutlarını dikkate alan bir araç oluşturmasına yardımcı olabilirse, çok daha güçlü önerilerde bulunabileceklerini öne sürüyor. . Simon ayrıca yaratıcı araçlarda sahiplik ve işbirliği fikrini araştırıyor ve küratörlüğünü yaptığı, pek çok kişi tarafından ortaklaşa yaratıldığı için kimsenin sanata "sahip olmadığı" bir etkileşimli sanat sergisini anlatıyor.
  
  
• 00:45:00 Bu bölümde Joel Simon, yaratıcı süreçte hesaplama yeteneklerinin potansiyeline zıt olarak insan düşüncesinin sınırlamalarını tartışıyor. İnsanların, net hiyerarşiler içinde düşünmek, rutinlere sahip olmak ve karmaşık örtüşmeler içinde düşünmemek dahil olmak üzere, düşüncemizde belirli önyargıları vardır. Simon, işbirliğini kolaylaştırmanın, keşfetmenin, yeni ortamlara izin vermenin ve metaforların yeni yaratıcı süreçlere nasıl yol açabileceğini tartışıyor. Yaratıcı yönetmen ve sanatçı arasındaki diyaloglar, yönetmenin sanatçının yaratıcılığına rehberlik ettiği bu süreçte çok önemlidir. Simon, bilgi işlemin ve yaratıcılığın geleceği konusunda iyimser ve aracı kullanmanın, sanatçıların ve kreatiflerin yerini almak yerine diğer insanlarla paylaştığımız yeni sanat eserleri yapmak için kullanılmasının kişi odaklı olacağına inanıyor.
  
  
• 00:50:00 Bu bölümde Joel Simon, yaratıcılığı ve teknolojik gelişmelerin sanatçıların yerini alacağı yanılgısını tartışıyor. Bu tür gelişmelerin yalnızca yaratıcı ifadeyi herkes için daha erişilebilir hale getirdiğine inanıyor ve yaratıcılığın doğuştan gelen bir insan ihtiyacı ve başlı başına bir amaç olduğunu belirtiyor. Simon, doğal üreme sürecini uyarlayan ve insan bilişsel yeteneklerinin ötesinde tasarım için işbirlikçi süreçler yaratmak için biyomimikri kullanan bir morfojenik tasarım konsepti önererek bitiriyor. İnsanların daha büyük bir yaratıcı bağ dokusunun parçası olduğunu ve projeler için ilhamın bu daha büyük sistemden alındığını vurguluyor.
  
  
• 00:55:00 Bu bölümde Joel Simon, karmaşık bir ekosistem olarak karşılıklı olarak uyumlu olan binalardan oluşan bir ekosistem inşa etmeye ilişkin teknolojinin geleceğine ilişkin iyimser görüşünden bahsediyor. Yeni metaforlar ve tekniklerle insanların işbirliği yapabileceğine ve bu binaların işlevlerini anlayışın ötesinde şekillerde optimize edebileceğine inanıyor. Teknolojinin artıları ve eksileri olsa da, Simon'ın makineler ve insanlar arasındaki diyaloğa olumlu bakış açısı, teknolojinin insanları daha büyük bir şey yaratmak için bir araya getirebileceği bir geleceğe dair fikir veriyor.

[MetaQuotes]

MIT 6.S192 - Ders 16: "Hesaplama Olarak Sanatın İnsan Görsel Algısı" Aaron Hertzmann

MIT 6.S192 - Öğr. 16: "Hesaplama Olarak Sanatın İnsan Görsel Algısı" Aaron Hertzmann

Ders, sanatta algısal belirsizliği ve belirsizliği ve muğlak görüntüler yaratmada üretken çekişmeli ağların (GAN'lar) kullanımını araştırıyor. İzleme süresinin algı üzerindeki etkisini ve görüntü entropisi ile insan tercihleri arasındaki ilişkiyi tartışıyor. Öğretim görevlisi, sanatın sosyal ilişkiler kurabilen aracılar tarafından yaratıldığı evrimsel bir sanat teorisi önerir. Algoritmaların yararlı araçlar olabilse de insan sanatçıların yerini alamayacakları sonucuna varılarak yapay zekanın sanatta kullanımı da tartışılıyor. Ders, değer gibi kavramlar üzerine birkaç açıklama ile sona eriyor.

• 00:00:00 Bu bölümde konuşmacı, modern sanatta önemli temalardan olan algısal belirsizlik ve belirsizliği tartışıyor. Çeşitli yorumlara sahip görüntülerin, izleme süresinin değişmesine neden olabileceğini ve farklı algılar arasında gidip gelerek bireylerin yaptığı seçimleri etkileyebileceğini açıklıyor. Görsel belirsizlik, basit ve tutarlı bir yorum veriyor gibi görünen ancak tutarlı bir biçimde çözümlenemeyen görüntüleri tanımlamak için kullanılan bir terimdir ve bu tema modern çağda, özellikle kübizm ile birlikte popüler hale geldi. Psikoloji literatürü, algısal belirsizliği ve bu belirsizlik alanını tanımlamanın yollarını tartıştı ve inceledi, ancak son yıllarda üretici hasımların ortaya çıkmasına kadar karşılaştırılabilir uyaranlar bulmakta ve belirsizliği ölçmekte zorluklar yaşandı.
  
  
• 00:05:00 Bu bölümde konuşmacı, sanat yaratmada GAN'ların kullanımını ve bu tür görüntülerin sergileyebileceği doğal görsel belirsizliği tartışıyor. Ekip, bu görüntüleri, katılımcılara kısa bir süre için bir görüntünün gösterildiği ve onu tanımlamalarının istendiği bir çalışmada kullandı. Sonuçlar, daha yüksek düzeyde algısal belirsizlik ve belirsizliğe sahip görüntülerin, katılımcılardan daha geniş bir açıklama yelpazesiyle sonuçlandığını göstermiştir. Ek olarak, izleme süresinin süresi, bir görüntüyü tanımlamak için kullanılan kelimelerin sayısı ve çeşitliliği üzerinde etkili oldu ve katılımcılar daha uzun süre maruz kaldıklarında daha tutarlı yorumlara yöneldiler.
  
  
• 00:10:00 Bu bölümde öğretim görevlisi, görüntü entropisi ile belirsiz görüntüler için insan tercihleri arasındaki ilişkiyi tartışıyor. Ekip, biri düşük entropili görüntüleri ve diğeri yüksek entropili görüntüleri tercih eden iki kullanıcı kategorisi olduğunu buldu. Ancak, kullanıcıları bu kategorilerde kümelemek, yalnızca belirli görüntü türleri için tercihleri tahmin etmede başarılı oldu ve doğru bilgiyi çıkarmak için daha doğal dil işlemeyi gerektiriyor. Devam ederek, sanatın tanımı ve bilgisayarların sanat yaratıp yaratamayacağı araştırılır. Sanatın mevcut tanımı, uzaylılar tarafından yaratılmış olabilecekler gibi yeni sanat formlarını dikkate almak için genelleme yapmadığı için yetersiz bulunuyor. Bunun yerine konuşmacı, sanatın sosyal ilişkiler ve dolayısıyla sosyal aktivite yeteneğine sahip failler tarafından yaratıldığına dair evrimsel bir sanat teorisi önerir. Bu, bilgisayarların sanatçı olabileceği sonucuna götürür, ancak bu diyalog, uzman olmayanlara yanlış bir anlayış verebileceği için yanlış yönlendirilir.
  
  
• 00:15:00 Bu bölümde konuşmacı, insanın sanat algısını ve sanatın nasıl yapıldığını anlamak için hesaplamadan elde edilen fikirlerin kullanımını tartışıyor. Bilgisayarların kişiliğe veya sosyal bir ilişkiye sahip olmadıkça sanatçı olamayacağını savunuyor. Ancak bilgisayarlar, sanatsal yaratıcılık için güçlü araçlardır ve sanatsal yaratım için yeni araçlar sağlar. Konuşmacı ayrıca, AI sanatının daha erişilebilir hale geldikçe değerini kaybedeceği fikrini de reddediyor ve en iyi AI sanatçılarının kodlama ile deneyler yaptığına ve sonuçları dikkatlice seçtiğine işaret ediyor.
  
  
• 00:20:00 Bu bölümde Hertzmann, sanatta yapay zekanın (AI) kullanımını tartışıyor ve insan tercihlerine göre sanat üretebilen makinelerin sanatçı olarak kabul edilip edilemeyeceğini sorguluyor. Mevcut AI algoritmalarının sadece talimatları takip ettiğini ve bir insan sanatçının yaratıcılığına sahip olmadığını savunuyor. Bununla birlikte, algoritmaların sanatsal süreci ve tercihleri modelleme potansiyelinden heyecan duyuyor ve bunların sanat yaratma ve küratörlüğünü yapmada faydalı araçlar olmalarına izin veriyor. Nihayetinde Hertzmann, sanat kültür ve zamanın bir ürünü olduğu için algoritmaların insan sanatçıların yerini alabileceğine inanmıyor.
  
  
• 00:25:00 Bu bölümde, değer gibi kavramlar üzerine yapılan bir tartışmadan sonra birkaç sonuç sözü verilir. Bu kavramlar veya herhangi bir yeni tartışma konusu hakkında önemli bir bilgi verilmemektedir. Konuşmacıya aydınlatıcı ve ilham verici konuşması için teşekkür edilir.

[MetaQuotes]

MIT 6.S192 - Ders 17: Zoya Bylinskii tarafından "Grafik tasarımın hizmetinde AI kullanımı"

MIT 6.S192 - Ders 17: Zoya Bylinskii tarafından "Grafik tasarımın hizmetinde AI kullanımı"

Adobe'de araştırma bilimcisi olan Zoya Bylinskii, bu derste grafik tasarım ve yapay zekanın (AI) kesişimini araştırıyor. Bylinskii, AI'nın sıkıcı görevleri otomatikleştirerek ve tasarım varyasyonları üreterek tasarımcıların yerini almak yerine yardımcı olmayı amaçladığını vurguluyor. Bylinskii, etkileşimli tasarım araçları ve yapay zeka tarafından oluşturulan simge fikri dahil olmak üzere yapay zeka destekli araçlara örnekler veriyor. Bylinskii ayrıca, yaratıcı düşünme, küratörlük ve farklı alanlardan profesyonellerle çalışma ihtiyacı da dahil olmak üzere yapay zekayı grafik tasarıma uygulamanın zorluklarını ve potansiyelini tartışıyor. Grafik tasarım için AI ve makine öğrenimi ile ilgilenen adaylara proje deneyimlerini sergilemeleri ve araştırma fırsatlarını takip etmeleri için tavsiyelerde bulunuyor.

• 00:00:00 Bu bölümde, Adobe'de araştırma bilimcisi olan Zoya Bylinskii, AI'nın grafik tasarım hizmetinde nasıl kullanılabileceğini açıklıyor. Bylinskii, grafik tasarım ile yapay zekanın kesişiminden ve grafik tasarımların çeşitli biçimsel biçimlerinin, öğrenilebilen ve otomatikleştirilebilen hesaplamalı modüllere nasıl ayrıştırılabileceğinden bahsediyor. Yapay zekanın tasarımcıların yerini alması anlamına gelmediğini, bunun yerine tasarımcıların sıkıcı görevler için otomasyona ve tasarım varyantlarını otomatik olarak oluşturmak için hızlı keşiflere sahip olmalarını ve aynı zamanda tasarımcıyı tasarım sürecinin ve iyileştirmenin merkezinde tutmalarını sağlamanın amaçlandığını vurguluyor. Bylinskii bu hedeflere iki örnek veriyor: farklı form faktörleri ve en boy oranları için bir tasarımı yeniden boyutlandırmak ve düzenlemek ve bir simge, logo veya benzer bir tasarım varlığı oluştururken birçok olası görsel temsil arasında geçiş yapmak.
  
  
• 00:05:00 Bu bölümde, Zoya Bylinskii, tasarım otomasyonunun sıkıcılığı en aza indirerek ve daha verimli bir yineleme sürecini kolaylaştırarak tasarım sürecinin hızını nasıl artırabileceğini tartışıyor. Bylinskii, makine öğreniminin tasarımdaki görsel önemi nasıl tahmin edebileceğini açıklamaya devam ederek, farklı tasarımlarda görsel olarak çarpıcı ve dikkat çekici olanı öğrenerek grafik tasarımcılar için daha etkili rehberlik sağlıyor. Bylinskii ve meslektaşları, bir açıklama aracı kullanarak, modellerini test sırasında bir tasarımın en göze çarpan bölgelerini tahmin etmek için sınıflandırma modüllerini kullanan bu önem kavramı konusunda eğitmek için bin görüntü-açıklama çiftinden oluşan bir veri kümesi oluşturdular ve tasarımcılara şu konularda rehberlik ettiler: diğer tasarım öğelerinin nereye yerleştirileceği.
  
  
• 00:10:00 Bu bölümde Zoya Bylinskii, grafik tasarımda yapay zekanın (AI) kullanımına yönelik iki uygulamayı tartışıyor. İlk uygulama, çeşitli tasarım öğelerinin tahmin edilen önemini gerçek zamanlı olarak sürekli olarak yeniden hesaplamak için küçük bir sinir ağı kullanan etkileşimli bir tasarım aracı içerir. Araç ayrıca bir histogram içerir ve kullanıcıların tasarımı manipüle etmek için her bir öğenin önem düzeyini ayarlamasına olanak tanır. İkinci uygulama, AI'nın ortak görsel kavramlara karşılık gelen yeni simgeler oluşturmak için kullanıldığı simge oluşturma fikrini içerir. Bylinskii, bu uygulamaların her ikisinin de yapay zeka destekli grafik tasarım araçlarında önem modellerini kullanmak için umut verici yeni yönler sunduğunu açıklıyor.
  
  
• 00:15:00 Bu bölümde konuşmacı, suşi teslimatı gibi mevcut ikonları olmayan bir konsept için yeni ikonografi yaratmaya çalışan tasarımcıların karşılaştığı zorluğu açıklıyor. Bu süreç, manuel çalışmayı, ilham almak için ilgili kavramları aramayı ve mevcut simgeleri yeniden birleştirmeyi ve düzenlemeyi gerektirir. Bu süreci basitleştirmek için konuşmacı, bileşik simge üretimi için yeni bir yapay zeka güdümlü işlem hattını tanıtıyor. Bu sistem, stilistik olarak uyumlu ve sorgulanan kavramla anlamsal olarak ilgili olan bileşik simgeler oluşturmak için alanı, stili ve semantiği birleştirir. Yapay zeka güdümlü ardışık düzen, sorguyu ilgili kelimelere ayırmayı, biçimsel olarak uyumlu simgeleri bulmayı ve istenen mesajı iletmek için bunları birleştirmeyi içerir.
  
  
• 00:20:00 Bu bölümde Bylinskii, yeni tasarımlar oluşturmak için uyumlu simge kombinasyonları ve düzenler önermek üzere yapay zekayı kullanan Iconate adlı bir projeyi tartışıyor. Sistem, biçimsel olarak uyumlu simgeler önermek için bir gömme alanı ve bileşen simgelerin düzenini tanımlamak için şablon tabanlı bir yaklaşım öğrenir. Iconate, açıklamalı ayrı bileşenlere sahip 1.000 bileşik simgeden oluşan CompyCon1k veri kümesi kullanılarak eğitildi. Bylinskii, sistemin, kullanıcıların bağımsız tasarım araçlarına göre çok daha hızlı bileşik simgeler oluşturmasına izin verdiğini ve bir kullanıcının aklına gelebilecek herhangi bir kavram için simgeleri hızla oluşturmak için kullanılabileceğini açıklıyor. Ayrıca, insanların yaratıcılığının yerini almak yerine tasarım sürecini kolaylaştırmayı amaçlayan logo sentezi ve düzen geliştirme sistemleri gibi yapay zeka destekli diğer tasarım araçlarına da dikkat çekiyor.
  
  
• 00:25:00 Bu bölümde konuşmacı, metin, istatistik ve küçük görselleştirmeler dahil olmak üzere bilgi grafikleri oluşturmada yapay zekanın kullanımını tartışıyor. Ayrıca, bu çalışmanın farklı topluluklara ve konferanslara yayıldığını ve GAN'ları kullanarak GUI tasarımları oluşturmak gibi bilgisayar görüşünden örnekler verdiğini belirtiyor. Hesaplamalı grafik tasarım ve yaratıcılığa yönelik veri kümeleri de dahil olmak üzere birçok kaynağın mevcut olduğunu belirtiyor ve Behance Sanatsal Medya Veri Kümesi ile Görüntü ve Video Reklamlarının Otomatik Anlaşılması Veri Kümesine kısaca değiniyor.
  
  
• 00:30:00 Bu bölümde, konuşmacı, tasarım iş akışı içindeki bileşenleri otomatikleştirmek için mevcut modelleri ve araçları tartışıyor ve otomatik araçların birçoğunun çok yaratıcı olmadığına, ancak gelecekte keşfedilmesi için hala çok fazla potansiyel olduğuna dikkat çekiyor. otomatikleştirilmiş ancak son derece yaratıcı iş akışları alanı. Öğrencileri bu alanı kendileri keşfetmeye ve hesaplama ile tasarımın arayüzünde heyecan verici uygulamalara yol açabilecek disiplinler arası düşünceler üretmeye teşvik ediyor. Tartışma ayrıca grafik tasarımdaki mevcut metinden görsele modellerin sınırlamalarına ve vektör grafikleri oluşturabilen yeni modellerin potansiyeline de değiniyor.
  
  
• 00:35:00 Bu bölümde konuşmacı, amacın belirli bir infografikten bir altyazı oluşturarak web'deki infografiklerde arama yapmak ve görme engelliler için bunlara açıklama eklemek olduğu bir projeyi tartışıyor. Ancak, infografiklerden görselleri ve simgeleri çıkarmak için mevcut nesne dedektörlerini kullanamadıkları için bir sorunla karşılaştılar. Bu, sonunda simgelerin algılanmasını sağlayan sentetik verileri kullanarak bir simge algılayıcıyı eğitmenin bir yolunun geliştirilmesine yol açtı. Öğrenciler daha sonra, karmaşık grafik tasarımlarda soyut kavramların nasıl görselleştirildiğini anlamak için kullanılabilecek simgeler ve yakındaki metin arasındaki ortak yerleştirmeleri öğrenme olasılığını keşfettiler. Konuşmacı, AI'nın tasarımcıların yerini almak için değil, onlara yardım etmek için tasarlandığını ve kürasyonun işin önemli bir yönü olmaya devam edeceğini vurguluyor.
  
  
• 00:40:00 Bu bölümde konuşmacı, yapay zeka tarafından üretilen grafik tasarım dünyasında tasarımcıların rolünü tartışıyor. Tasarımları oluşturmak için modelleri eğitmek mümkün olsa da, onları tamamen yeni tasarımlar oluşturmak için eğitmek zordur. Bu nedenle tasarımcılar, mevcut çeşitliliğin ötesinde yeni varlıklar ve bileşenler sunabilir ve bunlar daha sonra yeni tasarımları otomatik olarak manipüle etmek ve oluşturmak için kullanılabilir. Tasarımcılar, eğitim sürecini iyileştirmek için çöp ve çöp olmayan çiftleri tanımlamaya yardımcı olabileceğinden, konuşmacı ayrıca iyileştirme ihtiyacını vurgular. Ayrıca konuşmacı, yeterli veri olmaması nedeniyle tasarımları farklı kültürlere uyarlamanın hala zor olduğunu belirtiyor. Son olarak, konuşmacı, daha fazla geliştirme için mevcut ürün ekiplerine dahil edilebilecek büyük araştırma fikirleri ortaya koymayı amaçlayan Adobe gibi şirketlerde araştırma bilimcilerinin rolünü açıklıyor.
  
  
• 00:45:00 Bu bölümde Zoya Bylinskii, pratik ürünler yaratmak için yapay zekayı grafik tasarımda uygulamanın zorluklarını tartışıyor. Sorunları farklı teknoloji ürünlerine taşınabilir hale getirecek, şirketlere araştırma fikirleri sunacak ve uzmanlık için farklı alanlardan profesyonellerle birlikte çalışacak şekilde kavramsallaştırma ihtiyacının altını çiziyor. Bylisnkii, öğrencilere ve stajyerlere, bir mühendislik, araştırma veya ürün stajyeri pozisyonuna gelme şanslarını artırmak için güçlü bir hesaplama araç seti geliştirmelerini tavsiye ediyor.
  
  
• 00:50:00 Bu bölümde konuşmacı, grafik tasarım için yapay zeka ve makine öğrenimi ile ilgilenen bir adayda aradıkları becerilere odaklanır. Yazılım araçlarında ve makine öğreniminde uzmanlığa olan ihtiyacı vurguluyorlar. Deneyimi sadece kurs formunda değil, Github'daki örneklerle proje formunda sergilemeyi öneriyorlar. Adayların, yeni fikirleri kavramsallaştırmak ve bunları yeni şekillerde uygulamak için mevcut modellerin ve kitaplıkların ötesine geçerek yaratıcılık ve yenilik sergilemeleri gerektiğini öne sürüyorlar. Adaylar, bir üniversite laboratuvarında araştırma deneyimi veya teknoloji pozisyonları peşinde koşmalıdır. Profesörlere yaklaşmayı ve belirli problemler üzerinde belirli bir süre çalışmayı teklif etmeyi önerirler. Son olarak, adayın yaratıcılığını, teknik gücünü ve araştırma için uygunluğunu onaylayan diğer araştırmacılardan gelen referansların önemini vurgularlar.

[MetaQuotes]

MIT 6.S192 - Ders 19: Tutarlı nöral alanlarla kolay 3B içerik oluşturma, Ajay Jain

MIT 6.S192 - Ders 19: Tutarlı nöral alanlarla kolay 3B içerik oluşturma, Ajay Jain

Bu derste Ajay Jain, özellikle bir sahnenin 3B geometrisinin ve renginin bir temsilini oluşturmak için seyrek olarak örneklenmiş giriş görünümlerini kullanan Nöral Parlaklık Alanları modeline odaklanarak sinirsel sahne temsilleri üzerine çalışmasını sunuyor. Jain, bir Nöral Parlaklık Alanını tek bir sahneye sığdırmanın zorluklarını ve ayrıca fotometrik kayıp ve anlamsal tutarlılık kaybı ekleyerek eğitim sürecinin veri verimliliğini artırmanın yollarını tartışıyor. Ayrıca, Dream Fields projesinde NeRF'deki yapıları kaldırmak ve başlıklardan 3B nesneler oluşturmak için CLIP'i kullanmaktan bahsediyor. Diğer konular arasında sahnelerde tutarlı ön plan nesneleri oluşturmak, açıklamalı 3B nesne veri kümeleri elde etmek, işleme maliyetlerini azaltmak ve sistem performansını optimize etmek yer alır.

• 00:00:00 Videonun bu bölümünde Ajay Jain, üretken modeller ve yapay zeka araçlarına olan yolculuğundan ve araştırma ilgi alanlarından bahsediyor. Ayrıca, grafik uygulamalarında yaygın olarak kullanılan ağ temsillerine kıyasla bir öğrenme bağlamında eğitilmesi ve kullanılması daha kolay olan hacimsel yaklaşımlara odaklanarak farklı sahne temsillerini tartışır. Jain ayrıca son zamanlarda nöral sahne temsillerine olan ilginin altını çiziyor.
  
  
• 00:05:00 Bu bölümde, konuşmacı özellikle Nöral Parlaklık Alanları adlı bir modele odaklanarak nöral sahne temsilleri kavramını tartışıyor. Bu model, bir sahnenin seyrek olarak örneklenmiş giriş görünümlerinin, sahnenin 3B geometrisinin ve renginin bir temsilini oluşturmak için kullanıldığı ve yeni perspektiflerden oluşturmaya izin verdiği görünüm sentezi sorununu ele alır. Nöral Parlaklık Alanı, bu görüntülerden tahmin edilir ve seyrek olarak örneklenmiş görünümlerin düzgün enterpolasyonuna izin verir. Model aynı zamanda parlak yüzeylerdeki spekülariteler gibi görünüme bağlı etkileri de modelleyebilir. Sinir ağı, 3B uzay koordinatlarından ve görüntüleme yönünden bir işlev eşlemesi olarak temsil edilir ve her koordinat için renk ve yoğunluğu tahmin eder. İşleme, ışın izleme ve hacim oluşturma yoluyla yapılır.
  
  
• 00:10:00 Bu bölümde konuşmacı, istenen renkleri elde etmek için sinir ağının ağırlıklarını optimize etmek amacıyla sinirsel sahne temsiline göre renk oluşturma sürecini tartışıyor. Sahneyi kodlayan MLP'nin, optimize etmeyi kolaylaştırarak bakış açılarının farklılaştırılabilir şekilde oluşturulmasına izin verdiğini açıklıyorlar. Bu işleme ters grafikler denir ve 2B uzaydan bu görünümleri yeniden yapılandıracak temel 3B temsil için optimizasyona gitmeyi içerir. Konuşmacı ayrıca, 5 boyutlu girişi daha yüksek boyutlu bir uzaya yansıtan sinüzoidal bir konumsal kodlama yaklaşımı kullanılarak giriş koordinatlarının sinir ağına nasıl beslendiğini açıklar.
  
  
• 00:15:00 Bu bölümde video, genellikle eğitilmesi için büyük miktarda veri gerektirdiğinden, bir Nöral Parlaklık Alanını tek bir sahneye sığdırmanın zorluklarını tartışıyor. Video, alana sığdırmak için yüz görüntü gerektiren bir yapay sahne gösterirken, bazı dış mekan sahneleri daha az görüntü gerektiriyor. Videoda daha sonra Nöral Parlaklık Alanı eğitimine gözlemlenmeyen konumlarda fotometrik kayıp adı verilen ek bir kayıp ekleyerek eğitim sürecinin veri verimliliğini artırmanın bir yolu tartışılıyor. Bu, sahne yakınsamadan önce bile yeni görünümlerin oluşturulmasına izin verir.
  
  
• 00:20:00 Bu bölümde konuşmacı, eğitim sırasında sahnelerin herhangi bir perspektiften düzenli hale getirilmesini sağlayan anlamsal tutarlılık kaybı kavramını tartışıyor. Görsel bir kodlayıcı kullanarak, her girdi görünümü, nesne kimliğinin ve bakış açıları arasında tutarlı olan diğer özelliklerin kodlanmasına izin veren özellik alanında temsil edilir. Piksel renkleri gibi alt düzey ayrıntılar yerine nesnenin kimliğini ve özelliklerini kodlaması gerektiğinden özellik seçimi çok önemlidir. Konuşmacı, CLIP ağını kullanmayı önerir, çünkü görüntüleri, nesne sınıflarını, nesnelerin pozlarını ve tüm sahneyle ilgili ayrıntıları kodlamasına izin veren ilişkili alt yazılarıyla eşleştirmeyi öğrenmiştir. Konuşmacı, CLIP'in görüntü kodlayıcısından farklı kamera pozlarından belirli bir sahneye yerleştirmelerin kosinüs benzerliğinin oldukça benzer olduğunu ancak piksel uzayında çok farklı olduğunu gösterir.
  
  
• 00:25:00 Videonun bu bölümünde, konuşmacı, özellik alanı benzerliğini en üst düzeye çıkararak NeRF'deki artefaktları kaldırmak için CLIP kullanma konusundaki deneylerinden bahsediyor ve ardından ikinci çalışmasında sadece bir başlıktan 3D nesneler oluşturmak için CLIP'i kullanmayı tartışıyor. Rüya Alanları. Ek düzenleyicilerle bir diyet NeRF'e benzer görünmesi için paylaşılan bir sahne temsilini optimize ederler ve ardından her perspektif için yeni görünümler oluştururlar. Görüntü özellik alanındaki özellik benzerliğini optimize etmek yerine, sahne ile başlık arasındaki özellik alanındaki benzerliği en üst düzeye çıkarmak için CLIP'in metin kodlayıcısını kullanırlar. Arama ve optimizasyon sürecinin zorluğu nedeniyle CLIP ile otomatik altyazı oluşturmanın zor olduğunu belirtiyorlar.
  
  
• 00:30:00 Bu bölümde Ajay Jain, Dream Fields kullanarak 3D sahnelerde tutarlı ön plan nesneleri oluşturma sürecini tartışıyor. Sahnedeki pozları rastgele örnekleyerek ve görüntüleri işleyerek, anlamsal özelliklerin altyazı özellikleriyle eşleşmesini sağlamaya çalışırlar. Ancak bu yaklaşımın düzenleme yapılmadan naif bir şekilde uygulanması, dejenere sahnelere yol açabilir. Bu nedenle, sahnedeki seyrekliği teşvik etmek için rastgele örneklenmiş arka planlar ve yüksek şeffaflıktaki ön plan nesneleri ile sahneyi düzenli hale getirirler. Bu düzenleme ile sahnede daha tutarlı ön plan nesneleri oluşturabiliyorlar. Ek olarak, modelin kompozisyon genellemesini ölçmek için farklı altyazı şablonlarıyla deneyler yapıyorlar.
  
  
• 00:35:00 Bu bölümde konuşmacı, altyazılı 3B nesne veri kümelerini edinmenin zorluklarını ve önceden eğitilmiş bir 2B görüntü ve metin kodlayıcı olan CLIP'i kullanarak bu sorunu nasıl ele aldıklarını tartışıyor. Dream Fields projesi, bu 2B temsili, paylaşılan bir geometri temsili aracılığıyla 3B'ye yükseltir. Konuşmacı ayrıca, oluşturulan 3B nesnelerin kalitesini artırmak için kullanılan tekniklerden ve optimizasyon sürecinin maliyetinden de bahsediyor. Projenin amacı, 3B içerik oluşturmayı kolaylaştırmak ve aşağı akış uygulamaları için faydalı varlıklar oluşturmaktır ve kod, denemek isteyen herkes tarafından kullanılabilir.
  
  
• 00:40:00 Bu bölümde Ajay Jain, nesnelerin 3B yapısının yalnızca CLIP'i her açıdan tatmin eden paylaşılan temsil nedeniyle ortaya çıktığını açıklıyor. Verilerden öğrenilen 3B yapı hakkında bir ön bilgi yoktur, dolayısıyla 3B veriler üzerinde bir miktar tutarlılık eksiktir ve bu, gelecekteki çalışmalar için bir fırsattır. Jain ayrıca, altta yatan geometri görünür olmadığında tutarlılığın korunmadığından, tekrarlanan yapılara yol açtığından bahseder. Koordinatlardan işlev eşlemesinden oluşturulan sinir ağı, sinir alanının çıktısının bir .fbx dosyasına veya ağa dönüştürülmesini içeren, bazı algoritmaların bu dönüştürmeye izin vermesiyle birlikte sonradan işlenmelidir.
  
  
• 00:45:00 Bu bölümde, konuşmacı, görüntüleri düşük çözünürlükte işlemek ve süreci önemli ölçüde hızlandırmak için düşük bellekli tek bir GPU kullanmak da dahil olmak üzere, nöral parlaklık alanı hacimsel temsillerinde işleme maliyetlerini düşürme stratejilerini tartışıyor. Ayrıca saydam nesnelerin bu tür bir temsilde nasıl ele alınabileceğini açıklıyorlar ve bu yaklaşımı 3D sanatçılar için daha pratik hale getirmek için deforme olabilen nesneleri sentezlemek ve eğitim sırasında insan geri bildirimlerini dahil etmek gibi gelecekteki adımlardan bahsediyorlar. Son olarak, sistemi uygulamak ve farklı istemler için kalite ayarlarını yapmak için bir Colab not defterini paylaşırlar.
  
  
• 00:50:00 Bu bölümde, konuşmacı tutarlı nöral alanlar kullanarak 3B içerik oluşturmaya dahil olan öğrenme eğrilerini ve optimizasyon sürecini tartışıyor. Sahnedeki piksellerin şeffaflığı ve yineleme başına veri artırma sayısı gibi optimizasyon sürecini etkileyen farklı faktörleri açıklarlar. Ayrıca, örnek sayısını azaltmayı ve varsayılan CLIP b16 yerine CLIP b32'yi kullanmayı içeren, bellek kullanımını azaltmak için yapılandırma parametrelerinde ince ayar yapılmasını önerirler. Son olarak, performansı optimize etmek için birden fazla GPU arasında paralelleştirme seçeneğinden bahsediyorlar.