Sevgili dostlar, değerli ile gerçekleştirdiğimiz çok ses getiren projemizin heyecanlı teknik arka planını sizlerle hızlıca paylaşmak isterim zira çok merak eden olmuş ve hatta eş zamanlı AI çalışması olmadığını düşünenler bile olmuş.Detaylarını payalaşalım; 1/7🧵
Conversation
Teknik sürecimiz ses kayıtlarının bize ulaşmasıyla başladı.İlk adımda daha önce 70 yıllık LA Filarmoni arşivi sırasında da kullandığımız 'signal processing' ve 'audio feature extraction' tekniklerini PyAudioAnalysis ve Librosa kütüphaneleri ile inceledik. 2/7 🧵
8
10
287
Sonrasında 65 milyonluk doğa ve ağaç temalı ham veri setimizi YOLOv5 ve ResNexT ile kürasyonunu tamamlayıp StyleGAN 2 ve 3 ile eğittik. Bu modellerin yapısını da son 6 yıllık araştırmamız kapsamında NVIDIA desteği ile beraber geliştirip interaktif bir hale getirdik. 3/7 🧵
2
18
305
65 milyon ağaç ve doğa görseliyle eğittiğimiz GANs modelimizi 'Latent Space Browser' isimli kendi geliştirdiğimiz yazılımımız ile üretilen sentetik ağaç ve doğa görsellerini VVVV ile seslere interaktif hale getirdik. 4/7 🧵
1
18
307
Bu örnekte eş zamanlı çalışan StyleGAN 2 ADA modelinin yine eş zamanlı bir şekilde etkilediği sistemin çalışır halini görebiliriz. 2018 yılında NVIDIA GamesCom iş birliğinden beri kullandığımız 'VVVV ve raytracing' araştırması sonucu bunu gerçekleştirebildik. 5/7 🧵
3
8
251
Son adımda ise VVVV ile ses analizlerini, GAN modelini ve projeye özel geliştirdiğimiz eş zamanlı çalışan akışkanlar dinamiği algoritmasını beraber kullanarak konser sırasında zamana/mekana özgün yapay zeka veri heykelini hayata geçirdik. 6/7 🧵
3
9
244
Son olarak - lütfen bilgi sahibi olmadan fikir sahibi olmayalım. Bu linkten projede kullanılan TreeGAN yapay zeka modelini indirip sizler de projelerinizde kullanabilirsiniz. Teşekkürler! :) tinyurl.com/59ctvmd5 7/7 🧵
Translate Tweet
Replying to
Dosyalar yüklenmeye devam ediyor mu? Ya da ben mi yanlış dosya bekliyorum :) Şemayı gösteren görseller var, bir tür app de var mı linkte?
