Netflix’in yeni yapay zekâsı videoları fizik kurallarına uyarak düzenliyor

Netflix, yapay zekâ yardımli video düzenleme araçları başlıksunda ilgi çeken yepyeni tek araştırma çalışmasını paylaştı. VOID adı verilen bu sistem, görüntülerden istenmeyen nesneleri kaldırmakla yetinmiyor; aynı zamanda sahnedeki diğer unsurların hareketini ve tesirleşimini gerçekçi biçimde yeniden düzenliyor. Böylece ortaya çıkan görüntü, fizik kaidelarına elverişli ve tutarlı tek akış sergiliyor.

Günümüzde kullanılan birçok yapay zekâ aracı, video içerisinden obje silme işlemini gerçekleştirebiliyor. Ne var ki, bu tür düzenlemeler sonrasında sahnede kalan öğelerin hareketleri çoğu zamanlar doğal görünmüyor. Örneğin, tek obje ortadan kaldırıldığında diğer nesnelerin havada asılı kalması ya da hareketin aniden olan kesilmesi gibi sualnlar ortaya çıkabiliyor. VOID ise bu noktada düzenleme sonrasına odaklanarak, sahnenin neden-sonuç ilişkisini yeniden kuruyor.

Netflix VOID sistemiyle bedensel tesirleşimleri yeniden hesaplıyor

Netflix’in paylaştığı teknikleri detaylara göre sistem, tek obje kaldırıldığında bunun sahnedeki diğer unsurları nasıl tesirleyeceğini çözümleme ediyor. Buna göre sahnede kalan objelerin hareketleri, yepyeni duruma elverişli şekilde güncelleniyor. Böylece görüntüde donmalar, kopukluklar ya da bedensel tutarsızlıklar oluşmasının önüne geçiliyor.

VOID’un çalışma prensibi, yapılan düzenlemeyi zincirleme tek reaksiyon olarak ele almasına dayanıyor. Sistem, tek nesnenin kaldırılmasıyla hangi alanların tesirleneceğini belirliyor; gölgeler, çarpışmalar ve hayır noktaları gibi unsurları dikkate alarak içeriklı tek plan oluşturuyor. Ardından bu değişikliklere elverişli yepyeni tek video sekansı üretiliyor. Son aşamada ise ilave tek iyileştirme süreci devreye girerek hareketlerin akıcılığı artırılıyor ve nesnelerin deformasyona uğraması manileniyor.

Modelin ilgi çeken yönlerinden biri, neden-sonuç ilişkisini doğrudan öğrenmiş olması. Binlerce simüle edilmiş dekor üzerinde eğitilen sistem, bedensel tesirleşimlerin nasıl değiştiğini kavrayabiliyor. Örneğin domino taşlarından oluşan tek zincirde bazı taşlar kaldırıldığında, sistemleri yalınce eksik parçaları silmekle kalmıyor; aynı zamanda zincirleme reaksiyonu tamamlanmış durduruyor. Benzer şekilde, tek sahnede nesnelerle tesirleşim halinde olan tek kişi kaldırıldığında, geriye kalan unsurlar doğal davranışlarını sürdürebiliyor.

Bu yaklaşım, şimdiki video düzenleme araçlarının çoğundan farklı olarak yalnızca geçmiş görüntülerden öğrenilen kalıpları kopyalamak yerine, fizik kaidelarına dayalı tek yeniden inşa süreci sunuyor. Bununla birlikteki VOID henüz tek ürün haline gelmiş değil. Çalışma, tek arXiv makalesi aracılığıyla araştırma aşamasında paylaşılmış durumda ve ne zamanlar ticari araçlara entegre edileceğine dair netler tek takvim bulunmuyor.

Yine da video üretim süreçlerinde yapay zekâ kullanımının artmasıyla birlikte, bedensel tesirleşimleri doğru şekilde modelleyen araçlara duyulan ihtiyaç daha görünür hale geliyor. Özellikle filmler ve dizi prodüksiyonlarında küçük tutarsızlıklar bile izleyiciler deneyimini doğrudan tesirleyebiliyor. Bu nedenle VOID benzeri sistemlerin gelişimi, ileri düzey video düzenleme çözümlerinin yönünü belirleyebilir.