wanx

Alibaba Cloud, ilk olarak Temmuz 2023'te piyasaya sürülen multimodal büyük model Tongyi Wanxiang'ın (Wanx) en son yinelemesi olan Wanx 2.1'i tanıttı. -Biren görsel içerik oluşturma.

Yeni model, karmaşık hareketleri doğru bir şekilde ele alarak, piksel kalitesini artırarak, fiziksel kurallara uyarak ve talimatın kesinliğinin hassasiyetini optimize ederek gerçekçi görseller üretmede mükemmeldir. Aşağıdaki talimatlardaki hassasiyeti, Wanx 2.1'i video üretken modeller için kapsamlı bir kıyaslama paketi olan VBENCH lider tablosunun tepesine itti. VBench'e göre, toplam puan%84.7 ile Wanx 2.1, dinamik derece, mekansal ilişkiler ve çok nesneli etkileşimler gibi anahtar boyutlarda liderlik ediyor.

Görsel üretim kalitesini en üst düzeye çıkarmak için Wanx 2.1'in arkasındaki araştırma ekibi birkaç cephede önemli teknoloji ilerlemesi sağladı: her şeyden önce, tescilli bir VAE (varyasyonel otoencoder) ve DIT (denoising difüzyon transformatörü) çerçevesini kullanarak Wanx 2.1, zamansal olarak güçlenmede mükemmeldir. ve uzamsal ilişkiler ve dolayısıyla, karmaşık hareket hareketi ve fiziksel kurallar içeren sahnelerle başa çıkmada daha yüksek görsel gerçekçilik elde etmek.

Tam bir uzay-zaman dikkat mekanizması kullanarak model, gerçek dünyanın karmaşık dinamiklerini dikkate değer bir doğrulukla taklit edebilir.