hidream

Vivago AI tarafından geliştirilen HiDream, LLaMA 3.1 8B omurgasına sahip bir Difüzyon Transformatörü (DiT) mimarisi üzerine kurulu, 17B parametreli bir görüntü oluşturma modelidir. Tasarımı Flux'a benzer olup, çok modlu bilgileri işlemek için 16 katman için Çok Modlu Difüzyon Transformatörü (MMDiT) ve ardından genel tutarlılığı optimize etmek için 32 katman için DiT kullanır. HiDream, ileri Beslemeli Ağ (FFN) alt ağında, verimliliği ve performansı artırmak için birden fazla uzmandan yararlanan bir Uzman Karışımı (MoE) yaklaşımını birleştirir. Bu hibrit yaklaşım, HiDream'in hızlı uyumluluk ve ayrıntılı işlemede mükemmelleşmesini sağlayarak genellikle diğer modellere göre daha hızlı doğruluk sağlar. Ancak, LLaMA'ya olan bağımlılığı, lisanslama kısıtlamaları getirerek, Flux'ın daha esnek lisansına kıyasla ince ayar esnekliğini sınırlar.