bugün

llama

30 milyar veri kümesinden beslenen her ağırlık q2_k kuantizasyon seviyesiyle 2 bitlik formatta temsil edildiği için modelim aklını kaybetti:
https://www.youtube.com/shorts/aTo2wqkQ0jM

meğerse q4_k, q2_k den daha stabil çalışıyor, yazılanları daha iyi algılıyor ve daha nokta atışı yanıtlar veriyormuş!
© copyright 2005 - 2026