Mixtral

Mixtral, Mistral AI'nın 2023'te yayımladığı MoE mimarisine sahip dil modelidir. Toplam parametre sayısı yüksek olsa da her tahminde yalnızca birkaç uzman aktif olduğu için verim ve hız avantajı sunar. Açık ağırlıklı modeller arasında MoE yaklaşımının pratik gücünü gösteren ilk büyük örnektir; Llama 3 ve DeepSeek V3 gibi rakiplerin de aynı yöne yatırım yapmasını teşvik etti. Ollama, OpenRouter ve Replicate gibi platformlar üzerinden geliştiriciler için kolayca erişilebilir kaldı.