Rıfkı-V3 Teknik Raporu

Rıfkı-V3, token başına 37B aktif parametreye ve toplam 671B parametreye sahip güçlü bir Uzmanlar Karışımı (MoE) dil modelidir. DeepSeek-V3 mimarisinden ilham alan Rıfkı, ekonomik eğitim maliyetlerini korurken yüksek performanslı çıkarım (inference) elde etmek için Multi-head Latent Attention (MLA) ve DeepSeekMoE mimarilerini benimser. FP8 karma hassasiyetli eğitimin kullanılması modeli daha da stabilize eder.

Rıfkı model mimarisi, ölçekte verimlilik için kilit optimizasyonlarla Transformer altyapısı üzerine inşa edilmiştir.

Transformer modellerindeki geleneksel Key-Value (KV) önbellekleme önemli miktarda bellek tüketir. Rıfkı, KV önbelleğini sıkıştırmak için MLA teknolojisini kullanır ve üretim sırasında bellek ek yükünü önemli ölçüde azaltarak 128K token'a kadar daha uzun bağlam pencerelerine izin verir.

Her token için tüm parametreleri etkinleştirmek yerine, Rıfkı sadece en ilgili uzmanları seçmek için bir MoE yönlendiricisi kullanır. Bu, her token için 671B toplamın sadece 37B parametresinin aktif olmasını sağlayarak, yoğun (dense) modellere kıyasla hesaplama maliyetini %90 oranında azaltır.

Rıfkı-V3, MMLU, GSM8K ve HumanEval dahil olmak üzere standart kıyaslamalarda titizlikle test edilmiştir.

Rıfkı, OpenAI uyumlu bir API uç noktası sağlar.

Rıfkı\'yı vLLM veya SGLang gibi standart çıkarım motorlarını kullanarak yerel olarak çalıştırabilirsiniz.

Araştırmanızda Rıfkı\'yı kullanırsanız, lütfen alıntı yapın: