Orijinal Aciklama
DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm
🤖 AI Analizi (Turkce)
DwarfStar, yerel makinelerde DeepSeek V4 Flash ve PRO modellerini çalıştıran küçük ve optimize edilmiş bir çıkarım motorudur. Metal, CUDA ve ROCm gibi farklı arka uçları destekler ve özellikle 128 GB dizüstü bilgisayarlar ve 512 GB iş istasyonları için tasarlanmıştır. Model desteği sınırlı ve fırsatçıdır, yani en iyi açık ağırlık modellerini destekler.
🎯 Hedef Kitle: Yapay zeka ve makine öğrenimi geliştiricileri, özellikle yerel makinelerde büyük dil modellerini çalıştıranlar
TEMEL OZELLIKLER
- DeepSeek V4 Flash ve PRO desteği
- Metal, CUDA ve ROCm arka uç desteği
- SSD akışı ile düşük RAM'li makinelerde çalışma desteği
- Çoklu GPU desteği
💡 Kullanım Örneği
Bir şirket, eski CUDA kartları olan bir sunucuyu, bu yazılımı kullanarak çok kullanıcılı bir LLM sunucusuna dönüştürebilir. Örneğin, 8xL40S NVIDIA kartı ile 120 t/s toplu üretim ve 2000 t/s ön doldurma elde edebilirler.
📊 Trend Gecmisi
🔗 Benzer Projeler
Run frontier MoE models on hardware you already own — pure C, zero deps, experts…
Run frontier MoE models on hardware you already own — pure C, zero deps, experts…
Run frontier MoE models on hardware you already own — pure C, zero deps, experts…
Graphics Creation Tools
Graphics Creation Tools