jundot/omlx

Python ⭐ 13.4k 🍴 1.1k 🔥 +185 today

Orijinal Aciklama

LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar

📄 Apache-2.0

Lisans

326

Açık Issue

15 gün önce

Son Commit

İzleyici

apple-siliconinference-serverllmmacosmlxopenai-api

🤖 AI Analizi (Turkce)

oMLX, Apple Silicon tabanlı Mac'ler için optimize edilmiş bir LLM (Büyük Dil Modeli) çıkarım sunucusudur. Sürekli gruplama ve çok seviyeli KV (Anahtar-Değer) önbelleği özellikleri sayesinde, kullanıcılar modelleri doğrudan menü çubuğundan yönetebilirler. Bu özellikler, özellikle yerel LLM'lerin pratik kodlama işleri için kullanılmasını sağlar.

🎯 Hedef Kitle: Apple Silicon tabanlı Mac kullanıcıları, özellikle geliştiriciler ve yapay zeka araştırmacıları

TEMEL OZELLIKLER

Sürekli gruplama
Çok seviyeli KV önbelleği
Menü çubuğundan yönetim
Apple Silicon desteği

💡 Kullanım Örneği

Bir yazılım geliştiricisi, oMLX'i kullanarak yerel bir LLM sunucusunu yönetebilir ve doğrudan menü çubuğundan modelleri kontrol edebilir. Bu, özellikle kodlama işlerinde yerel LLM'leri kullanmak isteyen geliştiriciler için yararlı olabilir. Örneğin, bir geliştirici, oMLX'i kullanarak bir kodlama asistanı oluşturabilir ve doğrudan menü çubuğundan yönetebilir.