← Ana Sayfa

jundot/omlx

Python ⭐ 13.4k 🍴 1.1k 🔥 +185 today

Orijinal Aciklama

LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar

📄 Apache-2.0
Lisans
326
Açık Issue
2 ay önce
Son Commit
79
İzleyici
apple-siliconinference-serverllmmacosmlxopenai-api

🤖 AI Analizi (Turkce)

oMLX, Apple Silicon tabanlı Mac'ler için optimize edilmiş bir LLM (Büyük Dil Modeli) çıkarım sunucusudur. Sürekli gruplama ve çok seviyeli KV (Anahtar-Değer) önbelleği özellikleri sayesinde, kullanıcılar modelleri doğrudan menü çubuğundan yönetebilirler. Bu özellikler, özellikle yerel LLM'lerin pratik kodlama işleri için kullanılmasını sağlar.

🎯 Hedef Kitle: Apple Silicon tabanlı Mac kullanıcıları, özellikle geliştiriciler ve yapay zeka araştırmacıları

TEMEL OZELLIKLER

  • Sürekli gruplama
  • Çok seviyeli KV önbelleği
  • Menü çubuğundan yönetim
  • Apple Silicon desteği

💡 Kullanım Örneği

Bir yazılım geliştiricisi, oMLX'i kullanarak yerel bir LLM sunucusunu yönetebilir ve doğrudan menü çubuğundan modelleri kontrol edebilir. Bu, özellikle kodlama işlerinde yerel LLM'leri kullanmak isteyen geliştiriciler için yararlı olabilir. Örneğin, bir geliştirici, oMLX'i kullanarak bir kodlama asistanı oluşturabilir ve doğrudan menü çubuğundan yönetebilir.

📊 Trend Gecmisi

2026-05-11 Gunluk #6 ⭐ 13.4k

🔗 Benzer Projeler

ComposioHQ/awesome-claude-skills

A curated list of awesome Claude Skills, resources, and tools for customizing Cl…

Python70.1k
usestrix/strix

Open-source AI penetration testing tool to find and fix your app’s vulnerabiliti…

Python44.0k
rohitg00/ai-engineering-from-scratch

Learn it. Build it. Ship it for others.

Python43.2k
calesthio/OpenMontage

World's first open-source, agentic video production system. 12 production pipeli…

Python42.0k
shiyu-coder/Kronos

Kronos: A Foundation Model for the Language of Financial Markets

Python33.5k
GitHub'da Gor →

💬 Yorumlar