← Ana Sayfa

vllm-project/vllm

Python ⭐ 95.5k 🍴 24.0k 🔥 +1.4k this week

Orijinal Aciklama

A high-throughput and memory-efficient inference and serving engine for LLMs

📄 Apache-2.0
Lisans
9.4k
Açık Issue
24 gün önce
Son Commit
606
İzleyici
amdblackwellcudadeepseekdeepseek-v3gptgpt-ossinference

🤖 AI Analizi (Turkce)

vLLM, yüksek hız ve hafıza verimliliği ile LLM'lerin çıkarımını ve hizmetini sağlayan bir kütüphanedir. Özellikle büyük dil modellerinin hızlı ve verimli bir şekilde çalıştırılması için tasarlanmıştır. vLLM, çeşitli hızlandırma teknikleri ve donanım desteği ile dikkat çekmektedir.

🎯 Hedef Kitle: Yapay zeka ve makine öğrenimi geliştiricileri, büyük dil modeli araştırmacıları ve bulut bilişim uzmanları

TEMEL OZELLIKLER

  • PagedAttention ile dikkat anahtarı ve değer hafızasının verimli yönetimi
  • Sürekli gruplama, parçalı ön doldurma, önek önbelleği
  • Parçalı ve tam CUDA/HIP grafikleriyle hızlı ve esnek model yürütme
  • Otomatik çekirdek oluşturma ve grafik düzeyinde dönüşümler
  • OpenAI uyumlu API sunucusu ve Anthropic Messages API desteği

💡 Kullanım Örneği

Bir bulut bilişim uzmanı, vLLM'yi kullanarak büyük bir dil modelini hızlı ve verimli bir şekilde dağıtabilir. Örneğin, müşteri hizmetleri sohbetbotları için kullanılan bir dil modelini vLLM üzerinde çalıştırarak, yüksek hız ve düşük gecikme süreleri elde edebilir.

📊 Trend Gecmisi

2026-10-26 Haftalik #12 ⭐ 95.5k
2026-10-25 Haftalik #13 ⭐ 95.4k
2026-10-22 Gunluk #9 ⭐ 95.0k
2026-10-21 Gunluk #13 ⭐ 94.5k

🔗 Benzer Projeler

anthropics/skills

Public repository for Agent Skills

Python197.3k
sherlock-project/sherlock

Hunt down social media accounts by username across social networks

Python114.2k
ZhuLinsen/daily_stock_analysis

LLM 驱动的多市场股票智能分析系统:多源行情、实时新闻、决策看板与自动推送,支持零成本定时运行。 LLM-powered multi-market stock…

Python73.4k
mvanhorn/last30days-skill

AI agent skill that researches any topic across Reddit, X, YouTube, HN, Polymark…

Python70.2k
HKUDS/DeepTutor

DeepTutor: Lifelong Personalized Tutoring. https://deeptutor.info/.

Python60.6k
GitHub'da Gor →

💬 Yorumlar