← Ana Sayfa

kvcache-ai/ktransformers

Python ⭐ 19.0k 🍴 1.5k 🔥 +1.5k this week

Orijinal Aciklama

A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

📄 Apache-2.0
Lisans
469
Açık Issue
3 ay önce
Son Commit
119
İzleyici

🤖 AI Analizi (Turkce)

KTransformers, büyük dil modellerinin etkin çıkarımı ve ince ayarlanması için CPU-GPU heterojen hesaplamaya odaklanan bir araştırma projesidir. Proje, kt-kernel kaynak ağacından iki kullanıcıya yönelik yetenek ortaya koyar: Çıkarım ve SFT (Supervised Fine-Tuning). KTransformers, çeşitli büyük dil modellerini destekler ve optimize edilmiş çıkarım ve ince ayarlama süreçleri sunar.

🎯 Hedef Kitle: Büyük dil modelleri ile çalışan yapay zeka araştırmacıları ve geliştiricileri

TEMEL OZELLIKLER

  • CPU-GPU heterojen hesaplama
  • Optimize edilmiş çıkarım ve ince ayarlama süreçleri
  • Çeşitli büyük dil modelleri desteği

💡 Kullanım Örneği

Bir yapay zeka araştırmacısı, KTransformers kullanarak büyük bir dil modelinin çıkarımını optimize etmek ister. Araştırmacı, KTransformers'ın CPU-GPU heterojen hesaplama özelliğini kullanarak modelin çıkarımını hızlandırır ve daha iyi performans elde eder.

📊 Trend Gecmisi

2026-07-25 Haftalik #13 ⭐ 19.0k
2026-07-24 Haftalik #12 ⭐ 19.0k
2026-07-21 Gunluk #12 ⭐ 18.8k
2026-07-20 Gunluk #9 ⭐ 18.4k

🔗 Benzer Projeler

anthropics/skills

Public repository for Agent Skills

Python197.3k
sherlock-project/sherlock

Hunt down social media accounts by username across social networks

Python114.2k
ZhuLinsen/daily_stock_analysis

LLM 驱动的多市场股票智能分析系统:多源行情、实时新闻、决策看板与自动推送,支持零成本定时运行。 LLM-powered multi-market stock…

Python73.4k
mvanhorn/last30days-skill

AI agent skill that researches any topic across Reddit, X, YouTube, HN, Polymark…

Python70.2k
HKUDS/DeepTutor

DeepTutor: Lifelong Personalized Tutoring. https://deeptutor.info/.

Python60.6k
GitHub'da Gor →

💬 Yorumlar