Snips ist eine KI-Sprachassistenz-Plattform, die zu 100 % geräteintern und datenschutzkonform ist.
Lokale LLM-Runner, KI-Code-Assistenten, Inferenz-Engines und RAG-Pipelines.
Snips ist eine KI-Sprachassistenz-Plattform, die zu 100 % geräteintern und datenschutzkonform ist.
Erste Schritte mit großen Sprachmodellen auf Ihrem Rechner
“Wir wollten, dass die Nutzung lokaler LLMs genauso mühelos ist wie das Ausführen eines Docker-Containers.”
LLMs auf Ihrem Mac ausführen
Llama2-Embeddings-FastAPI-Server
Eine KI-Web-App im Stil von „Be My Eyes“ mit einem „lama.cpp“-Backend
Open-Source-DocumentAI mit Ollama
Ollama für Echtzeit-Sprach-zu-Text-Umwandlung
Ollama für Smartphones
Einige blinde Hacker stellen eine Verbindung zwischen dem IRC und lokal ausgeführten LMMs her
LLaMa 3.1 auf Google Cloud TPUs trainieren
Lokaler Sprachassistent mit Ollama, Transformers und dem Coqui-TTS-Toolkit
Ich habe Apple Notes um die Unterstützung lokaler LLMs erweitert (über Ollama)
lokale LLM-Chrome-Erweiterung
Korrektur von OCR-Fehlern mit LLama2
Open-Source-Lastverteiler für llama.cpp
Lokaler LLM-Benchmark
Ich habe ein 125M-Modell trainiert, um Klaviernoten auf dem Gerät automatisch zu vervollständigen.
Machen Sie sich vor dem Kauf der Hardware ein Bild davon, wie schnell ein lokales LLM läuft.
Finden Sie den besten lokalen LLM für Ihre Hardware, sortiert nach Benchmark-Ergebnissen
Ollama für klassische ML-Modelle – 336-mal schneller als Python
Hochleistungsfähige LLM-Inferenz-Engine in C++ und CUDA
Binärdatei, die GGUF-Modelle über Vulkan auf AMD/Intel/Nvidia ausführt
OSS-Sprachdiktat direkt auf dem Gerät für macOS – kein Modell zum Herunterladen erforderlich
Quantisieren Sie ein beliebiges Modell, damit es auf Ihrem Rechner läuft
Audio ausschneiden durch Auswahl von Text, vollständig auf dem Gerät
Ein 40-MB-GPU-Cluster-Manager für vLLM/SGLang, kein K8s erforderlich