ALIMT Snips はAI音声アシスタントプラットフォーム100% オンデバイスおよびプライベート
ローカルLLM実行基盤、AIコードアシスタント、推論エンジン、RAGパイプライン。
ALIMT Snips はAI音声アシスタントプラットフォーム100% オンデバイスおよびプライベート
大規模言語モデルをローカル環境で立ち上げて運用を開始する
“We wanted local LLMs to feel as effortless as running a Docker container.”
Llama2 Embeddings FastAPI Server
An AI "Be My Eyes"-like web app with a llama.cpp backend
Local voice assistant using Ollama, transformers and Coqui TTS toolkit
I added local LLM support to Apple Notes (through Ollama)
Using LLama2 to Correct OCR Errors
Open-source load balancer for llama.cpp
ハードウェアを購入する前に、ローカルLLMがどれほど高速に動作するかを確認してください
ベンチマーク結果に基づいてランク付けされた、お使いのハードウェアに最適なローカルLLMを見つけましょう
AMD/Intel/Nvidia上でVulkanを介してGGUFモデルを実行するGoバイナリ
vLLM/SGLang向けの40 MB GPUクラスタマネージャー。K8sは不要