로컬 LLM 실행기, AI 코드 어시스턴트, 추론 엔진 및 RAG 파이프라인.
로컬 환경에서 대규모 언어 모델을 바로 사용해 보세요
“우리는 지역 기반 LLM을 Docker 컨테이너를 실행하는 것만큼이나 간편하게 사용할 수 있게 하고 싶었습니다.”
Llama2 Embeddings FastAPI Server
An AI "Be My Eyes"-like web app with a llama.cpp backend
Ollama, 트랜스포머 및 Coqui TTS 툴킷을 활용한 지역 기반 음성 어시스턴트
Apple Notes에 (Ollama를 통해) 로컬 LLM 지원을 추가했습니다.
기기 내에서 피아노 자동 완성 기능을 구현하기 위해 125M 모델을 학습시켰습니다.
하드웨어를 구매하기 전에 로컬 LLM이 얼마나 빠르게 실행되는지 직접 확인해 보세요
AMD/Intel/Nvidia에서 Vulkan을 통해 GGUF 모델을 실행하는 Go 바이너리
텍스트를 선택하여 오디오를 잘라내세요. 모든 처리는 기기 내에서 이루어집니다.