Snips — это платформа голосового помощника на базе искусственного интеллекта, которая на 100 % работает на устройстве и обеспечивает конфиденциальность
Локальные LLM, ИИ-ассистенты для кода, движки инференса и RAG.
Snips — это платформа голосового помощника на базе искусственного интеллекта, которая на 100 % работает на устройстве и обеспечивает конфиденциальность
Get up and running with large language models locally
“We wanted local LLMs to feel as effortless as running a Docker container.”
Run LLMs on your Mac
Llama2 Embeddings FastAPI Server
An AI "Be My Eyes"-like web app with a llama.cpp backend
DocumentAI с открытым исходным кодом на базе Ollama
Ollama для преобразования речи в текст в режиме реального времени
Ollama для смартфонов
Некоторые слепые хакеры налаживают соединение между IRC и локально запущенными LMM
Настройка LLaMa 3.1 на TPU в Google Cloud
Локальный голосовой помощник на базе Ollama, трансформеров и инструментария Coqui TTS
Я добавил поддержку локальных LLM в приложение «Заметки» от Apple (с помощью Ollama)
локальное расширение LLM для Chrome
Использование LLama2 для исправления ошибок OCR
Балансировщик нагрузки с открытым исходным кодом для llama.cpp
Местный тест производительности LLM
Я обучил модель размером 125M для автозаполнения нот для фортепиано прямо на устройстве
прежде чем покупать оборудование, оцените, насколько быстро работает локальный LLM
Найдите лучшую локальную систему LLM для вашего оборудования, отсортированную по результатам тестов производительности
Ollama для классических моделей машинного обучения — в 336 раз быстрее, чем Python
высокопроизводительный движок инференции LLM, написанный на C++ и CUDA
Бинарный файл Go, запускающий модели GGUF через Vulkan на платформах AMD, Intel и Nvidia
OSS — встроенная функция голосовой диктовки для macOS, не требующая загрузки модели
Оптимизируйте любую модель для работы на вашем компьютере
Вырезание аудио с помощью выделения текста — полностью на устройстве
Менеджер кластера графических процессоров объемом 40 МБ для vLLM/SGLang, не требующий K8s