Ollama
مفتوح المصدرShow HN 2023
ابدأ في استخدام نماذج اللغة الكبيرة محليًّا
يجمع Ollama بين أوزان النماذج والتكوين وتسريع وحدة معالجة الرسومات (GPU) في أداة واحدة تعمل عبر واجهة الأوامر (CLI) تشبه Docker. وقد ساهم ذلك في إتاحة تشغيل نماذج اللغة الكبيرة (LLMs) مثل Llama 3 محليًّا للجميع.
92التقييم
- الإشارات
- 2,680
- المشاركون
- 1,720
- إيجابي
- 97%
إجماع ورؤى مجتمع Hacker News
ملخّص من نقاشات المطورين والمجتمع عبر سنوات عديدة.
لماذا يحبه المطورون
- الأمر بسيط للغاية: `ollama run llama3` يعمل ببساطة مع تسريع وحدة معالجة الرسومات (GPU)
- تجعل نقطة نهاية واجهة برمجة التطبيقات (API) المحلية المتوافقة مع OpenAI عملية التكامل أمراً في غاية السهولة
- التكمية التلقائية وإدارة الذاكرة
الاعتبارات والمفاضلات
- التحكم في تجميع المجموعات أقل دقة مقارنةً بـ vLLM الأصلي أو llama.cpp
مثالي لـ: المطورون الذين يعملون على إنشاء تطبيقات خاصة في مجال الذكاء الاصطناعي دون الاعتماد على واجهات برمجة التطبيقات السحابية.
يُقارن كثيراً مع
اقتباسات ونقاشات حقيقية من Hacker News
تعليقات حقيقية ومباشرة من مطورين ومهندسين مستقلين.
@jmorganca•١٣/٧/٢٠٢٣
المنشور الأصلي ↗سلسلة النقاش: عرض HN: Ollama – تشغيل Run Llama 2 محليًّا
“أردنا أن يكون استخدام نماذج اللغة الكبيرة (LLM) المحلية أمرًا سهلاً تمامًا مثل تشغيل حاوية Docker.”