Tiny-vLLM

部分內容由機器翻譯

基於 C++ 和 CUDA 的高性能 LLM 推理引擎

Tiny-vLLM 以“Show HN：Tiny-vLLM——基於 C++ 和 CUDA 的高性能 LLM 推理引擎”為題在 Hacker News 上發佈。該項目獲得了 205 分，並受到社區的熱烈好評。