Tiny-vLLM

部分内容由机器翻译

基于 C++ 和 CUDA 的高性能 LLM 推理引擎

Tiny-vLLM 以“Show HN：Tiny-vLLM——基于 C++ 和 CUDA 的高性能 LLM 推理引擎”为题在 Hacker News 上发布。该项目获得了 205 分，并受到活跃社区的广泛好评。