GitHub · 灵魂体仓库·· 18 天前精选AI 评分73
1Cat-vLLM 更名为 1Cat-LLM，为 Tesla V100 重构现代大模型推理
1CatAI/1Cat-vLLM
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/1CatAI/1Cat-vLLM
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
1CatAI 宣布 1Cat-vLLM 更名为 1Cat-LLM，将 NVIDIA Volta / SM70 / Tesla V100 作为一等优化目标，最新发布为 2026 年 10 月 3 日的 v1.5.1。4× V100-SXM2-32GB 上 Qwen3.8-27B-NVFP4 + DFlash2 演示约 260 tok/s，v1.5.1 相比 v1.5.0 在 32K 单请求解码从 49.04 提到 201.18 tok/s；长上下文 Attention 有效算力从 17.92 提升到约 60.8、最高 71 TFLOP/s。新 GGUF 支持带来更多社区量化模型选择，仓库含 MBPP/HumanEval、GSM8K 等质量门与完整基准契约。
推荐理由
同一代 V100 上靠软件栈重写把长上下文 Attention 有效算力从 17.92 提到约 60.8 TFLOP/s，对仍在用旧卡的部署者有直接参考价值。
来源：GitHub · 灵魂体仓库 · github.com