GitHub · 灵魂体仓库·· 18 天前AI 评分77
SharpAI 发布 SwiftLM：原生 Swift 的 MLX 推理服务器，兼容 OpenAI API
SharpAI/SwiftLM
来源与原文
GitHub · 灵魂体仓库
发布时间：（北京时间）
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/SharpAI/SwiftLM
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
SharpAI 开源了 SwiftLM，一个原生 Swift 编写、面向 Apple Silicon 的 MLX 模型推理服务器，提供严格 OpenAI 兼容 API，无需 Python 运行时，编译为单一二进制文件。项目内置 TurboQuant KV 缓存压缩（约 3.6 bits/坐标，较 FP16 压缩约 3.5 倍）、NVMe SSD 专家流式加载（Qwen3.5-122B 上提速约 10 倍）、投机解码与 MTP，支持 VLM 和音频模型，并附 iOS 端 SwiftBuddy 应用。
来源：GitHub · 灵魂体仓库 · github.com