GitHub · 灵魂体仓库·· 1 小时前精选AI 评分57
Sofuu 发布 AI 专用 JS/TS 运行时,单二进制集成本地推理、Agent 与加密向量记忆
sofuu-runtime/sofuu
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/sofuu-runtime/sofuu
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Sofuu 开源了一个 AI 专用通用 JavaScript/TypeScript 运行时,把本地 LLM 推理、自主 Agent 循环、加密向量记忆 CMA v2、MCP 和 HTTP 服务器整合进单个 4.8 MB 二进制,无外部依赖。支持 GGUF、SafeTensors、PyTorch 等多格式,在 Apple M2 Pro 和 Raspberry Pi 5 上公布了与 llama.cpp 对比的逐项推理速度实测表,其中 Qwen3-0.6B 在 Pi 5 上 prefill 快约 11%。引擎 MIT 开源,仅 QTSQ 记忆格式规范保持专有,目前 macOS 提供预编译二进制,项目由 Haruhito 独立开发中。
推荐理由
作者给出了在 M2 Pro 和树莓派 5 上与 llama.cpp 对比的具体速度数据和测试条件,可据此评估这个单二进制运行时的实际推理性能。
来源:GitHub · 灵魂体仓库 · github.com