开发者发布本地推理聊天应用 imurun,自带 C++ FISH 引擎
热点事件历史事件
开发者发布本地推理聊天应用 imurun,自带 C++ FISH 引擎
1 篇报道1 个报道来源13 天前更新
先了解这件事
AI 综述
开发者 shubham001312 在 GitHub 发布了 imurun,一个本地优先的 AI 聊天应用,可通过 pip 或 npm 安装,支持 Windows、macOS 和 Linux,采用 MIT 许可。其核心是用 C++ 编写的 FISH 推理引擎,在 CPU 上运行 GGUF 模型,无需云端。 FISH 引擎目前仅在 Windows x64、Linux x64(glibc 2.28+)和 macOS arm64 的预编译包中附带,其他平台通过 pip 安装时不含该引擎;应用需要 Python 3.11–3.14。引擎目前尚无 GPU 支持,技术特点包括内存映射权重、int8 量化激活值配合 AVX2 整数点积、KV prefix 缓存,支持 llama、qwen2/qwen3、phi3、gemma2 等模型架构。安全方面仅绑定 loopback、使用 per-run bearer token 和严格 CSP。
AI 根据报道生成 · 2 天前更新
最新进展11月10日 00:48
imurun 发布本地优先 AI 聊天工具,自带 C++ FISH 推理引擎报道时间线
沿着报道,了解事件的不同侧面。
11月10日
- GitHub · 去对齐工具与仓库精选imurun 发布本地优先 AI 聊天工具,自带 C++ FISH 推理引擎
shubham001312 发布了 imurun,一个本地优先的 AI 聊天应用,通过 pip 或 npm 安装,支持 Windows、macOS 和 Linux。其 C++ FISH 引擎在 CPU 上运行 GGUF 模型,内存映射权重、激活值按 matmul 量化为 int8 并使用 AVX2 整数点积,内置 KV prefix 缓存和结构化 chat 模板防注入;支持 llama、qwen2/qwen3、phi3、gemma2 等架构,尚无 GPU 支持。安全方面仅绑定 loopback、使用 per-run bearer token、严格 CSP,MIT 许可。