Reddit · r/LocalLLaMA· /u/stevyhacker·· 14 天前精选AI 评分58
LokalBot 开源:基于 Gemma 4 E2B 的会议笔记补全桌面应用
Built an open-source Cotypist/Granola hybrid: autocomplete on Gemma 4 E2B (~50 ms/suggestion on M4 Max) using your own meeting notes as context
来源与原文
Reddit · r/LocalLLaMA
作者:/u/stevyhacker
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x4x5km/built_an_opensource_cotypistgranola_hybrid/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/stevyhacker 发布开源桌面应用 LokalBot,用本地会议笔记作上下文为打字补全和听写补充信息,AGPL-3.0 协议免费。实测 Gemma 4 E2B base Q6_K 经 llama.cpp 进程内运行约 50 ms/建议(M4 Max),与 CoTabby 在相同输入和权重下对比,精确下一词命中 32.7% 对 30.7%(+2.0 点,95% 区间 0.0 到 +4.0)。代码在 https://github.com/stevyhacker/lokalbot,作者称 UX 仍在打磨并征集反馈。
推荐理由
作者用 782 个 checkpoint 与同类闭源工具做了同权重对照测试,给出精确下一词命中率差异和延迟数字,可迁移到本地小模型选型。
来源:Reddit · r/LocalLLaMA · reddit.com