GitHub · 灵魂体仓库·· 3 天前精选AI 评分64
Grillcheese-AI 开源 CubbyLLM 架构并发布自研 450M 模型 base450m
Grillcheese-AI/CubbyLLM
来源与原文
GitHub · 灵魂体仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/Grillcheese-AI/CubbyLLM
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
Grillcheese-AI 开源 CubbyLLM,一个八层架构项目,语言模型被刻意做成最小、可替换的一层,每句回答都是 VM 针对事实库执行的程序或带理由的拒绝,用构造而非判断保证诚实。项目同步发布自研 450M 混合模型 base450m(MinGRU + 窗口注意力,bbpe128k 分词器,约 4B token 预训练,经 Vulkan 运行于 grilly2),并给出算术步进(单次通过 5.5% 提升)、qFHRR n-gram 记忆、800 题验证管线 0.718 覆盖且精度 1.000、SimpleQA 与百科 OCR 等大量实测数字,每个数字对应 validation/logs 中的日志。
推荐理由
原文给出可复现的验证实验与指标,把语言模型降为可替换一层、由 VM 仲裁每个回答的架构做法有可迁移的参考价值。
来源:GitHub · 灵魂体仓库 · github.com