跳到正文
GitHub · 灵魂体仓库·· 3 天前精选AI 评分64

Grillcheese-AI 开源 CubbyLLM 架构并发布自研 450M 模型 base450m

Grillcheese-AI/CubbyLLM

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/Grillcheese-AI/CubbyLLM

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Grillcheese-AI 开源 CubbyLLM,一个八层架构项目,语言模型被刻意做成最小、可替换的一层,每句回答都是 VM 针对事实库执行的程序或带理由的拒绝,用构造而非判断保证诚实。项目同步发布自研 450M 混合模型 base450m(MinGRU + 窗口注意力,bbpe128k 分词器,约 4B token 预训练,经 Vulkan 运行于 grilly2),并给出算术步进(单次通过 5.5% 提升)、qFHRR n-gram 记忆、800 题验证管线 0.718 覆盖且精度 1.000、SimpleQA 与百科 OCR 等大量实测数字,每个数字对应 validation/logs 中的日志。

推荐理由

原文给出可复现的验证实验与指标,把语言模型降为可替换一层、由 VM 仲裁每个回答的架构做法有可迁移的参考价值。

来源:GitHub · 灵魂体仓库 · github.com