Reddit · r/LocalLLaMA· /u/fechyyy·· 21 天前精选AI 评分59
21M 模型外挂 6.4B 参数查找表，效果匹敌 114M 稠密模型
I gave a 21M model a 6.4B-parameter lookup table. It matches a 114M dense model and runs with the table on an SSD (RX 9070)
来源与原文
Reddit · r/LocalLLaMA
作者：/u/fechyyy
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1wz7tvs/i_gave_a_21m_model_a_64bparameter_lookup_table_it/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
一位 Reddit 用户公开了业余研究项目：给 21M 模型外挂 16.8M 行、共 6.4B 参数的学习向量查找表，每 token 只读 33M 参数，效果与同在 500M Wikipedia tokens 上训练的 114M 稠密模型相当。
推荐理由
作者公开了完整代码、模型和失败记录，还给出 SSD 内存映射下 140 tok/s 的实测数据，可复现成本仅约 70 美元。
来源：Reddit · r/LocalLLaMA · reddit.com