Reddit · r/LocalLLaMA· /u/Illustrious-Fig-2280·· 16 天前AI 评分38
网友从零训练 102M 递归 BitNet-v2 模型：64K 上下文，仅用不到 5B tokens
I trained a 102M recursive BitNet-v2 model from scratch: 64K context, trained on less than 5B tokens
来源与原文
Reddit · r/LocalLLaMA
作者：/u/Illustrious-Fig-2280
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x34nyx/i_trained_a_102m_recursive_bitnetv2_model_from/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
Reddit r/LocalLLaMA 用户从零训练并开源了 Recursive BitNet N-Gram 102M 模型，结合三值权重、共享 Transformer 层和哈希 n-gram 嵌入，训练总成本约 100 欧元，处理不到 5B tokens，支持 65,536-token 上下文。模型含 102.28M 独特参数，六个 Transformer 块共享权重运行两次；lm-eval zero-shot 基准平均分 40.59%，ARC-Easy 为 40.11%。权重、推理代码和评测结果已在 Hugging Face 发布，含 409.14MB FP32 主权重和 124.24MB 打包导出。
来源：Reddit · r/LocalLLaMA · reddit.com