GitHub · 去对齐工具与仓库·· 19 天前AI 评分29
aruaru-llm:Rust 实现的本地 LLM 推理项目,持续接入 DeepSeek MLA、Qwen 与重复惩罚机制
aon-co-jp/aruaru-llm
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/aon-co-jp/aruaru-llm
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
GitHub 项目 aruaru-llm 更新了多项推理功能:open-cuda 侧实现 DeepSeekMoE(共享专家+top-k 路由)与 DeepSeek-V2/V3 MLA 架构,其中 15.7B 参数模型尚未实机验证;Qwen2/Qwen2.5 支持已在 Qwen2.5-0.5B-Instruct 上实机验证。默认启用 CTRL 式重复惩罚(ARUARU_LLM_REPETITION_PENALTY,默认 1.3),实测可解决 GPT-2 124M 无限循环退化问题。MLA KV cache 压缩(GPT-2 上 head_dim=64→d_c=16,减少 75%)为可选开关,因随机初始化投影矩阵导致生成质量明显下降而默认关闭。
来源:GitHub · 去对齐工具与仓库 · github.com