ISTA 发布 DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder:每参数 1 bit 的 763B 剪枝量化版
[Release] ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder: a 763B model at 1 bit per parameter
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Loginhe
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xlys6k/release_ista_deepseekv41flash1017_gsqrco_coder_a/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
ISTA 深度算法与系统实验室发布了 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO Coder 量化版,每层 384 个 routed experts 剪掉一半,按原模型计约每参数 1 bit。GSQ 用 Gumbel-Softmax 联合学习网格分配和组缩放,RCO 以每层硬预算选择保留专家。保留的 280.1B 参数平均 2.06 bit,transformer 权重 72.1 GB 对比未剪枝 IQ2_XXS 的 138.2 GB;LiveCodeBench v6 得 88.57(保留 98.7%),SWE-bench Verified 得 77.00(保留 94.8%)。GGUF 需 llama.cpp b11870 或更新版本运行,这是实验性发布。
同一新闻,精选展示《ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder 压缩版 GGUF,剪掉一半专家后仅 1.05 bpw》
来源:Reddit · r/LocalLLaMA · reddit.com
这条消息,你怎么看?
把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。