跳到正文
我的
Reddit · r/LocalLLaMA· /u/Loginhe·· 3 天前同新闻AI 评分74

ISTA 发布 DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder:每参数 1 bit 的 763B 剪枝量化版

[Release] ISTA DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder: a 763B model at 1 bit per parameter

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Loginhe

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xlys6k/release_ista_deepseekv41flash1017_gsqrco_coder_a/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

ISTA 深度算法与系统实验室发布了 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO Coder 量化版,每层 384 个 routed experts 剪掉一半,按原模型计约每参数 1 bit。GSQ 用 Gumbel-Softmax 联合学习网格分配和组缩放,RCO 以每层硬预算选择保留专家。保留的 280.1B 参数平均 2.06 bit,transformer 权重 72.1 GB 对比未剪枝 IQ2_XXS 的 138.2 GB;LiveCodeBench v6 得 88.57(保留 98.7%),SWE-bench Verified 得 77.00(保留 94.8%)。GGUF 需 llama.cpp b11870 或更新版本运行,这是实验性发布。

同一新闻,精选展示《ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder 压缩版 GGUF,剪掉一半专家后仅 1.05 bpw》

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。