跳到正文
今天10月26日周一4 条
  1. Reddit · r/LocalLLaMA18

    Qwen3.8-Flash-Next 与 Swift-1.5 对比:用户求 Swift-1.5 过度思考改进的实测体验

    一位 r/LocalLLaMA 用户从 DSV4 Flash 0731 切换到 Qwen3.8-Flash-Next,表示效果好于预期,但该模型常做不必要的深度思考和信息获取,token 效率低导致体感偏慢。Swift-1.5 据称针对 Qwen 模型过度思考的倾向进行改进(可能因 RL 为 benchmark 刷分所致),发帖人正在征求同时用过两者的对比体验。

  2. GitHub · 去对齐工具与仓库52

    whale-companion:住进 QQ 私聊的陪伴 AI 机器人开源

    Talyra42 开源了 whale-companion,一个住进 QQ 私聊的陪伴机器人,带人设、记忆、表情包和主动消息,附 Windows 桌面控制台。记忆由最近 40 条原文加长期摘要构成,聊到 150 条自动压缩;技术栈为 Node.js、DeepSeek 模型与 QQ 官方机器人 API,桌面端用 Neutralino,AGPL-3.0-only 许可。

  3. GitHub · 灵魂体仓库58

    音乐制作人开源本地 AI Agent 工作台 Real,Rust 后端核验模型改动的每一轮

    音乐制作人 Azzrenz 在 GitHub 开源了 Windows 本地 AI Agent 工作台 Real(MIT 协议),从 2026 年 5 月底开始开发,六万六千行代码全部由 AI 生成。它以收敛循环推进任务,每轮把上下文交给模型表态,模型发工具调用就执行并带回执,给纯文本则收敛结束。设计上模型只做判断,后端核验事实,改动清单按 mtime 扫描生成、不由模型申报,长命令按进程退出码判定。实测缓存命中 94–98%、单任务 ¥0.06–0.09,同类任务第二轮轮次从 30 降到 16、成本降 33%。后端 Rust(Axum + SQLx + SQLite),桌面壳 Tauri 2 + React 18,内置 DeepSeek 与智谱 GLM,数据默认落 D:\RealData 不云同步。

  4. GitHub · 灵魂体仓库41

    autoNews:用 GitHub Actions 零成本自动生成前沿 AI 日报的开源项目

    GitHub 开源项目 autoNews 每天自动采集全球 AI 资讯,覆盖 11 个垂直领域,用大模型生成结构化解读并归档为飞书云文档,全程运行在 GitHub Actions 上,零服务器成本。项目支持 ArXiv、GitHub Trending 等多源采集,标注 [大厂/顶级机构] 等质量标记,可配置飞书或钉钉推送。模型接口任意 OpenAI 兼容服务均可,支持 DeepSeek、通义千问、智谱 GLM、OpenAI 等,每天北京时间 08:00 自动运行并跨天查重。

10月25日周日
  1. Hugging Face · 新模型:abliterated41

    Huihui-DeepSeek-V4.1-Flash-1017-abliterated GGUF 版本发布

    huihui-ai 基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 发布 abliterated 去审查版本,完全用 llama.cpp 的 GGUF 完成 abliteration,未依赖 Transformers。仅 abliterate 第 11 至 28 层(0 起始索引)的 18 个 attn_output_b 张量,专家系统未改动;UD 系列来自 unsloth 的 GGUF。模型安全过滤大幅降低,建议用于研究或受控环境,支持 262144 上下文长度。

  2. GitHub · 去对齐工具与仓库22

    TransLLM:开源 BYOK 浏览器 AI 翻译扩展,支持 DeepSeek、OpenAI 与本地 Ollama

    TransLLM 是一款 100% 直连、零追踪、自带 API Key(BYOK)的浏览器 AI 翻译扩展,支持 DeepSeek、OpenAI、Groq 及任意 OpenAI 兼容端点,还可离线接入本地 Ollama。它提供划词悬浮气泡和整页双语注入两种翻译模式,纯 JavaScript 实现体积小于 200KB,采用 Manifest V3 与 Shadow DOM 隔离,API Key 仅存于 chrome.storage.local。项目以 MIT License 开源,免费使用,只需支付 token 费用。

  3. Reddit · r/LocalLLaMA38

    月之暗面(Kimi)K3.1 Pro 与 DeepSeek 4.1 Flash 1017 对比:提升有限引 LocalLLaMA 网友讨论

    LocalLLaMA 网友认为 Kimi K3.1 Pro 的成绩相比 DeepSeek 4.1 Flash 1017 并没有明显提升。K3 量化的情况下仍很难在本地运行且速度慢,因为单个 token 要经过 104 个激活层;DeepSeek 4.1 Flash 1017 成绩接近、占用更小、速度更快。该网友因此打算继续用 4.1 Flash 1017,而对 11 月 4 日发布的 K3 Pro 开放权重持观望态度。

  4. GitHub · 灵魂体仓库33

    SilvioBaratto/optimizer:基于 skfolio 的组合优化 uv 工作区,含 LLM 智能体基金桥

    GitHub 上的 SilvioBaratto/optimizer 是一个由四个 Python 包组成的 uv 工作区,核心是纯 Python、基于 skfolio/scikit-learn 的组合优化库 portopt-core,无需 Docker 和数据库即可安装运行。工作区还包含定时拉取行情数据的 PostgreSQL 摄取守护进程、共享 DB 层,以及 portopt-fund 基金桥——由 LLM(默认 Ollama Cloud 上的 DeepSeek,可通过 LLM_PROVIDER 切换十个提供商)决策、优化器计算、模拟交易需经人工审批门控。项目要求 Python ≥ 3.12。

  5. Hugging Face · 新模型:uncensored56

    DeepSeek-V4.1-Flash-1017 的无对齐 FP8 权重版发布

    dealignai 发布了基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 的去拒绝版本 DeepSeek-V4.1-Flash-1017-UNCENSORED-FP8,仅做权重级 abliteration,不用量化、模板改写或系统提示注入。保留原生 FP8 e4m3 + FP4 专家、1M 上下文、多模态、工具调用与推理档位,与上游字节兼容可直接加载。自测 HarmBench-320 全部 320 条 COMPLY 无任何拒绝,MMLU 20×57 从 87.63% 降到 83.77%, Humanities 降幅最大达 -7.31 pp。附 4×H200 参考引擎运行方法与 SGLang 启动参数,仓库手动门控,MIT 许可。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布,HarmBench 320 题全部合规》

  6. Hugging Face · 新模型:abliterated72

    DeepSeek-V4.1-Flash-1017 去对齐版发布 GGUF 量化构建

    10exdev 发布 DeepSeek-V4.1-Flash-1017 去对齐(abliterated)版本的 GGUF 量化构建,提供 235.8 GB 的 Mix-256G 与 114.0 GB 的 Mix-128G 两种混合精度档位。拒绝率加权均值从基座的 0.874 降到 0.074,MMLU 保持 0.91 左右;需 llama.cpp PR #30817 才能加载,Engram 表存于 SSD。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑》

10月24日周六
  1. GitHub · 3D 生成新仓库11

    开源 AI 简历生成器 ResuMaker.AI:基于 DeepSeek R1 与 Gemini 2.0 Flash,生成 ATS 友好简历

    开源 SaaS 项目 ai-resume-builder(ResuMaker.AI)可按职位、经验与技能用 AI 生成简历,并针对 ATS 筛选系统优化结构。项目通过 OpenRouter API 调用 DeepSeek R1 与 Gemini 2.0 Flash 模型,支持阿拉伯语、英语和法语,可一键导出白底 PDF 或复制文本。前端采用 HTML5 与 Tailwind CSS,后端为 Node.js / Vercel Serverless Functions,部署于 Vercel。

  2. Hugging Face · 趋势模型77

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF

    ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本,用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型,提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型,任务均值恢复 100.0%;IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行;llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。

    推荐理由:原文给出了各量化的基准恢复率和完整方法与分配文件,读者可以据此判断低比特量化到底损失了多少能力。

  3. Hugging Face · 新模型:abliterated73

    DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑

    ktobik 在 Hugging Face 发布 abliterated(去拒绝)版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化,提供 Mix-256G(235.8 GB 内存)与 Mix-128G(114.0 GB)两种构建。模型为 763B 参数 MoE,含 384 个路由专家和 197B 参数 Engram n-gram 表(110.6 GB 留在 SSD 按需读取),1M token 上下文。精度由实测 KLD 的背包搜索逐层分配,Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。

    推荐理由:原文给出实测 KLD、拒绝率前后对比和逐层精度搜索方法,读者可据此判断去对齐版本与量化方案的实际代价。

  4. Hugging Face · 新模型:abliterated69

    DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,附实测拒绝率与精度数据

    Orca 发布 abliterated 版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化文件,提供 Mix-256G(235.8 GB)与 Mix-128G(114.0 GB)两种构建。模型为 763B 参数 MoE,含 197B 参数 Engram n-gram 表(110.6 GB,留在 SSD 按需读取)和 1M token 上下文;精度按实测 KLD 逐层搜索分配。去对齐版在 500 条有害提示上拒绝率均值 0.074(原版 0.874),JBB-harmful 下降 97%,MMLU 保持 0.91 左右;Mix-256G 在 2×H200 上约 70 tok/s,需 llama.cpp PR #30817,MIT 许可。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化发布,763B MoE 最低 235.8 GB 内存可跑》

  5. GitHub · 灵魂体仓库62

    Momoding 1.0 预览版发布:把能干活的 Personal Agent 装进现有安卓手机

    Momoding 1.0 预览版在 GitHub 开源发布,是基于 OpenMinis 的 fork,把 Personal Agent 装进现有安卓手机(Android 8.0+),可交代一句话完成日程、提醒、闹钟、短信草稿、联网查询和例行任务。数据与记忆存在手机本地,自带模型 Key 调用 DeepSeek、Kimi、通义千问等服务,App 免费开源(GPLv3),因需无障碍等权限暂不上应用商店,仅在 GitHub 发 APK。

    推荐理由:这是开源手机端 Agent 的发布说明,讲清了数据存本地但对话发往自选模型服务的隐私边界,适合想自己部署的人对照评估。

  6. Reddit · r/LocalLLaMA69

    ISTA 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化 GGUF,最低 1.75 bpw

    ISTA 深度算法与系统实验室用 GSQ 与 RCO 方法发布了 DeepSeek-V4.1-Flash-1017 的三个量化 GGUF,位宽 1.75 至 2.25 bpw,骨干 120.7 至 155.2 GB。其中 IQ2_XXS(2.00 bpw)在 AIME25、GPQA-Diamond、LiveCodeBench v6 上与基座完全一致,任务平均保留 100.0%;IQ1_M 保留 98.7%。该模型为稀疏 MoE,763.2B 参数、每层 384 个路由专家激活 6 个、1M token 上下文窗口。所有版本可经 Strata 在单张 12 GB VRAM 的 NVIDIA GPU 上运行,llama.cpp 暂不支持。

    同一新闻,精选展示《ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 非均匀量化 GGUF》

  7. Hugging Face · 新模型:abliterated51

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版的校准 11-bit VQ 量化 GGUF

    staccs 发布 pqhaz/DeepSeek-V4.1-Flash-1017-heretic(DeepSeek-V4.1-Flash-1017 的 pqhaz abliterated 版)的 106.8 GB 单文件 GGUF,对 557B 参数的 routed experts 采用 lecore 激活校准 11-bit 矢量量化(2048 条码本、65,536 校准 token),Engram n-gram 表沿用原版需另下载约 203 GB。以未量化源模型为教师的评测显示 2k 上下文困惑度 2.762、top-1 一致率 80.9%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。

  8. Hugging Face · 新模型:abliterated57

    staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包

    staccs 发布了 106.8 GB 单文件 GGUF,对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated(UNCENSORED-FP8)版本重新量化,采用 lecore 激活校准的 11-bit 向量量化处理路由专家(2048 码本条目、65,536 校准 token,1.39 bpw,cosine 0.909),注意力骨架用 q4_K,共享专家 VQ 11-bit。评测以未量化源模型为教师,WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936,top-1 一致率 80.2%/78.6%,优于未校准的 vq10sh12 版本(PPL 3.615、top-1 74.5%)。

    推荐理由:作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照,可据此评估这套 11-bit VQ 量化的损耗。

  9. Hugging Face · 新模型:abliterated52

    DeepSeek-V4.1-Flash-1017 abliterated 版发布 106.8 GB 单文件 lecore vq11 校准 GGUF 量化

    staccs 在 Hugging Face 发布 rumplestilzken/DeepSeek-V4.1-Flash-1017-abliterated 的单文件 GGUF,大小 106.8 GB,对 557B 参数的路由专家采用 lecore 激活校准 11-bit 向量量化(2048 码本条目,65,536 校准 token),1.39 bpw、加权余弦 0.909。评测以未量化源模型为 teacher,2k/16k 上下文困惑度 2.821/2.950,top-1 一致率 80.5%/78.4%,优于未校准的 vq10sh12 版(PPL 3.615、top-1 74.5%)。

    同一新闻,精选展示《staccs 发布 DeepSeek-V4.1-Flash-1017 abliterated 版单文件 GGUF 量化包》

  10. Hugging Face · 新模型:abliterated50

    DeepSeek-V4.1-Flash-1017 abliterated 版 106.8 GB lecore 校准 VQ GGUF 发布

    mrfakename 的 DeepSeek-V4.1-Flash-1017-abliterated 被重新量化为单个 106.8 GB 的 lecore 校准 11-bit VQ GGUF 文件,路由专家参数 557B,码本 2048 条目、1.39 bpw。在 WikiText-2 上 2k/16k 上下文 perplexity 分别为 2.799/2.917,top-1 与源模型一致率 80.3%/78.5%,优于此前未校准的 vq10sh12 版(PPL 3.615)。

  11. Reddit · r/LocalLLaMA33

    LocalLLaMA 社区测试近期模型量化版本:DeepSeek-V4-Flash-Vision-Exp 与 Qwen3.8-Flash-Next 领跑初步 benchmark

    Reddit r/LocalLLaMA 用户 EmilPi 发布近期测试模型的量化版本初步 benchmark 结果,DeepSeek-V4-Flash-Vision-Exp(MXFP4)以 Delta score 2.86 居首,Qwen3.8-Flash-Next-Q4KXL-STRATA 得 2.38。测试覆盖智能体编程、推理、空间推理等任务,作者在 2xRTX3090+128GB RAM 上发现没有新模型超越数月前的 DeepSeek/Qwen 老模型,并意外发现 Qwen3.8-Flash-Next 加 Strata 无质量损失且更快。

  12. GitHub · 去对齐工具与仓库34

    automated-news:用 LLM 每日自动生成的西语科技新闻静态终端

    基于开源项目 automated-news,每天在 GitHub Pages 发布最多 20 条西语科技新闻摘要和热门仓库,默认使用 DeepSeek 的 deepseek-v4-flash 模型做筛选与撰写,也可切换为 claude-code。RSS、Hacker News 和 GitHub Trending 抓取去重后,由 LLM 仅做选择和撰写并经 JSON Schema 验证,每期以 JSON 存入仓库,通过 GitHub Actions 与 Eleventy 3 自动部署,无需服务器或数据库。

  13. GitHub · 3D 生成新仓库42

    dsh-imagegen:DeepSeek Harness 的一站式 AI 生图插件

    dsh-imagegen 是 DeepSeek Harness 的生图插件,通过 `dsh plugin --profile web add @dickpy/dsh-imagegen` 安装,集成文生图、图生图、无限画布、电商套图、图片转可编辑 PPT、多模型对比与画廊管理等功能。插件支持 OpenAI 兼容 Images API / Chat Completions,并预置 xAI Grok、Google Nano Banana、Seedream、Qwen-Image 等渠道,历史与画布数据保存在本机 ~/.dsh/dsh-imagegen/。项目采用 Apache-2.0 许可证,从插件 1.8.2 起支持在面板内在线更新。

  14. Reddit · r/LocalLLaMA34

    实测 DeepSeek-V4.1-Flash-1017:像"穷人版 Opus 5.5",Qwen3.8-Flash-Next 更好用

    作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next:DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文,而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后,Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似:TF-IDF 相似度 0.572、共享 200 个四词短语,分析方法几乎一致。

10月23日周五
  1. Reddit · r/LocalLLaMA62

    TensorSharp 在 5× A40 上运行 DeepSeek-V4.1-Flash-1017:预fill 吞吐达 llama.cpp 的 4.4–5.5 倍

    TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017(Unsloth UD-IQ2_XXS GGUF),默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍,关闭 YOCO 仍有 2.44–3.23 倍;decode 提升较小(1.08–1.20 倍)。质量上,WikiText-2 困惑度相对 llama.cpp 高约 0.46%(YOCO 关)到 1.14%(YOCO 开)。vLLM 0.32.0 在该机未能出 token,仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动,完整报告见 GitHub。

    推荐理由:作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化,可据此评估该推理引擎在 A40 上的实际收益与质量代价。

  2. Reddit · r/LocalLLaMA38

    本地 2-bit 量化 DeepSeek ds4.1-flash-1017 与云端 API 对比测试

    一位 Reddit r/LocalLLaMA 用户在本地以 2-bit 量化运行 ds4.1-flash-1017,与 opencode 通过 DeepSeek API 调用的 ds4.1 进行同一提示词对比,测试耗时约 1.5 小时,使用 450k 上下文(开启自动压缩)并以 headless chrome 替代 playwright 完成测试。测得的 KDL 差距较明显:original 到 oQ2e 为 0.4259 nats,original 到 oQ2.5e 为 0.2821,困惑度分别为 3.7315、4.1190 和 4.6333,2-bit 版本的 top-1 agreement 为 78.43%。

  3. GitHub · 3D 生成新仓库37

    Breadwinner:开源本地优先的反幻觉简历定制工具 FaizPalwala/breadwinner 发布

    开源项目 Breadwinner 是一款本地优先的 8-Bit 风格求职简历定制工具,核心反幻觉规则要求每条简历要点都必须可追溯到本地 Career Pantry 中的已验证事实,并严格保留如 scaled to 10M events、latency 降低 45% 等真实指标。它完全离线运行,支持 LM Studio、Ollama 本地模型,也可接入 Gemini、DeepSeek、Groq、OpenAI 的 API key,简历与 API 密钥均保存在本地。工具提供双栏要点编辑器、ATS 审计仪表、无头 Chromium 生成符合 Jake's Resume 标准的 A4 PDF,以及自动按指标密度和时效性裁剪内容的 Career Curator。

  4. arXiv · cs.AI33

    大语言模型是否信任自己的解释?一项关于功能自洽性的研究

    一项发表于 IJCNN 2026 的研究提出“功能自洽性”实验框架,通过充分性、全面性与反事实性三项指标检验 LLM 自我解释与其实际预测是否一致。实验基于 IMDB 和 Steam 评论数据,覆盖 GPT-4o-mini、Gemma3、Granite8B 和 DeepSeek:GPT-4o-mini 在全部指标上符合预期,Gemma3 与 Granite8B 仅在充分性下保持一致,DeepSeek 变体则出现结构性偏差。结果表明解释可靠性因模型家族和规模而异,小模型自相矛盾,大模型过度敏感。

  5. GitHub · 灵魂体仓库49

    AI-WriterGame 开源「双界录」都市人生沙盒更新

    GitHub 开源项目 AI-WriterGame「双界录」是 AI 主持的都市人生互动小说沙盒,从京华大学入学开始,可学习、创业、进娱乐业或经营战队。本轮更新世界地图扩展至 6 个国家、16 座城市、118 个地点,含 40 种世界事件与 8 位核心人物的 3 阶段成长线。项目支持 DeepSeek 等国内 OpenAI 兼容 API,不配置模型时可进入演示模式,需 Python 3.10+。

  6. arXiv · cs.CL59

    arXiv 论文提出模型与执行框架联合评测框架,解析 Agent 失败该归咎谁

    arXiv:2610.32483 提出评测 LLM Agent 执行框架(harness)与底层模型交互的框架,包含有效完成率(VCR)、Model-Harness Fit、Cross-Model Fit、交互残差和 Token Load 五项指标。研究在 6 个基准上评测 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个框架与四个核心模型,加上两组原生固定组合,共 111 个评测设置、52,168 条轨迹;结果显示框架排名随模型和基准变化,OpenCode 跨模型表现第一,DeepSeek V4 Flash Preview 在共享四基准上保持较高的 Mean VCR。

    推荐理由:论文把 Agent 拆成模型与执行框架两部分联合评测,给出五项指标和 52,168 条轨迹的实测,可帮助读者理解框架排名为何随模型和基准而变。

  7. Reddit · r/SillyTavernAI23

    DeepSeek V3.2 经 Chutes 接入 SillyTavern 持续生成空白回复,用户求助

    有用户反馈,在 Android 的 Termux 上通过 Chutes 在 SillyTavern 中使用 DeepSeek V3.2 时,近期随机出现空白回复,其他模型正常。日志显示模型已生成内容,但全部写入了 reasoning_content 字段而非 content,导致 SillyTavern 收到空回复。作者已尝试切换连接方式、调整采样参数和推理设置均无效,怀疑与约 60k tokens 的长对话、Chutes 端点或 SillyTavern 的响应处理有关。

  8. Reddit · r/LocalLLaMA32

    DeepSeek V4.1-1017 在 RDNA2/3 显卡加 DDR4 平台上的本地运行实测

    Reddit 用户在 3950x + 96GB DDR4 + RX 7900xtx 与 W6800(共 56GB 显存)上实测 DeepSeek V4.1-1017,使用约 350GB 的 iq2 量化权重加 Q6 ngrams。峰值 19t/s、平均解码 9t/s、prefill 约 150t/s,性能因 I/O 波动明显。作者认为其智能程度超过 iq4-xs 量化的 Qwen3.8-Flash-Next,但思考过多,仅适合聊天用途。

  9. Hugging Face · 新模型:uncensored60

    DeepSeek-V4.1-Flash-1017 的 FP8 无对齐版发布,HarmBench 320 项零拒绝

    dealignai 发布了 DeepSeek-V4.1-Flash-1017 的无对齐 FP8 权重版本,仅做权重级消融,保留视觉、视频、工具调用、推理档位和原生 1M token 上下文,不含量化派生、聊天模板改动或 LoRA。HarmBench-320 在 reasoning_effort=max 下 320/320 全部 COMPLY、零拒绝;内部 MMLU(1140 题)从基线 87.63% 降到 83.77%,降 3.86 pp,人文学科降 7.31 pp。仓库为 gated 访问,MIT 许可,另提供 EXL3 2.9 bpw 版本。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-1017 无对齐 FP8 权重发布,HarmBench 320 题全部合规》

  10. arXiv · cs.AI58

    arXiv 论文提出用低比特精度压缩语言模型 n-gram 嵌入表

    Stephen Chung 在 arXiv 发布论文,研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上,4-bit 表节省约 75% 表内存,同时保留加表带来的验证损失改善的 99% 以上;对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存,困惑度增加低于 1.2%。更低位宽性能下降更大,但短时微调可恢复大部分损失,将省出的内存换成更大表还能超越原全精度表的性能。

    推荐理由:论文系统比较了不同量化和位宽分配方案,给出从零训练与现有大模型两组数据,可帮助读者评估低比特 n-gram 表的实际收益。

  11. Reddit · r/LocalLLaMA33

    Qwen 3.8 Flash Next(129 GB)在量化对比中胜过 DeepSeek V4.1 Flash 1017(187 GB + 203 GB Engram)

    Reddit 用户用修改版 BenchKit 对比 Qwen3.8-Flash-Next-W4A16-FP8PLE(129 GB)与 DeepSeek-V4.1-Flash-1017 2.6 bit 量化版(187 GB + 203 GB Engram),Qwen 以 25/25 满分胜过 DeepSeek 的 23/25。HumanEval 第 22 题上 Qwen 18.8 秒答对,DeepSeek 思考 127.9 秒后陷入循环被终止;第 24 题 DeepSeek 等待 297.7 秒未答出,Qwen 34.5 秒给出正确答案。作者表示将继续使用 Qwen。