跳到正文
10月24日周六
  1. Reddit · r/LocalLLaMA58

    Reddit 用户取证量化模型推理链幻觉:海盗分金谜题、虚构注入与幽灵系统提示词

    Reddit 用户 /u/Consumerbot37427 报告其本地 Qwen3.8-Flash-Next MoE 的 Q4/Q8 混合量化版本在 Opencode 长任务中,推理链出现三类凭空编造内容:海盗分金谜题出现 7 次、虚构的 Windows/PyQt6 会话恢复注入在同一轮内被模型自导自演地防御 5 次、以及一段幽灵邮箱预批准系统提示词,而这些文本均不存在于实际输入中。作者用 SQLite 持久化历史做取证,提出判别方法:在全部历史中检索可疑文本的首次出现位置,若首现于助手输出即为模型虚构,若首现于工具或抓取内容才是真实注入;并给出一段可直接粘贴的排查提示词供其他用户检查自己的 opencode 历史。

    推荐理由:作者用持久化 SQLite 历史做取证,给出区分量化幻觉与真实注入的可复用判别方法,附完整排查提示词。

  2. Reddit · r/LocalLLaMA27

    新 GitHub 账号神秘现身 Qwen4.0-Max 痕迹

    Reddit r/LocalLLaMA 用户发现注册不到一个月的新 GitHub 账号提交了支持 Qwen4.0-Max prefill heads 的 PR,推测这些账号可能是阿里 OSS 的秘密账号。该 PR 标题为 feat(gdn): support Qwen4.0-Max prefill heads,相关身份尚未获官方证实。

  3. Reddit · r/LocalLLaMA41

    SPEV:基于 Qwen3-Omni 的全模态决策模型

    开发者基于 Qwen3-Omni 构建了全模态决策模型 SPEV,直接对原始音频输入输出决策概率,无需经 ASR 转写,避免转写带来的延迟与成本,并支持鸟鸣等非语音任务。它结合 Omni 音频/视频/图像解码器与训练的决策头,支持选择题、真假判断和序数评分,多个问题可在一次多模态前向传播中处理。

  4. Reddit · r/LocalLLaMA34

    实测 DeepSeek-V4.1-Flash-1017:像"穷人版 Opus 5.5",Qwen3.8-Flash-Next 更好用

    作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next:DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文,而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后,Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似:TF-IDF 相似度 0.572、共享 200 个四词短语,分析方法几乎一致。

  5. arXiv · cs.AI40

    Yalda Embedding:开源打造有竞争力的波斯语检索模型

    研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding,使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上,其宏平均达 0.5488,为受评 0.6B 模型中最高,并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏,均值从 0.4813 提升至 0.5488,且模型权重、代码与数据集均已开源。

  6. Reddit · r/LocalLLaMA71

    Baseten 开源 9B 决策模型 elephant-1,Decision Index 得分 65 追平 d1-ultra

    Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1(MIT),不生成文本,而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分,与 d1-ultra 持平,成本约 $8/1M tasks,约为 d1-ultra(约 $31)的四分之一;Jev Decision Index 0.4 得 62.65,为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分,Omniscience 非幻觉率 93 但准确率仅 12,倾向回答不知道。

    推荐理由:原文给出 Decision Index 得分、成本对比和分项基准数据,还说明了训练数据构成与架构改动来源,便于判断适用场景。

10月23日周五
  1. Reddit · r/LocalLLaMA23

    Swift-1.5 QFN IQ2_XXS(64k 上下文)对比 Swift-1.5 27B Q4_K_L(llama.cpp,128k 上下文)

    Reddit r/LocalLLaMA 用户对比 ukisai 的 Swift-1.5-Qwen3.8-Flash-Next(IQ2_XXS、64k 上下文、Strata)与 Swift-1.5-Qwen3.8-27B(Q4_K_L、128k 上下文、llama.cpp)。Flash-Next 在 medium 推理档位下反复空转思考、刷工具调用而不写代码,关掉推理也一样;27B 几分钟后就开始写修复。作者怀疑与 64k 上下文压缩、低量化或 Qwen Flash Next 本身有关。

  2. Hugging Face · 新模型:uncensored48

    Solstice-AI 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 Apple MLX oQ4e 1M 版本

    Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本,内置 1,048,576 token 的 YaRN 上下文扩展,内存占用 17.02 GB,可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max,其中 SWE-bench Pro 61.7% 对 53.4%,ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。

  3. Hugging Face · 新模型:abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

    推荐理由:作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  4. GitHub · 去对齐工具与仓库41

    personal-ai:基于 LangGraph 的本地多智能体全栈代码生成项目

    GitHub 开源项目 personal-ai 使用 LangGraph 1.2.10 与本地 LLM(Ollama + Qwen2.5-Coder 14B、BGE-M3 嵌入)构建 PM/DB/Backend/Frontend/Review 多智能体流水线,从需求分析生成 Spring Boot 3、React/TypeScript 产物并以 Markdown 保存。系统将 Domain RAG 与 Project Context 分离以复用已有实现,目前为只读代码生成,尚不支持自动应用文件或构建部署。

  5. GitHub · 灵魂体仓库26

    cookbook-rag:基于 Ollama 本地 LLM 的食谱 RAG 检索系统

    GitHub 开源项目 cookbook-rag 提供了一套基于本地 LLM 的 RAG 系统,可上传 PDF 食谱并通过自然语言检索,返回 AI 生成的答案。系统默认使用 Ollama 运行 qwen3:4b 模型和 nomic-embed-text 嵌入模型,配合 ChromaDB 向量数据库与 FastAPI 提供 /add-document 和 /search 接口。文本切分采用 LangChain 的 RecursiveCharacterTextSplitter(约 1800 字符、200 重叠),可通过 MODEL_NAME 等环境变量切换模型,应用端口为 8080。

  6. Hugging Face · 新模型:uncensored39

    Qwen-Image-2.1-Uncensored 量化版本发布:支持 GGUF、Safetensors 与 MLX 格式本地图像生成

    Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。版本包含 BF16(14.23 GB)至 Q4_K_M(4.60 GB)等多种量化档位,推荐 Q4_K_M 以平衡体积与质量;MLX 格式针对 Apple Silicon 优化,并随附 qwen3vl_8b 文本编码器与 VAE 文件供 ComfyUI 使用。该版本无内置安全检查或内容过滤,可直接生成 NSFW 等敏感图像。

  7. arXiv · cs.CL45

    多模态大语言模型检索头的更全面研究

    一项 arXiv 研究考察多模态大语言模型的 retrieval heads 在新增模态时的表现:以视听输入为对象,发现检索头在新模态中保持稀疏并跨模态大量共享,在 18 个语言、视觉语言与全模态模型中,全模态模型基本保留了其基座的检索头。跨模态共享的检索头不足全部 head 的 2%,但消融它们会损害文档理解、空间感知和视觉数学。通过 ranking 目标训练这些头的注意力,Qwen3-VL-8B 在 MMDocIR 上的 page Recall@1 提升 6.03 分,并在三个模型族上改善文档检索。

  8. Reddit · r/LocalLLaMA34

    本地 LLM 记忆写入评测:Qwen3.5、Hy-Memory、LFM2.5 谁知道何时该「不存」

    一项针对本地 LLM 记忆提取的 120 例基准测试(60 组对照对、96 例英文主测试)显示:Hy-Memory 30B-A3B 召回率 100%(52/52),但 44 个空输出用例全部错误并产生 76 条冗余提议;Qwen3.5 4B 和 9B 更克制,空用例正确率分别为 95.5% 和 90.9%,冗余提议仅 3 条和 5 条;LFM2.5 24B-A2B 召回 76.9%,受指令示例污染和引用格式问题困扰,后验映射可修复 9/18 个无效引用字段。所有模型经 llama.cpp 在同一台 Ubuntu 机器上运行,测试不涉及速度。

  9. Reddit · r/LocalLLaMA43

    腾讯 WeVisOne-VL-4B 视觉语言模型上线 HuggingFace

    腾讯微信视觉团队推出统一视觉语言模型 WeVisOne-VL-4B,基于 Qwen3-VL 构建。该模型通过结构化 next-token prediction 和 9.6M 参数的轻量 pixel decoder,统一了目标级感知(开放词汇检测、指代定位、计数、指向与 OCR)与像素级感知(指代分割、可提示 alpha matting),已在 HuggingFace 开源。

  10. Reddit · r/LocalLLaMA36

    Qwen3-0.6B 被转换为 MoE 版本

    Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构,发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本,这是其首个 chat 风格转换。因 Qwen3 无 shared expert,作者采用 pseudo-shared expert 部分恢复质量;评测显示 Wiki ppl 从 23.88 升至 26.98,各质量指标均差于原模型,0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s,GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。

  11. arXiv · cs.CL46

    语言模型中方向敏感的扰动影响如何共享失败机制(arXiv 论文解读)

    一项 arXiv 研究提出方向敏感、相对读出的语义脆弱性分析框架,用储备-传输模型在 Qwen3-32B 和 Gemma 4 31B 上预测保留任务含义的改写导致的失败,并可向 ReClor 迁移。匹配干预实验表明方向本身携带标量几何之外的因果信息,但失败很少跨选项顺序持续,说明共享预测规律与依赖上下文的方向性效应并存。

  12. GitHub · 灵魂体仓库61

    heyvaldemar 开源 kubernetes-air-gapped-ai-agent 参考架构

    heyvaldemar 在 GitHub 发布 kubernetes-air-gapped-ai-agent 参考架构,让 AI Agent 在无外网路由的 kind Kubernetes 集群内用 CPU 运行 llama.cpp,模型经签名镜像和 Kyverno 准入校验后加载。随附 15 项任务的每日评测:六个内置与受测模型在 12 条植入指令上最多中招 6 条,而 MCP 服务器按 schema 拒绝了全部外发邮件(含隐藏模式后的 92 次),无数据外泄、无记录被删;每周任务另经唯一出口调用 Claude Haiku 5.5 与 Claude Sonnet 5.5,二者均未中招任何植入指令。仓库定位为参考而非产品,MIT 许可。

    推荐理由:仓库用可复现的检查把边界与模型分开验证,被诱导的数据点数只作测量不作门槛,这种做法可以迁移到自己的 Agent 部署里。

  13. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next-Uncensored Q4_K_XL-Gufo 量化版发布

    Hugging Face 上线 Qwen3.8-Flash-Next-Uncensored 的 Q4_K_XL-Gufo 重量化版本,共 3 个分片约 103.5 GiB,升级 716 个张量 dtype 并修复 export bug,使 gufo 引擎可在 AMD Strix Halo(gfx1151)上加载,支持 262 144 原生上下文。无新微调,权重与原 Q4_K_S 相同;许可证按上游 Qwen Community License 1.0 分发,而非元数据标注的 apache-2.0。

  14. Reddit · r/LocalLLaMA45

    ReaDy:用循环状态作为动态上下文加速混合线性注意力大模型投机解码

    论文提出投机解码方法 ReaDy,首次利用混合线性注意力(HLA)模型的循环状态为每个草稿位置检索位置特定上下文。基于 DSpark 骨架与两阶段适配策略,在数学、代码生成与对话七项基准上,ReaDy 以 Qwen3.8-27B 在单块 NVIDIA B200 上实现平均 3.16× 解码加速,吞吐较 DSpark 提升 7.97%,接受长度提升 8.50%,代码已在 GitHub 和 HuggingFace 开源。

  15. Hugging Face · 新模型:uncensored33

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    Hugging Face 上发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,基于原版上游权重转换,提供 GGUF、Safetensors 和 MLX 格式,涵盖 BF16 14.23 GB 到 MLX 4-bit 4.00 GB 等多个量化档位,推荐 GGUF 用户使用 Q4_K_M(4.60 GB)。该版本内置无安全检查器,可直接生成 NSFW 等敏感图像,配套 qwen3vl_8b 文本编码器和 VAE 文件,可通过 ComfyUI 与 leejet/ComfyUI-GGUF 分支完成本地部署,文本编码器可卸载至系统内存以节省 9–17 GB VRAM。

  16. arXiv · cs.CL45

    收集日期元数据可重定向大语言模型的时间性问答

    一项 arXiv 研究发现,仅更改语料的收集日期元数据即可改变五个开源 LLM 在时间性问答中的答案:在 595 个 Wikipedia 页面上,交换前后两天的提问日期使后向引用 exact match 下降 37.6-51.4 个百分点。七种提示词变体(包括明确忽略收集时间的指令)均无法消除该效应;加入思维链可将 Qwen3.5 的损失从 30.1 降至 11.1 个百分点。该诊断可将元数据影响与证据变化分离,为时间性 QA 输入提供实用审计方法。

  17. arXiv · cs.CL17

    尼泊尔政治文本选举承诺挖掘:首个金标准数据集与模型比较研究

    研究者构建了首个尼泊尔政治文本金标准数据集(Cohen's kappa = 0.777),并用机器学习、深度学习和 LLM 自动提取与分析选举承诺。fastText-LSTM 深度学习模型表现最佳(accuracy 0.914、macro F1 0.913),LaBSE-LR 为最优机器学习模型(accuracy 0.897),三个受评 LLM 中 Qwen3-8B 在 few-shot 设置下取得 0.848 macro F1。成果已集成进移动应用,借助 GAI 可视化承诺以提升透明度与问责。

  18. arXiv · cs.CL48

    现代文本嵌入模型的几何盲区:情感信息可解码但度量不可分

    arXiv 论文发现,2021–2026 年的 11 个冻结文本编码器普遍存在解耦现象:线性探针能以最高 91.3% 准确率从嵌入中解码句子情感极性,但余弦相似度的极性分离边际仅 0.003–0.064,Qwen3-Embedding-4B 探针准确率 91.3% 而 retrieval MAP 仅 64.3。作者提出 SISE 方法,用 0.13M–0.69M 参数的监督对比头在 CPU 上数秒训练,可将 retrieval MAP 提升最高 +26.0,但 128 维头在 STS-B 上损失 38–41 个 Spearman 点,属于专精化而非免费收益。论文同时开源 CPU 可复现管线和 Attribute Alignment Gap 诊断工具。

  19. arXiv · cs.AI46

    同一实体、不同文字:诊断语言模型跨文字实体匹配失败

    一项 arXiv 研究用 601 对天城文-拉丁文审计身份对测试发现,Qwen2.5-7B 在马拉地语提示下,同一人名判断准确率从拉丁文的 35.1% 降至天城文的 8.5%。在 374 对马拉雅拉姆语对上复现了该效应,0.925 AUROC,且标量校准可恢复 87% 的模型-探针平衡准确率差距。对 Qwen 中间层的干预将马拉地语同一人准确率从 6.5% 提升至 33.5%,不同人准确率保持 98.5%。

  20. arXiv · cs.AI58

    arXiv 论文提出用低比特精度压缩语言模型 n-gram 嵌入表

    Stephen Chung 在 arXiv 发布论文,研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上,4-bit 表节省约 75% 表内存,同时保留加表带来的验证损失改善的 99% 以上;对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存,困惑度增加低于 1.2%。更低位宽性能下降更大,但短时微调可恢复大部分损失,将省出的内存换成更大表还能超越原全精度表的性能。

    推荐理由:论文系统比较了不同量化和位宽分配方案,给出从零训练与现有大模型两组数据,可帮助读者评估低比特 n-gram 表的实际收益。

  21. arXiv · cs.CL47

    RIFT:面向草稿模型的 KV cache 压缩方法与互补可压缩性训练

    arXiv 论文提出 RIFT,一组基于选择的 KV cache 压缩策略,用于缓解推测解码中随输出变长产生的 decode staleness 问题,平衡 prefill 信息与近期生成 token,并引入自适应 KV 刷新与基于稀疏注意力掩码的可压缩性训练。经压缩训练后,Qwen3.5-4B 为 Qwen3.5-122B 起草时,在 32K token 输入、4K token 输出和 8K token KV cache 预算下保留超过 98% 的全缓存接受长度。

  22. Reddit · r/LocalLLaMA33

    Qwen 3.8 Flash Next(129 GB)在量化对比中胜过 DeepSeek V4.1 Flash 1017(187 GB + 203 GB Engram)

    Reddit 用户用修改版 BenchKit 对比 Qwen3.8-Flash-Next-W4A16-FP8PLE(129 GB)与 DeepSeek-V4.1-Flash-1017 2.6 bit 量化版(187 GB + 203 GB Engram),Qwen 以 25/25 满分胜过 DeepSeek 的 23/25。HumanEval 第 22 题上 Qwen 18.8 秒答对,DeepSeek 思考 127.9 秒后陷入循环被终止;第 24 题 DeepSeek 等待 297.7 秒未答出,Qwen 34.5 秒给出正确答案。作者表示将继续使用 Qwen。

  23. Reddit · r/LocalLLaMA38

    Meta 816B Muse Spark Open 在 Artificial Analysis 得 39 分,180B Qwen3.8-Flash-Next 得 40 分:11 个开源权重模型得分与规模对比

    基于 Artificial Analysis 数据绘制的 11 个开源权重模型得分与总参数量(log 轴)对比图。Muse Spark Open(816B,42B active)得 39 分,Qwen3.8-Flash-Next(180B,6B active)得 40 分;最高为 MiMo-V2.6-Pro(1T)的 46 分,DeepSeek V4.1 Flash 1017(552B)和 GLM-5.3(753B)均为 45 分。该指数是 AA 自评的单一综合分,不反映速度、长上下文或视觉能力。

  24. Reddit · r/LocalLLaMA63

    HuggingFaceBio 发布 Carbon-X:基于 Qwen3-14B 微调的 14.8B DNA 语言模型

    HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。

    推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。

  25. Reddit · r/LocalLLaMA46

    Gemini 4 Argon 与 Claude Sonnet 5.5 移除 temperature 采样控制,社区质疑确定性影响

    Gemini 4 Argon 与 Claude Sonnet 5.5 已实际移除采样控制:Sonnet 5.5 对非默认 temperature 或 top_p 直接返回 400 错误,Gemini 4 Argon 接受参数但静默忽略。作者认为官方以“推理模型”解释,但大量依赖调低 temperature 的生产流程会失效。作者正用 200 条抽取输入各跑 20 次测试字节级输出一致性,本地 Qwen 在 temp 0 下接近完全一致。

  26. Reddit · r/LocalLLaMA50

    RTX 5090 实测 Qwen3.8-FN NVFP4 三引擎性能:basalt 全场景最快

    作者在单张 RTX 5090 上对 Qwen3.8-Flash-Next NVFP4 的 basalt、capy-flash、ninfer-ext 三个引擎做了 262,144 token 全上下文对照测试,统一开启 MTP 推测与 int8 KV。结果 basalt 在所有上下文深度最快,prefill 8.1k-9.2k tok/s、greedy decode 176-265 tok/s;decode 排名与 MTP draft 接受率一致(0.74/0.57/0.56),采样解码使各引擎 decode 下降 7-10%。

  27. GitHub · 去对齐工具与仓库56

    Rust 从零实现的 LLM 推理服务器 denno-beta 开源,兼容 Anthropic Messages API

    ahinore 开源了用 Rust 从零实现的 LLM 推理服务器 denno-beta,推理内核不依赖 candle 等现有库,兼容 Anthropic Messages API,可直接配合官方 Anthropic Python SDK 使用。支持 GPT-2 124M 与 Qwen2.5-0.5B–7B-Instruct、Qwen3-0.6B、Qwen3.5 等模型,默认 CPU 运行,可通过 --features cuda 卸载到手写 CUDA 内核(13,252-token prefill 从 395.8s 降到 12.2s)。

    推荐理由:推理内核完全从零手写并保持精确解码约束,附 CUDA 加速与可视化遥测,适合想从代码理解 LLM 推理全流程的读者。

  28. GitHub · 灵魂体仓库64

    千问杯多模态大赛第3名方案开源:Qwen3.5-0.8B 蒸馏 SFT + GRPO 小剂量 RL 全流水线

    参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名(获2万元奖金)的完整方案:在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT(初赛 41.8 分压线晋级),再用 GRPO 30 步小剂量 RL(决赛榜 20.2 分,第 9/20),答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告,权重托管于 Hugging Face;核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。

    推荐理由:作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据,0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。

  29. Reddit · r/LocalLLaMA60

    两台 £300 骁龙迷你主机实测:ToRc 引擎跑 Qwen3.6 35B A3B 达 315/43 tok/s

    作者用两台 £299.99 的 Lenovo IdeaCentre Mini(Snapdragon X X1-26-100,32GB LPDDR5,无 GPU)以 USB4 相连,实测 llama.cpp、Janas 和自研 ToRc 引擎跑量化模型的读写速度。统一测试负载下,ToRc 双机跑 Qwen3.6 35B A3B Q4_0 达 315/43.3 tok/s(读/写),编码对话 59.6 tok/s;95GB 的 Qwen3.8 Flash Next IQ4_NL 靠 NVMe 流式读取专家权重,双机达 46.2/20.3 tok/s。MTP 加速依赖文本类型,代码任务普遍提速而 Alice 散文上 llama.cpp 反而变慢。整套方案约 £600、负载功耗各约 35W,ToRc 引擎尚未发布。

    推荐理由:作者在两台 300 英镑的骁龙迷你主机上实测多款推理引擎跑 Qwen 大量化模型的读写速度,并给出统一测试负载和完整数据。

  30. Hugging Face · 新模型:uncensored36

    Qwen3.8-Flash-Next-Uncensored Q5_K_S Splash 重打包版发布

    tegsvenson 发布 Qwen3.8-Flash-Next-Uncensored 的 Q5_K_S 重打包 GGUF,将 96 个 hyper-connection inject 张量改为 F32 存储,使其可被 Splash 1.4.0 加载,其余 1,128 个张量与 orcarouter 原版逐字节一致,体积仅增加 12.42 MiB。该版本移除安全对齐(abliterated),在 M4 Max 128 GB 的 MacBook Pro 上经 oMLX 0.7.2 测试,可加载完整 262,144 token 上下文,冒烟测试输出速度 98.4 tok/s。