跳到正文
  1. Reddit · r/LocalLLaMA71

    Baseten 开源 9B 决策模型 elephant-1,Decision Index 得分 65 追平 d1-ultra

    Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1(MIT),不生成文本,而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分,与 d1-ultra 持平,成本约 $8/1M tasks,约为 d1-ultra(约 $31)的四分之一;Jev Decision Index 0.4 得 62.65,为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分,Omniscience 非幻觉率 93 但准确率仅 12,倾向回答不知道。

    推荐理由:原文给出 Decision Index 得分、成本对比和分项基准数据,还说明了训练数据构成与架构改动来源,便于判断适用场景。

  1. Hugging Face · 新模型:abliterated54

    leonsarmiento 发布 Huihui-Qwen3.6-35B-A3B-abliterated 6bit XL MTP MLX 量化版

    leonsarmiento 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 量化版,采用 BaseQuant_XL 6/8-bit 混合量化并嫁接 MTP 头,总大小 30.60 GB。MTP 头来自 huihui-ai 在去对齐时原样保留的 19 个源张量,经逐张量校验与 Qwen3.6-35B-A3B 原始 MTP 头字节一致。在 oMLX(M4 Pro 48GB)上 mtp_enabled 开启时草稿接受率 89.1%,吞吐 78.6 tok/s,较关闭时的约 58.5 tok/s 提升 28–34%;MTP 加速仅支持 oMLX,LM Studio 只能加载基座模型。

    推荐理由:作者给出 MTP 草稿接受率、吞吐对比和逐张量离线校验数据,读者可据此判断这个 MLX 移植在速度与精度上的取舍。

  1. GitHub · 去对齐工具与仓库58

    yfHHHE 开源 emoji-native-lm:只会用 1 到 3 个 emoji 回复的 Qwen3-1.7B 微调模型

    yfHHHE 发布 emoji-native-lm,基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调,对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息,由 Claude Opus 生成并回复,覆盖 1,915 种 emoji;666 条评测提示下经 wrapper 的回复 100% 合规,首轮采样合规率 98.9%,而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF(1.8 GB q8_0)及 Python wrapper 部署方案,代码采用 Apache 2.0 许可。

    推荐理由:仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据,读者可以照此复现并借鉴其偏见修正做法。

  2. Reddit · r/LocalLLaMA63

    HuggingFaceBio 发布 Carbon-X:基于 Qwen3-14B 微调的 14.8B DNA 语言模型

    HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。

    推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。

  3. Hugging Face · 新模型:uncensored52

    Qwen-Image-2.1 Uncensored 混合精度 GGUF 量化版发布,4.39 GB 对比 BF16 保真度更优

    Reizxn 在 Hugging Face 发布 abenzerps/Qwen-Image-2.1-Uncensored-Quantized 的逐层混合精度 GGUF 量化版,体积 4.391 GB、4.94 bits/weight,相对权重误差 0.0636。297 个张量独立量化并按最小化重构误差分配格式,组成 Q4_K×126、Q5_K×105、F16×66;实测平均 PSNR 24.25 dB,高于统一 Q4_K 的 22.44 dB,4 个测试主体中 3 个胜出,可用 stable-diffusion.cpp 或 ComfyUI-GGUF 加载,需搭配 Qwen-Image-2.1 VAE 和 Qwen3-VL-8B 文本编码器。注意仅适合 1024 及以上分辨率。

    推荐理由:作者给出了逐层混合精度分配方法与逐张渲染的 PSNR 对比数据,读者可以按需判断该 4.39 GB 量化版相对统一 Q4_K 的保真度收益。

  1. Hugging Face · 新模型:abliterated64

    alesha-pro 发布 Qwen3.8-Flash-Next 去对齐 Strata GGUF 量化包

    alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包,含 S 和 S-small 两种规格,基于 Mirai 的 2-bit trellis 构建,用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次,Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行,S 版解码 82-113 tok/s,支持最高 262144 上下文,需 Linux、CUDA 12.8+ 和约 64 GB 内存。

    推荐理由:作者实测了加拒绝向量前后的拒绝数和各档速度内存数据,读者可以据此判断这个去对齐量化包的实际表现。

  1. Hugging Face · 新模型:abliterated54

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 量化版发布

    alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版(sym、group-128),面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证,截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s,MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍;12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s(-7.2%)。

    推荐理由:作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分,并记录了校准偏差与评测陷阱,便于复现和横向对比。

  1. Hugging Face · 新模型:abliterated56

    edp1096 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local 量化检查点

    edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local,将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点,变更投影重建后取整为 BF16 并编码为 MXFP8,NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。

    推荐理由:原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录,读者可以据此判断该检查点的实际可用状态。

  1. Hugging Face · 趋势模型64

    ornith-ai 发布端到端自我改进的 Ornith-1.5-122B 开源模型

    ornith-ai 发布 Ornith-1.5-122B,一个 122B MoE 模型,将 Ornith-1.0 的自我改进循环扩展到联合优化任务生成、scaffold 构建和解题 rollout,通过强化学习持续生成训练任务并改进策略。模型支持 262,144 tokens 上下文(YaRN 缩放后约 1M),可单张 80GB GPU 部署,并提供量化 Mobile 变体。基准中 SWE-bench Verified(non-hack)84.5、TerminalBench 2.1 为 81.2,评测采用防 reward hacking 措施并以 Claude Opus 作为 judge。

    推荐理由:模型卡同时给出多基准成绩与防 reward hacking 的评测细节,读者可对照同参数量级模型比较编码与智能体表现。

  1. Reddit · r/LocalLLaMA63

    Sabi-Noema:面向能力与效率的 Qwen 3.8 27B 微调模型发布

    作者发布两个 Qwen 3.8 27B 后训练版本 Sabi-Noema 和 Sabi-Noema-MLA,仅用开源环境训练,声称在 <30B 模型中提升编码、Agent 和工具调用能力并降低幻觉率。Sabi-Noema 在 DeepSWE 上超过 GPT 6 Luna-medium,在 TB2.1、Tau-3 bench、ClawEval、BFCL v4 上超过 Luna-high,比基座 Qwen 在 TB2.1 少生成 50% token、在 DeepSWE 少 25%。

    推荐理由:原文给出了 token 减量和 KV cache 压缩的具体数字,还附带 24GB 显卡上的上下文对比,便于评估实际收益。

  2. Reddit · r/LocalLLaMA61

    Zellige AI 发布 Tessera-27B-B-CJK:用压缩 CJK 思考以节省 token 的 Qwen 微调模型

    Zellige AI 开源 Tessera-27B-B-CJK,一个基于 Qwen3.8-27B 的编码 Agent 模型,以混合英文、中文词汇和符号的压缩 CJK 思考来减少 token 消耗,思考过程与输出分离,回答和工具调用保持英文与代码。在 11 个 held-out 编码 Agent 任务上对比未微调基座:每轮思考 token 降至基座的 0.50-0.64 倍,88 轮匹配测试中工具调用 100% 有效、零重复循环,101K-131K token 提示下 6/6 工具调用有效;竞赛数学和难算法代码弱于基座。训练仅用四个短 LoRA 步骤,基于基座自身输出构建。

    推荐理由:原文给出与基座模型同任务对比的思考 token 消耗数据和训练流程,可了解用压缩 CJK 思考省 token 的具体做法。

  1. Hugging Face · 趋势模型66

    AutoTrust 发布开源决策模型 JEV-35B 及 NVFP4 量化版

    AutoTrust AI 在 Hugging Face 开源决策模型 autotrust/JEV-35B,基于 Qwen3.5-35B-A3B 微调,Apache-2.0 许可,只做 System 1 决策、不生成文本。Decision Index 0.3 公开套件得分 59.73(JEV-27B-VL 为 53.64),单 B200 中位延迟 204 ms;同时放出 NVFP4 版本,下载 25.6 GB、显存 23 GiB,可在 32–48 GB GPU 上运行,Decision Index 得分 59.18、96.6% 答案与 bf16 一致。

    推荐理由:模型卡给出 Decision Index 公开套件逐项分数、延迟与 NVFP4 量化对照数据,并演示了游戏与机器人控制等短板场景。

  1. Hugging Face · 新模型:uncensored73

    Qwen3.8-27B-Uncensored-Cyber 的 agentic imatrix IQ4_XS GGUF 量化发布

    balkhaisi9 发布 Qwen3.8-27B-Uncensored-Cyber 的 GGUF 量化,用真实 agent 编码会话日志构建重要性矩阵,而非通用英文语料,保留 MTP 头与视觉塔。提供 IQ4_XS(含/不含 MTP,14.96/15.38 GiB)与校准矩阵文件,配对评测显示 IQ4_XS 相对 Q5_K_M 的 PPL 代价为 +0.417%±0.187%,在单卡 V100 上端到端速度为 Q5_K_M 的 1.20x,逐字抄写保真 7/7。该仓库只做量化,无微调或行为改动,上游为 philbert440 的 abliterated 去拒绝模型。

    推荐理由:作者给出基于真实agent流量的imatrix校准语料构造方法与配对评测数据,做法可复现,对低比特量化部署有可迁移价值。

  2. Hugging Face · 新模型:abliterated84

    Qwen3.8-Flash-Next 剪枝版 GGUF 发布:每层保留 352 个路由专家,RTX 4050 笔记本跑 10.8 tokens/s

    shefowl 发布 Qwen3.8-Flash-Next 的 abliterated GSQ-RCO GGUF 剪枝版,每层保留 512 个路由专家中的 352 个,未重量化或重训,基于 IST-DASLab 的 RCO 专家搜索。在 RTX 4050 6GB 加 16GB 内存的笔记本上以 Strata 0.1.42 达到 10.8 tokens/s,全量 512 专家版为 9.0;代价是事实问答 NQ-open 得分 28.4%(全量 33.1%),greedy 代码答案循环次数明显增多。与 dense Qwen3.8-27B 在事实和代码上打平;相比专注代码的 ISTA Coder 速度更快且可在代码外使用。文件共约 56.5 GB,附带 Strata 运行配置和专家档位文件。

    推荐理由:原文给出完整速度与基准对照数据,读者可以直接判断这版 352 专家剪枝文件在自己的显存预算下值不值得用。

  1. Hugging Face · 新模型:uncensored60

    Qwen3.8-27B-Uncensored 的 EXL3 4.00bpw 量化版发布,单卡 24 GB 跑满 262K 上下文

    sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版,权重、lm_head、视觉塔和 MTP 头均为 4-bit,仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测:加载后显存 21.0 GB,无思考模式 155–167 tok/s,MTP 起草接受率 81%;作者注明只做了短测,最长提示词 9K tokens,质量未对照 BF16 源模型。许可为 Apache 2.0,去对齐工作来自 llmfan46。

    推荐理由:作者给出了单张 24 GB 卡上的实测数据,包括显存、速度和 MTP 接受率,对想本地跑同款量化的人有直接参考价值。

  2. Hugging Face · 新模型:uncensored62

    beginning-ai 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 混合精度量化版

    beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored(去拒绝的 BF16 版)的 NVFP4 混合精度量化,目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个;checkpoint 占盘 120 GiB(BF16 源为 335 GiB),GPU 上约 78 GB 权重,47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s(2K 上下文)、约 240 tok/s(200K),KV cache 786K token、上下文 524K。

    推荐理由:原文给出了逐张量对比、校准数据与拒绝行为说明,读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。

  1. Hugging Face · 新模型:uncensored54

    YueFong 发布 Qwen-Image-2.1 Uncensored GGUF 量化版

    YueFong 在 Hugging Face 上发布基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化版,用于本地图像生成。该版本移除内置安全检查器,可直接生成成人及敏感图像而不出现提示词拒答或黑图;提供 BF16 到 Q4_0 等多档量化(如 Q4_K_M 为 4.60 GB),并附配套文本编码器 qwen3vl_8b 与 VAE 文件、ComfyUI 及 ComfyUI-GGUF 的部署与低显存配置说明。

    推荐理由:原文列全了各量化档位的文件体积与显存占用,还给出 ComfyUI 的部署步骤和文本编码器卸载方案,照做即可跑通本地生图。

  2. Hugging Face · 新模型:abliterated57

    swdq 发布 Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX 4-bit 量化版

    swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重,并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors,供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark(GB10)上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测,8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s;相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。

    推荐理由:原文给出了完整的量化方法、实测吞吐数据和复现命令,读者可以直接拿来在单机上部署这个 4-bit 版本。

  3. Hugging Face · 趋势模型71

    autotrust 发布 GLM5.3-Flash-E192-DGX-Spark 剪枝版,124 GiB 权重可单卡 B200 运行

    autotrust 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的非官方精简版 GLM5.3-Flash-E192-DGX-Spark,通过 NAS 每层保留 288 个路由专家中的 192 个、专家用 NVFP4 量化,每 token 仍激活 18B 参数,权重 124 GiB 为家族最小,单张 180 GB Blackwell GPU 可跑,双 DGX Spark 各承担约 62 GiB。

    推荐理由:作者用同一套评测跑出 E192/E224/E256 三档在显存、KV 容量和各基准上的差异,便于按硬件选型。

  4. Hugging Face · 新模型:uncensored52

    Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布,为 12/16/24 GB 显卡保留原生 MTP 头

    codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化,采用 Unsloth 逐张量配方,MTP 头(blk.64)在各档保持 q6_K/q8_0,使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍,RTX 4080 上开启 MTP 后代码生成 55 tok/s,约为关闭时的 1.9 倍;拒绝率数据来自 llmfan46 的 Heretic v2(3/100 拒绝),本仓库未复测。

    推荐理由:作者对每档量化都实测了 KLD、top-1 命中率和解码速度,并与同权重其他量化逐项对比,数据可直接用于选型。