跳到正文
  1. Reddit · r/SillyTavernAI63

    zoracapri 发布 gemma-4-31B-Monadize-v0.1 微调模型,改善角色名重复问题

    作者 /u/zoraruha 微调 Gemma 4 31B 发布了 Monadize(gemma-4-31B-Monadize-v0.1),通过调整 next-token 概率分布和单字符分词来减少 "Elara" "Elias" 这类高频名字的重复。temperature 为 1 时生成 30 个角色名和 30 个城市名,基座 Gemma 大量重复,Monadize 产出 60 个不重复名字,起始字母的 token 分布也明显更宽。作者还观察到叙事风格有变化,并提示这是实验性模型,以关闭 thinking 的方式微调,建议保持 thinking 关闭;模型发布在 https://huggingface.co/zoracapri/gemma-4-31B-Monadize-v0.1。

    推荐理由:作者给出了基座与微调模型的 next-token 分布对比和 30+30 命名实测数据,方法与结果都可复现查看。

  1. Reddit · r/LocalLLaMA71

    Baseten 开源 9B 决策模型 elephant-1,Decision Index 得分 65 追平 d1-ultra

    Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1(MIT),不生成文本,而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分,与 d1-ultra 持平,成本约 $8/1M tasks,约为 d1-ultra(约 $31)的四分之一;Jev Decision Index 0.4 得 62.65,为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分,Omniscience 非幻觉率 93 但准确率仅 12,倾向回答不知道。

    推荐理由:原文给出 Decision Index 得分、成本对比和分项基准数据,还说明了训练数据构成与架构改动来源,便于判断适用场景。

  1. Reddit · r/LocalLLaMA59

    Swift-1.5-Qwen3.8-27B 推出 hipfire MQ4 量化版,7900 XT 上端到端约 2.2 倍于 Q4_K_S GGUF

    Reddit 用户 /u/Queasy_Asparagus69 将 Swift-1.5 微调版 Qwen3.8-27B 量化为 hipfire 的 MQ4 格式并附带 MTP 头用于投机解码,目标是让 AMD 用户获得比 llama.cpp 更快的速度。在 RX 7900 XT 20GB、ROCm 7.1 环境下,Prefill 快约 1.4–1.85 倍,16K 上下文约 1100 tok/s(llama.cpp 约 700);带 MTP 的真实 prompt 解码 36.5 tok/s(τ≈1.94),16–49K 上下文为 52–59 tok/s。六个约 10–20K token 的真实 Rust 编码任务全套耗时 237 秒,对 llama.cpp 的 530 秒,端到端快 2.24 倍。

    推荐理由:作者在同一块 7900 XT 上用真实 Rust 任务给出与 llama.cpp 的逐项速度对比,数据足够具体可复现。

  1. Reddit · r/LocalLLaMA62

    QUASAR 发布 Qwen3.5、Gemma 4 与 Muse Glimmer 的 4-bit QAT 权重,KL 距离低于 Google 与 NVIDIA 官方 4-bit 版

    QUASAR 团队发布多款模型的 4-bit QAT 量化权重,包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B,提供 NVFP4(vLLM)和 Q4_0 GGUF(llama.cpp / Ollama / LM Studio)格式,代码与项目页已公开。方法为量化感知蒸馏,以原 BF16 模型为教师在其自身回复上修复量化损失;在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。

    推荐理由:原文给出与官方 4-bit 版本的 KL 距离和基准对比数据,读者可以据此判断这套 QAT 权重的实际损失有多大。

  1. Reddit · r/LocalLLaMA61

    TYGER 开放权重:单一模型同时做 ASR 与全双工轮次控制

    nineninesix 开放 TYGER 权重,单一模型同时处理 ASR 与全双工轮次控制,能识别说完、被打断和附和的 mm-hm。中位端点延迟 250 ms、80 ms 帧、无 lookahead;配套语音 Agent tyger-s2s 由 TYGER + Gemma 4 E4B + VoxCPM2 组成,单张 32 GB GPU 最多支持 4 路对话,目前仅支持英语。权重在 https://huggingface.co/nineninesix/tyger,代码在 https://github.com/nineninesix-ai/tyger-s2s。

    推荐理由:作者给出端点延迟、帧长和单卡并发数等具体指标,可据此评估这套语音方案在本地部署的可行性。

  2. Reddit · r/LocalLLaMA63

    Sabi-Noema:面向能力与效率的 Qwen 3.8 27B 微调模型发布

    作者发布两个 Qwen 3.8 27B 后训练版本 Sabi-Noema 和 Sabi-Noema-MLA,仅用开源环境训练,声称在 <30B 模型中提升编码、Agent 和工具调用能力并降低幻觉率。Sabi-Noema 在 DeepSWE 上超过 GPT 6 Luna-medium,在 TB2.1、Tau-3 bench、ClawEval、BFCL v4 上超过 Luna-high,比基座 Qwen 在 TB2.1 少生成 50% token、在 DeepSWE 少 25%。

    推荐理由:原文给出了 token 减量和 KV cache 压缩的具体数字,还附带 24GB 显卡上的上下文对比,便于评估实际收益。

  1. Reddit · r/LocalLLaMA70

    LlamAmpere 更新:Qwen3.8 27B 在 12GB Ampere 卡上跑 200K ctx + MTP

    /u/Brief-Tap-6616 发布 LlamAmpere 更新,主要面向 12GB Ampere 显卡用户,实测 Qwen3.8 27B 支持 205k-230k ctx(11GB,YaRN 下约 340K),并新增 Staged + Journaled KVaRN 变体,KLD 较论文忠实版和竞争版降低约 40%。

    推荐理由:作者给出了具体 KLD 数字、ctx 长度和多张卡的实测吞吐,12GB 显存用户可以据此评估这套方案是否够用。

  2. Reddit · r/LocalLLaMA72

    Qwen3.8-27B 无对齐 Heretic 版 UD-IQ4_XS 量化发布,16 GB 显卡开 MTP 达 55-68 tok/s

    Reddit 用户 /u/ZestRocket 基于 llmfan46 的 uncensored Heretic 权重,套用 Unsloth 的 UD 配方自行量化出 12/16/24 GB 三个版本,托管在 Hugging Face(codavidgarcia/Qwen3.8-27B-Uncensored-Heretic-MTP-UD-GGUF)。16 GB 的 UD-IQ4_XS 在 RTX 4080 上开 MTP 实测代码 55 tok/s、散文 50 tok/s(关 MTP 仅 29/29),并以 Q8_0 为基准对比了各量化的 KLD 质量。作者还发现 2 个草稿 token 优于 3 个、显存溢出会让速度骤降(开 Chrome 掉到 0.2 tok/s),并附上配方提取与基准测试脚本。

    推荐理由:作者自建 UD 量化并附 KLD 与不同显存下的实测速度数据,方法与脚本可复用,适合想在 16 GB 显卡跑带 MTP 无对齐模型的人参考。

  1. Reddit · r/LocalLLaMA62

    DecisionTune 1.0 发布:395M 决策模型可离线从给定选项中挑选,MLX 上约 10 毫秒完成短决策

    作者 /u/Abe238 发布 DecisionTune 1.0,一个基于 ModernBERT-large 加 4 KB 评分头的 395M 决策模型(Apache-2.0),输入状态、问题和选项列表后单次编码即输出各选项概率或 yes/no 的 P(yes),不生成文本。

    推荐理由:作者给出了自家机器上的延迟、显存和 Decision Index 分数等实测数字,便于评估是否将其嵌入本地 Agent 决策环节。

已经到底了