跳到正文
只看开源模型#Reddit
今天10月27日周二1 条
  1. Reddit · r/LocalLLaMA33

    4B 编程模型更新：Qwen3.5-4B 微调版生成 3D 场景能力持续提升

    一名开发者正在训练用于通用编程的 Qwen3.5-4B 微调模型，以 Three.js 场景生成作为主要测试，新 checkpoint 在场景质量和一次生成成功率上明显提升。已更新 Q4_K_M 和 Q8_0 量化版本并修复此前文件的 layer 问题。训练预计于 10 月 28 日 07:30 UTC 结束，届时将发布 FP16 全量权重、全部量化版本、训练数据集和技术报告。

10月26日周一
  1. Reddit · r/LocalLLaMA22

    CrowdGPT：一个协作训练的大语言模型项目

    开发者推出 CrowdGPT 项目，目标是在不建数据中心、不投入数百万美元的情况下，协作训练一个 10 亿参数的模型。参与者可用自己的 PC 独立训练并将贡献汇入全局模型，项目开源且 100% 公开训练数据和权重。当前模型规模仅作概念验证，作者正在征集反馈以降低参与门槛。

10月25日周日
  2. Reddit · r/SillyTavernAI63

    zoracapri 发布 gemma-4-31B-Monadize-v0.1 微调模型，改善角色名重复问题

    作者 /u/zoraruha 微调 Gemma 4 31B 发布了 Monadize（gemma-4-31B-Monadize-v0.1），通过调整 next-token 概率分布和单字符分词来减少 "Elara" "Elias" 这类高频名字的重复。temperature 为 1 时生成 30 个角色名和 30 个城市名，基座 Gemma 大量重复，Monadize 产出 60 个不重复名字，起始字母的 token 分布也明显更宽。作者还观察到叙事风格有变化，并提示这是实验性模型，以关闭 thinking 的方式微调，建议保持 thinking 关闭；模型发布在 https://huggingface.co/zoracapri/gemma-4-31B-Monadize-v0.1。

    推荐理由：作者给出了基座与微调模型的 next-token 分布对比和 30+30 命名实测数据，方法与结果都可复现查看。

10月24日周六
  1. Reddit · r/SillyTavernAI38

    ReadyArt 推出 Wicked Stuff 系列模型，基于 Kitchoon-V3-26B-A4B 用 QLoRA 训练

    ReadyArt 发布 Wicked Stuff 系列模型，在 Wicked Tutu 数据集基础上新增约 1000 条 prompt，并加入反向角色 prompt 使数据更完整。该数据集以黑暗风格为主、混入部分常规内容，在 scotoma 2 基座上以 QLoRA（而非 LoRA）方式训练于 Kitchoon-V3-26B-A4B。作者提示需配合 RP prompts 才能正常使用。

  4. Reddit · r/LocalLLaMA41

    Mica v0.5 决策模型实测：4B 比 395M 编码器快 2.2 倍，比同级 4B 模型快约 10 倍

    Mica v0.5 是基于 Qwen3.5-4B + LoRA 的决策模型，单次前向传播输出各选项概率。在 RTX 6000 Ada 上对比，其单次决策中位耗时 11-18 ms，比同为 4B 的 PPLX Decider 1.2 Flash（约 133-157 ms）快约 10 倍，比 395M 参数的 Laya（约 31-33 ms）快约 2 倍；日志狩猎任务中 1.7 秒处理 150 个日志块、捕获 22 处入侵中的 21 处，准确率约 95%。

  5. Reddit · r/LocalLLaMA71

    Baseten 开源 9B 决策模型 elephant-1，Decision Index 得分 65 追平 d1-ultra

    Baseten Base Labs 开源了基于 Qwen3.5-9B 后训练的 9B 决策模型 elephant-1（MIT），不生成文本，而是对 yes/no、多选或有序评分问题直接从选项字母 logits 输出概率。Artificial Analysis 独立评测其 Decision Index 得 65 分，与 d1-ultra 持平，成本约 $8/1M tasks，约为 d1-ultra（约 $31）的四分之一；Jev Decision Index 0.4 得 62.65，为 15B 以下最佳。When2Call 95 分、WildGuardTest 93 分，Omniscience 非幻觉率 93 但准确率仅 12，倾向回答不知道。

    推荐理由：原文给出 Decision Index 得分、成本对比和分项基准数据，还说明了训练数据构成与架构改动来源，便于判断适用场景。

10月23日周五
  1. Reddit · r/LocalLLaMA35

    用户开源预训练小型 MoE 模型，供社区微调用于特定任务

    一位 Reddit 用户预训练了一个小型 SLM 并开放用于微调：该模型是基于 7.28M backbone 的稀疏 11M MoE（活跃参数 5.52M，top-1 路由、2 专家），在约 5.7B token 上训练，上下文窗口 2048。作者同时开源了整套训练管线，支持 CUDA 并针对 Blackwell 2.0 优化，CPU 完全对等；模型权重与快速上手指南已发布在 Huggingface。

  2. Reddit · r/LocalLLaMA36

    Qwen3-0.6B 被转换为 MoE 版本

    Reddit 用户 Bayliner1980 将 Qwen3-0.6B 转换为 MoE 架构，发布 bayliner1980/Qwen3-0.6B-MoE-A0.5B 及 GGUF 版本，这是其首个 chat 风格转换。因 Qwen3 无 shared expert，作者采用 pseudo-shared expert 部分恢复质量；评测显示 Wiki ppl 从 23.88 升至 26.98，各质量指标均差于原模型，0.6B 规模下 CPU 生成 124 t/s 略快于 dense 的 115 t/s，GPU 生成则略慢。作者建议只想要小模型就直接用 Qwen3-0.6B。

  3. Reddit · r/LocalLLaMA59

    Swift-1.5-Qwen3.8-27B 推出 hipfire MQ4 量化版，7900 XT 上端到端约 2.2 倍于 Q4_K_S GGUF

    Reddit 用户 /u/Queasy_Asparagus69 将 Swift-1.5 微调版 Qwen3.8-27B 量化为 hipfire 的 MQ4 格式并附带 MTP 头用于投机解码，目标是让 AMD 用户获得比 llama.cpp 更快的速度。在 RX 7900 XT 20GB、ROCm 7.1 环境下，Prefill 快约 1.4–1.85 倍，16K 上下文约 1100 tok/s（llama.cpp 约 700）；带 MTP 的真实 prompt 解码 36.5 tok/s（τ≈1.94），16–49K 上下文为 52–59 tok/s。六个约 10–20K token 的真实 Rust 编码任务全套耗时 237 秒，对 llama.cpp 的 530 秒，端到端快 2.24 倍。

    推荐理由：作者在同一块 7900 XT 上用真实 Rust 任务给出与 llama.cpp 的逐项速度对比，数据足够具体可复现。

  4. Reddit · r/LocalLLaMA25

    Unsloth Dynamic IQ4_XS 版 Swift 1.5 Qwen 3.8 FN 去审查量化发布，附 Strata 支持

    Reddit r/LocalLLaMA 用户发布 Swift 1.5 Qwen 3.8 flash next 的 heretic 去审查版量化模型（mean KLD 0.06，median 0.02），按 per-tensor 量化为 Unsloth Dynamic IQ4_XS 格式，使用面向智能体场景（英文、工具调用、数学、代码、推理）的自定义 imatrix。该版本已 strata ready，附带包含 mtp head 和视觉组件等所需文件的 zip 包，质量高于 ISTA 版。

10月22日周四
10月21日周三
  2. Reddit · r/LocalLLaMA51

    Qwen3.8-Flash-Next 1.66bpw EXL3 量化可完整装入 5090 并稳定推理

    /u/Unstable_Llama 在 r/LocalLLaMA 分享 Qwen3.8-Flash-Next 的 1.66bpw EXL3 量化版本，无需 offload 专家即可完整装入 5090。推理全程稳定、无推理循环，速度 200-300 t/s；因 32 GB 显存即便配合 cache 量化上下文空间仍紧张，需做较多 compacting。权重发布在 https://huggingface.co/turboderp/Qwen3.8-Flash-Next-exl3，附量化模型生成的液体猫演示视频。

  3. Reddit · r/LocalLLaMA48

    KRAFTON 发布 Raon-1-mini-preview：30B-A4B MoE 开源模型

    KRAFTON AI 从零训练的 Raon-1 mini 是 30B-A4B 的 MoE 大语言模型，以 Apache 2.0 许可开源，主打韩语对话与智能体任务。模型内置思考能力，支持 Hermes Agent、Pi 和 OpenCode 的工具调用，并提供 DFlash2 草稿模型加速投机解码；提供 MXFP8 与 NVFP4 量化版本，NVFP4 可在单张 RTX 5090（32 GB VRAM）上推理。

10月20日周二
  1. Reddit · r/LocalLLaMA49

    migtissera 发布 Tess-4.5-27B：基于 Qwen 的微调模型，token 用量减少 25%

    migtissera（Synthia 作者）发布基于 Qwen 微调的 Tess-4.5-27B，在 150 个 BenchLocal 场景中比基座 Qwen3.8-27B 少生成 25% 的 token 而得分相同。其中 CLI-40 少用 32% token 且得分更高，数据提取少用 43%，BugFind-15 少用 21%。更少 token 意味着更快出答案、上下文窗口占用更少，在本地 GPU 上还可与 draft head 叠加提速。

10月19日周一
  2. Reddit · r/LocalLLaMA42

    Qwen 3.8 27B LoRA「Herbert」玩贪吃蛇：每步决策约 600ms

    Reddit 用户用 Qwen 3.8 27B 的 LoRA 决策模型 Herbert（已合并为 gguf）驱动一个贪吃蛇游戏，模型每步从左转、右转、直行三个选项中决策，单次决策约 600ms。测试经 ssh 隧道连接 5090 + 64GB RAM 服务器，一次运行存活 370 ticks，此前最好成绩超 2200 ticks，经 llama.cpp 以 Q4_K_M 量化、200000 上下文运行。

  3. Reddit · r/SillyTavernAI36

    ReadyArt 发布 Swish 26B A4B 模型

    ReadyArt 发布 Swish 26B A4B 模型，基于 Dark Scarlett 和 Wicked Tutu 两套数据集训练，前者以深度角色回应著称，后者被作者称为其制作过的最露骨的数据集。作者称两者结合使模型整体保留尺度但质量不错，并计划视时间和资金情况推出 27B 和 31B 版本。

10月18日周日
10月17日周六
10月16日周五
  2. Reddit · r/LocalLLaMA62

    QUASAR 发布 Qwen3.5、Gemma 4 与 Muse Glimmer 的 4-bit QAT 权重，KL 距离低于 Google 与 NVIDIA 官方 4-bit 版

    QUASAR 团队发布多款模型的 4-bit QAT 量化权重，包括 Qwen3.5-4B、Gemma 4 E4B 与 12B、Muse Glimmer 30B，提供 NVFP4（vLLM）和 Q4_0 GGUF（llama.cpp / Ollama / LM Studio）格式，代码与项目页已公开。方法为量化感知蒸馏，以原 BF16 模型为教师在其自身回复上修复量化损失；在 held-out 提示上的 KL 距离普遍低于 Google QAT、NVIDIA NVFP4 等参考版本。

    推荐理由：原文给出与官方 4-bit 版本的 KL 距离和基准对比数据，读者可以据此判断这套 QAT 权重的实际损失有多大。

10月15日周四
  1. Reddit · r/LocalLLaMA61

    TYGER 开放权重：单一模型同时做 ASR 与全双工轮次控制

    nineninesix 开放 TYGER 权重，单一模型同时处理 ASR 与全双工轮次控制，能识别说完、被打断和附和的 mm-hm。中位端点延迟 250 ms、80 ms 帧、无 lookahead；配套语音 Agent tyger-s2s 由 TYGER + Gemma 4 E4B + VoxCPM2 组成，单张 32 GB GPU 最多支持 4 路对话，目前仅支持英语。权重在 https://huggingface.co/nineninesix/tyger，代码在 https://github.com/nineninesix-ai/tyger-s2s。

    推荐理由：作者给出端点延迟、帧长和单卡并发数等具体指标，可据此评估这套语音方案在本地部署的可行性。

  2. Reddit · r/LocalLLaMA63

    Sabi-Noema：面向能力与效率的 Qwen 3.8 27B 微调模型发布

    作者发布两个 Qwen 3.8 27B 后训练版本 Sabi-Noema 和 Sabi-Noema-MLA，仅用开源环境训练，声称在 <30B 模型中提升编码、Agent 和工具调用能力并降低幻觉率。Sabi-Noema 在 DeepSWE 上超过 GPT 6 Luna-medium，在 TB2.1、Tau-3 bench、ClawEval、BFCL v4 上超过 Luna-high，比基座 Qwen 在 TB2.1 少生成 50% token、在 DeepSWE 少 25%。

    推荐理由：原文给出了 token 减量和 KV cache 压缩的具体数字，还附带 24GB 显卡上的上下文对比，便于评估实际收益。

10月14日周三
10月13日周二
  1. Reddit · r/LocalLLaMA42

    后续：将稠密模型转换为 Mixture-of-Experts，新模型 Qwen2.5-1.5B-MoE-A0.9B 首次在 GPU 上也明显提速

    用户 Bayliner1980 继续稠密模型转 MoE 的转换工作，发布 Qwen2.5-1.5B-MoE-A0.9B，并放出 0.5B 与 1.5B 两款 GGUF 版本。Q4_K_M 下 GPU 生成速度提升 32%、CPU 提升 41%，是首次在 GPU 上也明显快于稠密模型的转换；代价是 WikiText-2 困惑度升高约 41%，ARC 下降最多，GGUF 体积也更大（1.1 GB vs 0.9 GB）。作者称此为概念验证，该方法在 MLP 占比更大的大模型上应更划算。

10月12日周一
  1. Reddit · r/SillyTavernAI24

    Bathory-X 实验版模型发布：基于 Gemma 4 26B A4B 的推理 MoE 写作模型

    社区作者发布实验模型 Bathory-X，一个基于 Gemma 4 26B A4B 的推理 MoE 模型，经微调用于散文写作与角色扮演（含 ERP），应已完全无审查。模型融合了多个优秀写作模型的内容，旨在消除常见 AI 写作套路如滥用明喻、三段排比等。作者提供 Transformers 版本与 GGUF 量化，并征集各 backend 的问题反馈与最佳 preset。

10月11日周日
  1. Reddit · r/LocalLLaMA67

    27B 级三值权重模型登陆 llama.cpp，约 5.9 GB 即可在本地跑推理

    一个 27B 级推理模型以三值权重形式发布 llama.cpp 版本，语言模型约 5.9 GB，比 FP16 小约 9.3 倍，保留 98.2% 的 FP16 智能水平。14 项 thinking 模式基准平均 84.78，明显高于 IQ2_XXS 的 72.59，接近体积大三倍的 UD-Q4_K_XL；Apple M5 Max 笔记本上约 47 tok/s，支持 262K token 上下文，提供 PTQ1_0 和 PQ2_0 两种 GGUF 打包。

  2. Reddit · r/LocalLLaMA52

    Microsoft 开源 AesCode 8B 与 32B，用 HTML/CSS 生成幻灯片、海报和仪表盘

    Microsoft 发布 AesCode 8B 与 32B 开放权重模型，以 HTML/CSS 生成信息丰富的幻灯片、海报和仪表盘等可视化产物。模型用同一提示词生成的图像作美学参考，同时按提示词保证内容，通过图结构监督和解耦跨模态奖励将语义要求与视觉线索分离；AesCode-32B 从 Qwen3-VL-32B-Instruct 出发，经冷启动 SFT 与七通道奖励的 GDPO 训练，在聚合基准上领先，权重和 GGUF 版本已上架 Hugging Face。

  3. Reddit · r/LocalLLaMA38

    网友从零训练 102M 递归 BitNet-v2 模型：64K 上下文，仅用不到 5B tokens

    Reddit r/LocalLLaMA 用户从零训练并开源了 Recursive BitNet N-Gram 102M 模型，结合三值权重、共享 Transformer 层和哈希 n-gram 嵌入，训练总成本约 100 欧元，处理不到 5B tokens，支持 65,536-token 上下文。模型含 102.28M 独特参数，六个 Transformer 块共享权重运行两次；lm-eval zero-shot 基准平均分 40.59%，ARC-Easy 为 40.11%。权重、推理代码和评测结果已在 Hugging Face 发布，含 409.14MB FP32 主权重和 124.24MB 打包导出。

  4. Reddit · r/LocalLLaMA32

    将稠密模型转换为 MoE：Qwen2.5-0.5B 与 SmolLM2-360M 的转换实验

    Reddit r/LocalLLaMA 用户 Bayliner1980 将 Qwen2.5-0.5B 和 SmolLM2-360M 两个稠密模型转换为稀疏 Mixture-of-Experts 模型，无需从头预训练，转换结果已发布在 HuggingFace。两个 MoE 模型均含 32 个专家、top-8 路由加共享专家，每 token 的 MLP 计算量约为原来的 40% 和 44%，但在 WikiText-2/C4 困惑度和五项评测的平均准确率上均低于原始稠密模型。作者在 RTX 4060 (8gb) 上完成实验，后续计划转换更大的模型并测试更细的专家布局。