跳到正文
  1. Reddit · r/LocalLLaMA60

    Lure-TTS 与 Lure-Turbo:600M 语音模型跑出 4 倍实时速度,训练成本不到 $200

    /u/smirkishere 基于 Qwen3-TTS 0.6B 微调出 Lure-TTS 和 Lure-Turbo 两个语音模型,支持内联标签、语音方向控制和音色克隆,训练成本不到 $200。Turbo 的 RTF 为 0.14,对比 5B Fish S2 Pro 的 0.195,同时保持相同说话人相似度(ECAPA 0.699)。作者还发布了 Lure-TTS 推理引擎,基于 faster-qwen3-tts(CUDA)、mlx-audio(Mac)和 audio.cpp(CPU),在 4090 上首音频输出 0.17s(参考代码为 10.6s),整体快约 5 倍(RTF 0.53 vs 2.54),支持流式 0.32s 分块、CUDA graphs 和最多 8 路并发。

    推荐理由:作者公开了训练流程、RTF 与 ECAPA 对比数据和训练代码,可复现的低成本 TTS 微调路线有参考价值。

  2. GitHub · 去对齐工具与仓库57

    Swedish Embedded 开源 brain:单个 Rust 程序完成模型推理、训练与量化部署

    Swedish Embedded AB 开源 brain,用单个 Rust 程序在现有硬件上下载、运行、微调、量化模型,并通过 OpenAI 兼容 API 提供服务,无需 Python、PyTorch 或独立推理运行时。支持 Qwen3、GLM、YOLOv8、FLUX.2 Klein、Qwen3-TTS 等文本、视觉、语音和世界模型,内置 wgpu、vulkan、cuda、cpu 四个后端,可跑在 NVIDIA/AMD/Intel GPU、CPU、Intel NPU 和浏览器中;每个导入模型与参考实现逐步对比测试,训练用有限差分数值校验,后端间做一致性检查,许可证为 Apache-2.0。

    推荐理由:一个 Rust 程序覆盖下载、推理、微调、量化和 OpenAI 兼容服务,不依赖 Python 或 PyTorch,并给出后端一致性等自检测试。

  3. GitHub · 灵魂体仓库61

    llm-deployment-benchmarks 实测开源模型何时能替代 Claude Opus 5.5

    作者发布 llm-deployment-benchmarks 项目,在 Fireworks AI 上做两组实验,比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中,GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5,9B 模型响应快 4–7 倍也打平,而对含噪标签微调反而变差;国际象棋任务中,对 73k 局面的微调把合法走子率从 36% 提到 71%,但最佳走子准确率仍是 3%,只有前沿级开源模型 Ember-1 接近 Claude,约为每步 4 倍时间和成本。

    推荐理由:作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距,结论是 prompt 质量常比模型大小更关键。

  4. Reddit · r/SillyTavernAI63

    zoracapri 发布 gemma-4-31B-Monadize-v0.1 微调模型,改善角色名重复问题

    作者 /u/zoraruha 微调 Gemma 4 31B 发布了 Monadize(gemma-4-31B-Monadize-v0.1),通过调整 next-token 概率分布和单字符分词来减少 "Elara" "Elias" 这类高频名字的重复。temperature 为 1 时生成 30 个角色名和 30 个城市名,基座 Gemma 大量重复,Monadize 产出 60 个不重复名字,起始字母的 token 分布也明显更宽。作者还观察到叙事风格有变化,并提示这是实验性模型,以关闭 thinking 的方式微调,建议保持 thinking 关闭;模型发布在 https://huggingface.co/zoracapri/gemma-4-31B-Monadize-v0.1。

    推荐理由:作者给出了基座与微调模型的 next-token 分布对比和 30+30 命名实测数据,方法与结果都可复现查看。

  5. Reddit · r/LocalLLaMA68

    mlx-decision 开源工具:在 Apple Silicon 上用 MLX 本地运行和微调决策模型

    作者发布开源 Python 包 mlx-decision,可在 Mac 上用 MLX 本地运行 Clef、pplx-decider、d3、H2O-Lightning、LiquidAI d1 等开放决策模型。输入消息、文档或截图加带类型的问题,一次前向即返回各选项的概率与置信度;与原 PyTorch 代码逐 token 校验,同答案下在 MPS 上通常快 1.4–6 倍,M5 Pro 上 d1-3B 短请求 0.06 秒。附带本地 Web Studio 支持对比模型、跑数据集评测和微调,d1-3B 微调 4 分钟在 TREC 上从 86.6% 提到 96.4%;MIT 协议,需 macOS 14+ 和 Python 3.12+,仓库 https://github.com/armbues/mlx-decision。

    推荐理由:作者给出了各模型在 Apple Silicon 上的实测延迟和微调前后准确率对比,本地部署决策模型时可参考这些数字选型。

  1. arXiv · cs.AI54

    TopKLoRA 可解释稀疏微调方法支持忠实回路发现

    作者提出 TopKLoRA,一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体,仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,识别并消融了实现后门所必需且充分的回路,稀疏回路比稠密 LoRA 基线小至多一个数量级,可在不牺牲指令跟随性能的情况下手术式移除恶意能力,并开放了代码。

    推荐理由:论文给出可解释稀疏微调方法,并在多个模型上定位并消融后门回路,稀疏回路比稠密 LoRA 小约一个数量级。

  1. GitHub · 灵魂体仓库64

    千问杯多模态大赛第3名方案开源:Qwen3.5-0.8B 蒸馏 SFT + GRPO 小剂量 RL 全流水线

    参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名(获2万元奖金)的完整方案:在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT(初赛 41.8 分压线晋级),再用 GRPO 30 步小剂量 RL(决赛榜 20.2 分,第 9/20),答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告,权重托管于 Hugging Face;核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。

    推荐理由:作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据,0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。

  1. GitHub · 去对齐工具与仓库58

    yfHHHE 开源 emoji-native-lm:只会用 1 到 3 个 emoji 回复的 Qwen3-1.7B 微调模型

    yfHHHE 发布 emoji-native-lm,基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调,对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息,由 Claude Opus 生成并回复,覆盖 1,915 种 emoji;666 条评测提示下经 wrapper 的回复 100% 合规,首轮采样合规率 98.9%,而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF(1.8 GB q8_0)及 Python wrapper 部署方案,代码采用 Apache 2.0 许可。

    推荐理由:仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据,读者可以照此复现并借鉴其偏见修正做法。

  2. Reddit · r/LocalLLaMA63

    HuggingFaceBio 发布 Carbon-X:基于 Qwen3-14B 微调的 14.8B DNA 语言模型

    HuggingFaceBio 发布 Carbon-X,一个 14.8B 参数的 decoder-only 模型,在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练,可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA,无独立 DNA 编码器;五个 DNA 基准平均 66.7%(关闭思考),比 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800;估计分析 ClinVar 240 万个意义不确定变异约需 $300,而所测前沿模型需 $32,000 至 $400 万。

    推荐理由:原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比,可据此评估这个 DNA 微调模型的实际水平。

  1. Hugging Face · 趋势模型59

    HuggingFaceBio 发布 14.8B DNA 语言模型 Carbon-X

    Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X,基于 Qwen3-14B,用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%(关闭思考),比起点 Qwen3-14B 高 27 分,接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800,分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU,可用 vLLM 部署,支持作为 agent 工具调用,未做临床验证、不可用于医疗决策。

    推荐理由:原文给出五项 DNA 基准得分、成本对比和完整训练配方,读者可以据此评估这个 DNA 语言模型的实际水平与用法。

  2. GitHub · 灵魂体仓库66

    overbrainer 开源:命令行把大模型蒸馏成小模型并用 Axolotl 微调

    GitHub 开源工具 overbrainer v0.9.0 支持从命令行把大的父模型蒸馏成更小的开放权重子模型:向父模型生成问题并收集带推理的回答,用 Axolotl 在本地、SSH 机器或 Runpod 上做 LoRA 微调,再导出量化 GGUF 和 Ollama Modelfile。overbrainer compare 在评测集上对比子模型与父模型的胜率、延迟和每千次请求成本,并提供六视图终端 UI、Prometheus 指标和可安装到 Claude Code 的 agent skill。项目处于早期开发阶段,1.0 前小版本可能有破坏性变更。

    推荐理由:从生成数据集到用 Axolotl 微调再到导出 GGUF 全流程一条命令走完,还用胜负率和成本对比衡量孩子与父模型的差距。

  3. Reddit · r/LocalLLaMA70

    开发者为 llama.cpp 实现快速 LoRA kernel,Strix Halo 上 PP 从 300 提升到 1400 t/s

    /u/woct0rdho 为 llama.cpp 编写了 LoRA 推理 kernel,代码见 https://github.com/woct0rdho/llama.cpp 。在 Strix Halo 上,加载 35 MB 的 LoRA(如把 Qwen3.8-Flash-Next 转成 uncensored 版的 chenrm/qwen3.8-flash-next-abliterated-lora)原本使 PP 从约 1500 降到 300 t/s,通用 kernel 提升到 1000 t/s,fused kernel 进一步到 1400 t/s。LoRA scale 可调节去审查与能力损失之间的平衡,且无需重新下载整个模型。

    推荐理由:作者给出了 LoRA 推理在 Strix Halo 上从 300 到 1400 t/s 的实测数据,并开放了可复用的 kernel 代码。

  4. Hugging Face · 新模型:uncensored72

    GLM-5.3-Flash 去中国政治审查 LoRA 发布,敏感话题审查率从 65% 降至 1%

    zjj1993 发布面向智谱 GLM-5.3-Flash 的去中国政治审查 LoRA(rank 32,107M 参数,仅作用于 attention 与 shared experts),采用自蒸馏 SFT 加 DPO 两阶段训练,可精确合并进 nvidia/GLM-5.3-Flash-NVFP4 的 BF16 权重。

    推荐理由:原文给出训练方法与前后对照数据,敏感话题审查率从65%降到1%,能力测试差异也在文中列明,可据此自行判断。

  1. arXiv · cs.CL54

    WeAct 论文提出动态权重切换作为 Agent 内部动作

    Rui Shi 等发布 arXiv 论文 WeAct,在冻结骨干上训练能力专属 LoRA 适配器,并把适配器选择加入 Agent 动作空间,用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上,Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少,比最强静态 LoRA 合并方法高 27.5%,并支持不改动骨干的模块化持续扩展。

    推荐理由:把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘,在 8 个 deep-research 基准上给出了与全量微调的对比数字。

  1. GitHub · 灵魂体仓库60

    qibin0506 开源 llm_trainer 全流程 LLM/VLM 训练与强化学习框架

    GitHub 仓库 qibin0506/llm_trainer 发布,是一个基于 PyTorch 与 DeepSpeed 的 LLM/VLM 训练框架,覆盖 Pretrain、SFT、DPO/ORPO/SimPO 到 PPO 与 GRPO 的完整流程,支持 8 种 GRPO 变体算子(grpo、bnpo、dr_grpo、cispo、dapo、luspo、sapo、vespo)。框架内置 Muon 优化器自动混合参数分组与多学习率比例调度,通过分块交叉熵、Active Token Filtering 和生成/评估分块降低显存峰值,支持多轮 Agent 强化学习交互与奖励折叠,并适配 NVIDIA CUDA、华为昇腾 NPU、寒武纪 MLU 和 Apple Silicon MPS 后端。

    推荐理由:原文完整给出了从预训练到 GRPO 的训练流程与关键显存优化手段,读者可以对照自己的硬件环境判断哪些模块可直接迁移。

  2. GitHub · 去对齐工具与仓库58

    next-experiment 开源:用因果实验定位 LLM 微调失败原因

    MaxKharlan 发布 next-experiment,一个在 Nebius Token Factory 上诊断微调失败原因并做因果验证的智能体。它先按概率排序可能病因,用最便宜的探针和 fix/control 对照实验确认病因,确认后才在批准后重训。演示案例中 Qwen3-0.6B 因学习率 1e-5 过低只答对 14% 的 200 条 held-out 查询,4 个 Post-training job 证实病因后重训达 42.5%,全程约 $0.075。基准在 13 个 Token Factory 任务上对比四种方法,Next Experiment 9/9 找到病因、0 误报,成本比 ReAct 低 30%。仓库含 HTTP API、调查回放页面、权重探针与完整文档,Apache 2.0 许可。

    推荐理由:原文给出基准对比数据,这个诊断智能体以低 30% 的成本达到与 ReAct 相同的病因定位成功率,方法可迁移到自己的微调排查。

  3. GitHub · 去对齐工具与仓库66

    dragonfarm:在 R 中用自己的文档微调本地语言模型

    tejas4patel 发布 R 包 dragonfarm,可从 PDF、Word、网页等文档自动生成问答训练数据,经人工审核后用 QLoRA 微调本地模型,内置 RAG 可直接基于文档作答。7B 模型 4-bit 加载可放进 8 GB 笔记本 GPU,示例中 Qwen2.5-7B-Instruct 在 RTX 406 上训练约 22 分钟,修复了 0.5B 版本答错的退换政策细节;0.5B 训练约 2-4 分钟。产出为 Hugging Face transformers 可加载的 adapter 或合并模型,MIT 许可,已上架 CRAN。

    推荐理由:作者用同一批工单给出 0.5B 与 7B 微调前后的对照输出和耗时数据,读者可据此评估在自己文档上微调的可行路径。

  1. arXiv · cs.AI52

    在手机 NPU 上运行一阶 LoRA 训练的系统研究

    论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统,训练图、适配器和优化器留在 CPU,并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护,支持可恢复执行和热节流以作为后台任务运行,在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。

    推荐理由:论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法,涉及输入梯度实现、精度选择和端侧个性化工作负载,思路可迁移。

  1. Hugging Face · 趋势模型73

    腾讯混元发布 Hy-Memory-30B-A3B 专用长期记忆写入模型

    腾讯混元发布 Hy-Memory-30B-A3B,一个约 3B 激活参数的长期记忆写入模型,可直接替换 Mem0、MemOS、Hy-Memory 等外部记忆框架中的通用 LLM。训练分两阶段,先做 Memory On-Policy Distillation 再做归因记忆强化学习,可零改动迁移到未参与训练的 EverMemOS。在固定 20% 基准子样本的四框架宏观平均分上得 55.49,超过 Claude Opus 5(54.62)和 DeepSeek V4.1 Flash(53.64)。权重、框架代码和技术报告均已开源。

    推荐理由:原文给出了固定基准矩阵上与多个通用大模型的横向对比,可以评估这个小模型在记忆写入上的性价比。

  2. Hugging Face Blog71

    Black Forest Labs 发布 FLUX.3 Image Klein,首日支持 Diffusers

    Black Forest Labs 发布 FLUX.3 Image Klein,开放蒸馏版(16 步、无 CFG)和 base 版(50 步、CFG)两个权重,首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制,蒸馏版在 H100 上约 2 秒生成 1024×1024 图像,提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。

    推荐理由:官方教程给出两个开放权重的显存占用和 H100 实测生成耗时,还拆解了架构细节,方便评估部署成本。