新闻、仓库与研究，按时间排列。
作者 /u/textclf 发布了用于微调开源模型的 Training Factory 平台，主打对 4-bit 量化模型做 QLoRA 而非全精度微调以降低 GPU 成本。所用 CQ（Coded Quantization）为免校准量化，作者在 Qwen 3.8 27B 上用 Wikitext-2 对比称其 KLD 优于 unsloth-bnb-4bit（磁盘占用 18GB 对 22.4GB，Top 1% 一致率 92.419% 对 91.954%）；在 Alpaca 数据集上用单张 A40（48GB）跑通训练，峰值 PyTorch 分配显存 25.5 GiB、稳态中位每步约 14.99 秒。
GitHub 仓库 thackerhelik/finetuningcourse 提供端到端的三阶段 LLM 后训练流程（Domain Adaptation → SFT → DPO），将 TinyLlama-1.1B 适配到药理学领域，并通过 Ollama 本地部署。仓库包含 data、experiments/metformin、notebooks 目录及 export_to_ollama.py 导出脚本，目前尚无 star 和 fork。
HuggingFaceBio 发布 Carbon-X，一个 14.8B 参数的 decoder-only 模型，在 Qwen3-14B 基础上用 DNA 序列与自然语言联合训练，可在普通对话中直接分析原始 DNA 并用英文回答。混合 tokenizer 用 BPE 处理文本、以 6-mer 编码 DNA，无独立 DNA 编码器；五个 DNA 基准平均 66.7%（关闭思考），比 Qwen3-14B 高 27 分，接近 GPT-6.1 Sol 的 67.5% 而推理成本约其 1/1,800；估计分析 ClinVar 240 万个意义不确定变异约需 $300，而所测前沿模型需 $32,000 至 $400 万。
推荐理由：原文给出五个 DNA 基准的平均分、与基线模型的差距和成本对比，可据此评估这个 DNA 微调模型的实际水平。
参赛队「广州智行科技」开源千问杯多模态推理大赛最终第3名（获2万元奖金）的完整方案：在 Qwen3.5-0.8B 上先蒸馏 Qwen3.6-27B 的 113K 样本做 SFT（初赛 41.8 分压线晋级），再用 GRPO 30 步小剂量 RL（决赛榜 20.2 分，第 9/20），答辩后终评第 3。仓库公开训练/导出脚本、真实日志与技术报告，权重托管于 Hugging Face；核心发现包括 RL 剂量轴在 30 步达峰、同权重 ZIP CRC 消融证明采样解码白送约 3 分、0.8B 模型 RL 池内学习量与平台分强反相关。
推荐理由：作者用同权重 CRC 消融和剂量轴实验分离出每个增量的因果证据，0.8B 小模型 RL 剂量与遗忘的权衡刻画对类似场景可迁移。
TristanUK 在 Hugging Face 上传了 abliterated LoRA 微调模型 onyx-qwen2.5-7b-abliterated-lora，基于 huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2 微调而来，采用 apache-2.0 许可证。该模型借助 Unsloth 实现了 2 倍训练加速，可在 Transformers 中通过 AutoModel 直接加载使用。
yfHHHE 发布 emoji-native-lm，基于 Qwen3-1.7B 用 LoRA 做 SFT 加 DPO 微调，对任何输入只以 1-3 个 emoji 回复。训练数据约 12k 条中英文聊天消息，由 Claude Opus 生成并回复，覆盖 1,915 种 emoji；666 条评测提示下经 wrapper 的回复 100% 合规，首轮采样合规率 98.9%，而基座 Qwen3-1.7B 为 0%。仓库提供 Ollama 与 llama.cpp 的 GGUF（1.8 GB q8_0）及 Python wrapper 部署方案，代码采用 Apache 2.0 许可。
推荐理由：仓库公开了数据生成、SFT、DPO 到 GRPO 失败与修复的完整脚本和实测数据，读者可以照此复现并借鉴其偏见修正做法。
Seed 是一个本地语言模型训练工作室，可用自己的文本从零训练小模型，并观察学习进度与实验输出。界面包含 Training、文本生成、Chat 和 New life 四个部分，默认模型约 3.36 million 参数、在 CPU 上运行，macOS 可选原生加速。前端采用 React、TypeScript 与 Vite，Transformer 引擎（包括 attention、梯度和优化）直接用 TypeScript 实现，不依赖机器学习库或外部推理 API，可本地或通过 Docker 运行并保存 checkpoint。
ReadyArt 发布 Omega Arsenal 31B Final，作者称这可能是其一段时间内最后一款 31B 模型，效果明显超过 Swish，并基于 Scotoma 2 训练。该模型是融合 Wicked Tutu、Dark Scarlett、For Her Darkside、Melody1437 等数据集的暗黑向 smut 微调，训练采用 3 epochs 和 128 lora，耗时 24 小时以上。下一步作者计划训练 122BA10B 版 Wicked Tutu，但需 4xH200，预计下月启动。
GitHub 仓库 enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的微调方法，用于提升 LLM 在领域特定任务上的表现。该方法在 GLUE 上取得 92.5%（较基线提升 8.3%）、SuperGLUE 上取得 89.3%（提升 12.5%），支持领域适配与高效训练，代码以 MIT 许可开源。
该论文介绍 WMT 2026 Multilingual Instruction Shared Task 的参赛方案，用 LoRA 基于主办方数据 EuroAlpaca 和跨语言增强数据 CrossEuroAlpaca 微调 Qwen3-8B，面向十种语言的开放式问答（QA-OEG）。在相同解码设置下，目标语言 QA-OEG 的 Gemma-4 评分较基座模型相对提升 7.8%；在 Aya Evaluation Suite 评测中，macro-平均 ROUGE-L 相对提升 41.5%、BERTScore-F1 提升 2.9%。但这些增益具有任务和语言特异性：目标语言的上下文问答及非目标语言的三项任务得分均有下降。
一项 arXiv 研究提出针对 DPO 计算图的随机剪枝统一框架，可独立对评分的响应位置、执行的响应前缀和反向传播的偏好分支进行采样，从而省略训练各阶段的计算。分析刻画了位置与序列剪枝引起的目标变化，并用逆概率加权得到条件无偏的单分支梯度估计器。实验显示分支剪枝相比拼接式 DPO 基线获得 1.426x 步时加速，训练时间较原版 DPO 降低约 30%，均值准确率略降。
Axolotl 是一个免费开源的大语言模型微调框架。2026/10 更新加入 Reflection 的 Beam 支持（含 QLoRA 与 NVFP4 expert-parallel LoRA 配置）、DeepSpeed Ulysses 上下文并行及 expert-LoRA resume 修复；此前版本新增 Qwen3.6、MiniCPM5、K2 Horizon 等模型支持，并提供 `axolotl export` 的 GGUF 导出以配合 llama.cpp 和 Ollama 部署。
GitHub 仓库 rmems/Dioscuri-Cloud 提供面向学生/免费云额度训练的云运维层，涵盖对象存储（S3）、CUDA 镜像、GPU 节点、SageMaker/Azure ML 托管训练任务、成本追踪与 HCP Terraform 控制平面。训练实现位于配套仓库 rmems/agoge-forger，使用 TRL SFTTrainer + PEFT + bitsandbytes QLoRA，通过 `uv run agoge train-qlora` 执行；仓库以 AWS 为主、Azure 为备份，并用 cost-ledger.md 跟踪云支出。
研究者提出自动化合成框架 DynaWeave，可将静态任务转化为可验证的动态场景，用 DAG 表示事件依赖并触发外生事件以训练 LLM 智能体。该框架在 36 个环境中收集了 2,095 条经验证的交互轨迹，用于对 Qwen3.5 模型做监督微调。实验显示其在 Gaia2、CostBench 和 ToolMaze 三个基准上均有一致提升，CostBench 任务完成率提高 67.34 个百分点，并在 ToolMaze 上超过 Gemini-3.1-Pro-Preview，代码已开源。
Riyan200324200324 基于 DeepSeek-R1-Distill-Qwen-32B 发布去审查版本 DeepSeek-R1-Distill-Qwen-32B-Uncensored，采用 Guilherme34 的 uncensor 数据集与 QLoRA 微调，遵循 MIT 许可。模型需手动设置指定 system prompt 以获得去审查输出，训练使用 2 x RTX 4090（24 GiB），共 4 个 epoch；因完全依从请求，建议自行加对齐层。
该开源项目用 QLoRA 微调 Qwen3-4B-Instruct-2507（Apache 2.0），将法语/英语/混用的招聘邮件转换为经 schema 校验的 JSON，并与同款基座模型的 zero-shot 和 few-shot 表现在人工核验的 200 条测试集上对比。训练数据为 LLM 生成的合成数据，微调模型使用单行指令以避免超出 1024-token 预算，其部分延迟优势来自更短的提示词。项目尚处进行中（Day 1），备选模型为 Qwen3-1.7B。
JatinF 在 GitHub 发布开源项目 intelliforge-ai-platform 0.1.0，一个模型无关的 LLM 评测、LoRA 适配、模型路由与治理参考实现。本地 NumPy LoRA（rank 2）held-out 准确率 1.0，基线 0.333333，本地诊断 P95 为 2.667 ms；开源权重槽位为 Qwen/Qwen2.5-3B-Instruct（vLLM），商业槽位为 grok-4.7，两者均未实际运行，部署决策为 NO-GO。
GitHub 开源项目 llm-extraction-finetune 用 QLoRA（LoRA + PEFT + Unsloth 4 bit 量化）微调 Qwen2.5-3B-Instruct，抽取法/英/美多币种发票为结构化 JSON。v3 报告称 JSON 有效率 100%、Exact Match 95%。数据集含 600 条合成发票文本及 600 张 PNG，按 Train 480/Val 60/Test 60 划分，并用 Pydantic v2 做输出校验与金额一致性检查。
Esxyko 在 GitHub 发布 llm-classification-finetuning 项目，用于 Kaggle LLM Classification Finetuning 竞赛，比较两个模型对同一提示词的回答并预测 A 胜、B 胜或平局。项目支持冻结 Qwen3-4B 主干加可训练成对分类器，以及 LoRA 和 4-bit NF4 QLoRA 训练，提供防泄漏的 80/20 分层划分、holdout 验证和混淆矩阵报告。训练需 1 块 CUDA GPU，提交推理需 2 块。
开发者开源了一个概念验证项目 MiniGPT，在清洗后的英文 Wikipedia 子集上端到端训练小型 Transformer 语言模型，覆盖数据清洗、Byte-Level BPE 分词、训练、checkpoint 与文本生成全流程。模型默认配置为 n_embd=128、n_layer=4、nhead=4、block_size=1024，训练采用 AdamW(lr=3e-4) 和 0.1 验证集划分，自研部分包括断点续训、CSV 持久化日志与采样生成。项目还记录了在 NVIDIA Blackwell GPU 早期通过版本对齐解决驱动/CUDA/PyTorch 兼容问题的经验。
一位 SillyTavern 用户更新了打造本地 RP 引擎的进展。其提示词在 GPT 6.1 上效果良好，但本地测试中 Gemma 4 26B-A4B_Q6 关闭推理后速度即时；Codex 校准发现其与人工判断仅 13% 一致，需先训练再评测。作者还计划压缩 7000 条训练样本或改为链式输入输出再训练。
GitHub 上的韩语 LLM 学习指南，通过从文本分类、下一 token 预测到 Attention 与小型 Transformer 的实操代码讲解训练、保存、推理与评估流程。后期章节扩展到加载 SmolLM2-135M-Instruct 进行 SFT、rank4 LoRA 与 NF4 量化的 QLoRA，并覆盖 HTTP API 部署、吞吐与显存峰值测量及模型版本注册。
Hugging Face 联合 Zhongguancun Academy 与 Telethon 遗传学研究所发布开源 14.8B 模型 Carbon-X，基于 Qwen3-14B，用混合 tokenizer 在单一 decoder 中联合建模 DNA 序列与自然语言。五项 DNA 基准平均 66.7%（关闭思考），比起点 Qwen3-14B 高 27 分，接近 GPT-6.1 Sol 的 67.5% 而推理成本约为其 1/1800，分析 ClinVar 全部 240 万意义不明变异约花 $300。权重以 bfloat16 适配单张 80 GB GPU，可用 vLLM 部署，支持作为 agent 工具调用，未做临床验证、不可用于医疗决策。
推荐理由：原文给出五项 DNA 基准得分、成本对比和完整训练配方，读者可以据此评估这个 DNA 语言模型的实际水平与用法。
InternScience 发布 Sage-A1.5，一个基于 Qwen3.6-35B-A3B 微调的 35B Mixture-of-Experts 智能体模型，主打长程科学问题求解。该模型支持跨子智能体的并行任务编排与独立上下文、可选的链式思维内自验证，以及原生 function calling 等工具集成能力，提供 GGUF 格式供社区使用。
GitHub 开源项目 heisenberg-trainer 提供 AIOps 时序曲线工具集，覆盖时序图像生成、预处理标注、网页预览，以及基于 Qwen3.5 的多模态模型训练（GRPO / OPD / JEV）。其 JEV 判别式模型对候选选项打分做曲线分类，GRPO 则用 format、accuracy、consistency 等奖励函数训练 Qwen3.5-0.8B 输出 trend（7 类）与 recover（4 类）标签。数据共 3248 样本且类别严重不均衡，奖励采用三级梯度设计，错误标签罚 -0.2、输出 other 罚 -0.5，以避免组内零方差导致梯度消失。
GitHub 开源工具 overbrainer v0.9.0 支持从命令行把大的父模型蒸馏成更小的开放权重子模型：向父模型生成问题并收集带推理的回答，用 Axolotl 在本地、SSH 机器或 Runpod 上做 LoRA 微调，再导出量化 GGUF 和 Ollama Modelfile。overbrainer compare 在评测集上对比子模型与父模型的胜率、延迟和每千次请求成本，并提供六视图终端 UI、Prometheus 指标和可安装到 Claude Code 的 agent skill。项目处于早期开发阶段，1.0 前小版本可能有破坏性变更。
推荐理由：从生成数据集到用 Axolotl 微调再到导出 GGUF 全流程一条命令走完，还用胜负率和成本对比衡量孩子与父模型的差距。
ThousandML 发布开源微调平台 Training Factory，用 QLoRA 对 4-bit 量化模型做微调以降低 GPU 成本。其采用的 CQ（Coded Quantization）是无校准量化，效果与主流量化相当，已提供 Qwen3.8-27B-CQ-4bit、Llama-3.1-8B-Instruct-CQ-4bit、Llama-3.3-70B-Instruct-CQ-4bit 等底座，并支持用 vLLM 加载 LoRA adapter 部署。
/u/woct0rdho 为 llama.cpp 编写了 LoRA 推理 kernel，代码见 https://github.com/woct0rdho/llama.cpp 。在 Strix Halo 上，加载 35 MB 的 LoRA（如把 Qwen3.8-Flash-Next 转成 uncensored 版的 chenrm/qwen3.8-flash-next-abliterated-lora）原本使 PP 从约 1500 降到 300 t/s，通用 kernel 提升到 1000 t/s，fused kernel 进一步到 1400 t/s。LoRA scale 可调节去审查与能力损失之间的平衡，且无需重新下载整个模型。
推荐理由：作者给出了 LoRA 推理在 Strix Halo 上从 300 到 1400 t/s 的实测数据，并开放了可复用的 kernel 代码。
arXiv 论文 arXiv:2610.27711 发现，在匹配条件下分类头微调在二分类幻觉检测上持续优于 LLM-as-Judge 序列到序列范式，原因在于 cls 学到任务专属的判别方向、隐状态呈清晰双簇几何，而 s2s 依赖预训练语言建模头、表征更接近原骨架。分析发现任务信息集中在上中部 InfoWindow，其上各层高度冗余，截断 InfoWindow 之上的 31% 层在 Qwen3-4B 和 8B 上准确率不变且延迟降低 1.4 倍，同样的深度比例在预先固定的条件下迁移到 Llama-3.2-3B 和 Mistral-7B-v0.3，并在 QNLI 和 SST-2 上重现相同层级结构。
一项 arXiv 研究通过在同一模型族不同规模上进行密集网格实验，系统分析了 DPO 的学习率与正则化参数 β 等超参数随模型规模和更新步数的演化。研究发现最优学习率随模型大小变化、超参数不可跨数据集迁移，且验证损失与下游 benchmark 最优超参数仅弱相关。作者还指出短程候选训练可大幅降低调参成本，并公开了全部训练配置与评测结果。
一项 arXiv 研究跟踪一个 8.4B 参数模型在日文金融文档上历经三个训练阶段的表现，在五个文本输入基准上评估后发现各阶段相互影响呈非加性：纯数学蒸馏会覆盖先前获得的金融知识，领域阶段修复多于新增内容。跳过阶段的消融虽最利于领域知识，却损失数值推理增益，因此最佳 checkpoint 取决于任务本身。
Agnes AI 发布 agnes-3.0-qwen，一款约 180B 参数（512 专家、每 token 激活 10 个）的混合注意力 MoE 多模态推理模型，采用 Qwen Community License 1.0。该模型在 τ³-Banking 位列对比组第一，Terminal-Bench 2.1 距最佳模型约一分，IFBench 上超过 GPT-5.6 Sol (Max) 和 Claude Opus 4.8 (Max)。支持 1,048,576 token 上下文、65,536 最大输出、文本/图像/视频输入、工具调用及 xhigh/medium/low 三档推理力度。
这是一个 MEng 论文的复现包，实证研究 4-bit NF4 QLoRA、8-bit、16-bit bf16 LoRA 三种位宽与 LoRA rank（r ∈ {8, 16, 32}）在微调 deepseek-coder-6.7b-instruct 修复 Java 缺陷时对正确性、GPU 显存、速度和能耗的权衡。实验基于 CodeXGLUE Code Refinement（10,000 训练 / 1,000 验证 / 1,000 测试对）和 HumanEvalFix（164 Python + 164 Java 缺陷），在单张 24 GB GPU 上进行。目前数据管线和指标已验证，训练与评测脚本仍在开发中。
GitHub 仓库 tonystark202609/enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验，探索超越传统方法的高级微调策略和领域适配技术。该方法在 GLUE 上达 92.5%（基线 84.2%，提升 +8.3%），SuperGLUE 上达 89.3%（基线 76.8%，提升 +12.5%），并优化训练流程以加快收敛。项目采用 MIT License 开源，附训练与评测脚本。
zjj1993 发布面向智谱 GLM-5.3-Flash 的去中国政治审查 LoRA（rank 32，107M 参数，仅作用于 attention 与 shared experts），采用自蒸馏 SFT 加 DPO 两阶段训练，可精确合并进 nvidia/GLM-5.3-Flash-NVFP4 的 BF16 权重。
推荐理由：原文给出训练方法与前后对照数据，敏感话题审查率从65%降到1%，能力测试差异也在文中列明，可据此自行判断。
Google 推出 TorchTitan TPU 分叉，配合 TorchTPU 原生后端，可在 Cloud TPU 上训练 PyTorch 模型。该分叉提供 SimpleFSDP、Graph Trainer、Pallas 内核和优化 Playbook，代码已在 GitHub 开源。
GitHub 开源仓库 IntelligentNetworkingLAB/evolvable-dl-platform 提供一个可在分布式边缘节点上用联邦学习构建领域模型的演进式深度学习平台。后端基于 PyTorch 运行 LoRA 适配器的 FedAvg 联邦学习（含分层量化与剪枝，CPU 即可运行），内置内容缓存、推理卸载和信道估计三个应用，训练中可触发数据分布偏移、节点加入、级联过载等事件，采用 Apache-2.0 许可证。
该 GitHub 仓库实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的微调方法与实验，面向领域特定任务改进 LLM。其高级微调策略在 GLUE 上取得 92.5%（较基线 84.2% 提升 +8.3%）、在 SuperGLUE 上取得 89.3%（较基线 76.8% 提升 +12.5%），并包含领域适配与加速收敛的训练管线，采用 MIT 许可证开源。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
用户 mayo551 在 Reddit 发布微调模型 ReadyArt - Wicked Tutu Final，基于 Gemma 4 31B Scotoma 2。该模型面向角色扮演（RP）用途，需要 RP 提示词才能正常工作。作者称此前的 Gemma 4 微调版本均需重做，已下载过旧版的用户需更新下载。