新闻、仓库与研究，按时间排列。
这是一个 MEng 论文的复现包，实证研究 4-bit NF4 QLoRA、8-bit、16-bit bf16 LoRA 三种位宽与 LoRA rank（r ∈ {8, 16, 32}）在微调 deepseek-coder-6.7b-instruct 修复 Java 缺陷时对正确性、GPU 显存、速度和能耗的权衡。实验基于 CodeXGLUE Code Refinement（10,000 训练 / 1,000 验证 / 1,000 测试对）和 HumanEvalFix（164 Python + 164 Java 缺陷），在单张 24 GB GPU 上进行。目前数据管线和指标已验证，训练与评测脚本仍在开发中。
GitHub 仓库 tonystark202609/enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验，探索超越传统方法的高级微调策略和领域适配技术。该方法在 GLUE 上达 92.5%（基线 84.2%，提升 +8.3%），SuperGLUE 上达 89.3%（基线 76.8%，提升 +12.5%），并优化训练流程以加快收敛。项目采用 MIT License 开源，附训练与评测脚本。
zjj1993 发布面向智谱 GLM-5.3-Flash 的去中国政治审查 LoRA（rank 32，107M 参数，仅作用于 attention 与 shared experts），采用自蒸馏 SFT 加 DPO 两阶段训练，可精确合并进 nvidia/GLM-5.3-Flash-NVFP4 的 BF16 权重。
推荐理由：原文给出训练方法与前后对照数据，敏感话题审查率从65%降到1%，能力测试差异也在文中列明，可据此自行判断。
Google 推出 TorchTitan TPU 分叉，配合 TorchTPU 原生后端，可在 Cloud TPU 上训练 PyTorch 模型。该分叉提供 SimpleFSDP、Graph Trainer、Pallas 内核和优化 Playbook，代码已在 GitHub 开源。
GitHub 开源仓库 IntelligentNetworkingLAB/evolvable-dl-platform 提供一个可在分布式边缘节点上用联邦学习构建领域模型的演进式深度学习平台。后端基于 PyTorch 运行 LoRA 适配器的 FedAvg 联邦学习（含分层量化与剪枝，CPU 即可运行），内置内容缓存、推理卸载和信道估计三个应用，训练中可触发数据分布偏移、节点加入、级联过载等事件，采用 Apache-2.0 许可证。
该 GitHub 仓库实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的微调方法与实验，面向领域特定任务改进 LLM。其高级微调策略在 GLUE 上取得 92.5%（较基线 84.2% 提升 +8.3%）、在 SuperGLUE 上取得 89.3%（较基线 76.8% 提升 +12.5%），并包含领域适配与加速收敛的训练管线，采用 MIT 许可证开源。
Rui Shi 等发布 arXiv 论文 WeAct，在冻结骨干上训练能力专属 LoRA 适配器，并把适配器选择加入 Agent 动作空间，用原生 tool-calling 接口按需组合能力。在 8 个 deep-research 基准上，Qwen3-32B 加 WeAct 比全量微调平均准确率高 6.2% 且计算更少，比最强静态 LoRA 合并方法高 27.5%，并支持不改动骨干的模块化持续扩展。
推荐理由：把适配器选择纳入 Agent 动作空间来缓解灾难性遗忘，在 8 个 deep-research 基准上给出了与全量微调的对比数字。
用户 mayo551 在 Reddit 发布微调模型 ReadyArt - Wicked Tutu Final，基于 Gemma 4 31B Scotoma 2。该模型面向角色扮演（RP）用途，需要 RP 提示词才能正常工作。作者称此前的 Gemma 4 微调版本均需重做，已下载过旧版的用户需更新下载。
该项目以 slime（THUDM，GLM-5.2 同款后训练栈）为蓝本，在无 GPU 的 CPU 节点上复现 RL 后训练的控制流与 CPU 负载画像，rollout 前向用 llama.cpp + Qwen3-4B 本地推理，training 反向 mock。设计原则是闭环可假、负载失真不可接受，涵盖 agentic RL sandbox 驱动方式、E0–E6 实验与双节点 SWE-bench 设计。
GitHub 开源了一个端到端微调流水线，把基础 instruct 模型训练成对话信号分类器与合规回应建议器，覆盖合成数据生成、SFT、DPO、评估和 LoRA 合并导出。默认使用 sshleifer/tiny-gpt2（约 5MB），整个流程可在 CPU 上数分钟内跑完，也可传入 HuggingFaceTB/SmolLM2-135M-Instruct 等小模型运行。
migtissera（Synthia 作者）发布基于 Qwen 微调的 Tess-4.5-27B，在 150 个 BenchLocal 场景中比基座 Qwen3.8-27B 少生成 25% 的 token 而得分相同。其中 CLI-40 少用 32% token 且得分更高，数据提取少用 43%，BugFind-15 少用 21%。更少 token 意味着更快出答案、上下文窗口占用更少，在本地 GPU 上还可与 draft head 叠加提速。
这是一份大语言模型课程项目书，要求学生用 XED 多语言情绪数据集评估 LLM 的跨语言多标签情绪分类，对比 prompt engineering 与 PEFT 两种适配方法。数据集基于电影字幕，标注 Plutchik 八类情绪，各语言标注行数从马其顿语 300 行到巴西葡萄牙语 12,295 行不等，相差超过 40 倍。项目要求固定 70/20/10 划分、统一实验矩阵，并在英语与指定语言上评测零样本与五样本提示等条件。
GitHub 仓库 qibin0506/llm_trainer 发布，是一个基于 PyTorch 与 DeepSpeed 的 LLM/VLM 训练框架，覆盖 Pretrain、SFT、DPO/ORPO/SimPO 到 PPO 与 GRPO 的完整流程，支持 8 种 GRPO 变体算子（grpo、bnpo、dr_grpo、cispo、dapo、luspo、sapo、vespo）。框架内置 Muon 优化器自动混合参数分组与多学习率比例调度，通过分块交叉熵、Active Token Filtering 和生成/评估分块降低显存峰值，支持多轮 Agent 强化学习交互与奖励折叠，并适配 NVIDIA CUDA、华为昇腾 NPU、寒武纪 MLU 和 Apple Silicon MPS 后端。
推荐理由：原文完整给出了从预训练到 GRPO 的训练流程与关键显存优化手段，读者可以对照自己的硬件环境判断哪些模块可直接迁移。
一个为土耳其 Darıca 市政服务开发的 RAG（检索增强生成）AI 助手项目，用于解答市民关于市政服务、婚姻与设施收费、行政流程等问题。模型为经 QLoRA 微调的 3B LLM，结合向量检索市政文档，并通过 Python 函数工具支持动态价格与实时查询。界面采用 Streamlit，许可证为 Apache-2.0。
ReadyArt 发布 Swish 26B A4B 模型，基于 Dark Scarlett 和 Wicked Tutu 两套数据集训练，前者以深度角色回应著称，后者被作者称为其制作过的最露骨的数据集。作者称两者结合使模型整体保留尺度但质量不错，并计划视时间和资金情况推出 27B 和 31B 版本。
受 IBM Granite Switch 启发，开发者发布 rubick——一个指向 LLaMA 端点的代理网关，用同一模型通过 aLoRA 同时暴露常规 LLM、systemone（jev-like）与 embeddings 端点。它复用 KV cache、无需模型切换，支持即插即用 aLoRA，训练配方可在用户硬件上约 1 小时完成。项目为 POC，Apache2 开源，含 benchmark、用例与 Docker 配置。
GitHub 上的 LLM_Lab04 仓库是一个 QLoRA 微调实验作品集，包含 notebooks、outputs、screenshots 目录及 README 等文件。仓库目前为 Lab 4 - QLoRA Fine-Tuning Portfolio 项目，暂无 star、watch 或 fork 数据，也未发布任何 Release。
MaxKharlan 发布 next-experiment，一个在 Nebius Token Factory 上诊断微调失败原因并做因果验证的智能体。它先按概率排序可能病因，用最便宜的探针和 fix/control 对照实验确认病因，确认后才在批准后重训。演示案例中 Qwen3-0.6B 因学习率 1e-5 过低只答对 14% 的 200 条 held-out 查询，4 个 Post-training job 证实病因后重训达 42.5%，全程约 $0.075。基准在 13 个 Token Factory 任务上对比四种方法，Next Experiment 9/9 找到病因、0 误报，成本比 ReAct 低 30%。仓库含 HTTP API、调查回放页面、权重探针与完整文档，Apache 2.0 许可。
推荐理由：原文给出基准对比数据，这个诊断智能体以低 30% 的成本达到与 ReAct 相同的病因定位成功率，方法可迁移到自己的微调排查。
GitHub 上有研究者端到端复现了 Wilfrid Laurier University 团队的 FedLLM 论文，用 Qwen2.5-1.5B 结合 LoRA、4-bit QLoRA 与联邦学习做可解释交通流预测，仅训练 18,464,768 个权重（1.18%）。复现结果接近原论文：FedLLM 误差与论文相差 2% 以内，15/30/45/60 分钟预测的 R² 匹配到小数点后三位；复现中 5,000 条测试提示词 RMSE 为 31.84，低于论文的 35.66。仓库包含完整代码、LoRA adapter、合并模型与运行日志，GRU、DCRNN 等基线未在本次发布中运行。
AstrAI 在 GitHub 上开源，是一个覆盖模型构建、训练、评估到服务全生命周期的轻量级 Transformer 框架，基于 PyTorch，要求 Python 3.12+ 并固定 PyTorch 2.13.0。它支持 GQA、MLA、MoE、RoPE 等模型组件，提供预训练、SFT、DPO 与在线 RL（GRPO/PPO）训练，以及 continuous batching、paged KV cache 推理和兼容 OpenAI/Anthropic 协议的 FastAPI 服务。评测工具涵盖 MMLU、HumanEval、IFEval、ROUGE 等，并附 1B checkpoint 下载与 Docker 部署方案。
GitHub 仓库 jkhajem/enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的高级微调方法，用于将预训练模型适配到特定领域任务。该方法在 GLUE 上取得 92.5%（较基线提升 8.3%）、SuperGLUE 上取得 89.3%（提升 12.5%），并提供优化训练管线以加快收敛，项目采用 MIT License 开源。
GitHub 仓库 enhancing-llms 开源了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验代码，探索面向领域任务的大语言模型微调方法。该方法在 GLUE 上取得 92.5%（较基线提升 +8.3%）、SuperGLUE 上取得 89.3%（提升 +12.5%），采用 MIT 许可证。
Fabyo Sousa Ramos 的 GenAI/LLM 硕士毕业项目训练了一个面向 5 岁儿童的安全教育助手模型，以 Qwen2.5-3B 为学生模型、Qwen2.5-7B 为教师模型，结合 CoT 合成数据、Logits 知识蒸馏与 DPO 内化安全 guardrails 和儿童化人格。最终模型经 LoRA 权重合并并量化为 GGUF（Q4_K_M）格式，可在资源受限设备上本地离线运行。DPO 训练 1 个 epoch 内 Loss 快速收敛，模型在无 system prompt 测试中也能拒绝恶意或越狱指令。
tejas4patel 发布 R 包 dragonfarm，可从 PDF、Word、网页等文档自动生成问答训练数据，经人工审核后用 QLoRA 微调本地模型，内置 RAG 可直接基于文档作答。7B 模型 4-bit 加载可放进 8 GB 笔记本 GPU，示例中 Qwen2.5-7B-Instruct 在 RTX 406 上训练约 22 分钟，修复了 0.5B 版本答错的退换政策细节；0.5B 训练约 2-4 分钟。产出为 Hugging Face transformers 可加载的 adapter 或合并模型，MIT 许可，已上架 CRAN。
推荐理由：作者用同一批工单给出 0.5B 与 7B 微调前后的对照输出和耗时数据，读者可据此评估在自己文档上微调的可行路径。
amphionspace 在 GitHub 开源 open-audio-llm，一个可组合的 Audio-LLM 后训练与部署框架，把音频编码器接到支持 inputs_embeds 的 Hugging Face CausalLM 上，用同一套 YAML 打通 ms-swift 训练、vLLM 部署与 AmphionEval 评测。基于 Qwen3-ASR-1.7B 三阶段全参 SFT 的 checkpoint-34479 在 16 个中英测试集上加权 WER/CER 5.64%，AISHELL-1 CER 0.63%，热词偏置在 Common Voice 上把中文 CER 从 4.32% 降到 1.72%；同一权重支持普通 ASR、热词偏置和目标说话人 ASR。
GitHub 仓库 tinker-rl-lab 整合了多个大语言模型强化学习研究项目，覆盖 Tinker/SkyRL、verl、OpenRLHF 和 HuggingFace TRL 等框架，以及本地 GPU、vast.ai、Google Colab 等计算后端。仓库包含 PES LLM 研究项目实验，其中算术 RL 训练在约 20 步内将准确率从 69.5% 提升到 100%，并提供 GSM8K、HumanEval、Tool Use 等环境集成，以及 BFCLv4 评测、ZVF 遥测等评估功能。
开源仓库 arka 发布，通过单一 YAML 配置声明式定义 SFT 合成数据生成全流程，涵盖种子摄取、生成、去重、质量过滤与输出，并支持 SQLite 检查点断点续跑。它支持 JSONL、CSV、PDF 多源输入，提供 prompt 与 Evol-Instruct 两种生成策略、MinHash + LSH 的 O(n) 近似去重、canary 短语隐私检测，可输出 JSONL、ChatML、Alpaca 格式，项目采用 MIT 许可。
GitHub 仓库 didi290410-ci/enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的微调方法，用于提升 LLM 在领域特定任务上的表现。该方法在 GLUE 上取得 92.5%（较基线 +8.3%）、SuperGLUE 上取得 89.3%（较基线 +12.5%）的 SOTA 结果，支持领域自适应与高效训练，采用 MIT License 开源。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
XtrComSu 发布 XT-Luna 1B v1，一个基于 MiniCPM5 1B 微调、专注智能体与编程任务的模型。作者将其与官方 MiniCPM5 1B SFT 及 Qwen 3.5 4B 的 reasoning benchmark 进行了对比，结果截图见模型卡。建议开启 thinking mode 运行，作者欢迎反馈与 bug 报告。
腾讯混元发布 Hy-Memory-30B-A3B，一个约 3B 激活参数的长期记忆写入模型，可直接替换 Mem0、MemOS、Hy-Memory 等外部记忆框架中的通用 LLM。训练分两阶段，先做 Memory On-Policy Distillation 再做归因记忆强化学习，可零改动迁移到未参与训练的 EverMemOS。在固定 20% 基准子样本的四框架宏观平均分上得 55.49，超过 Claude Opus 5（54.62）和 DeepSeek V4.1 Flash（53.64）。权重、框架代码和技术报告均已开源。
推荐理由：原文给出了固定基准矩阵上与多个通用大模型的横向对比，可以评估这个小模型在记忆写入上的性价比。
Reddit 用户发布 ReadyArt - Broken-Tutu-Unleashed 31B v0.1 并征集反馈，数据集主打纯 kink 与黑暗风格，目前仅约 2000 条提示词，目标是 v1.0 达到 30000+。该模型未做 decensored，作者称 Gemma 4 31B IT 在合适 RP 提示词下已基本无审查，此项目是 Broken Tutu 的精神续作。
Reddit 用户用 SFT + LoRA 微调 vLLM-SR 的 d3-edge（0.6B），仅用几千条训练样本，在 typed decisions 上超越了 27B 的 d3，并在 Banking77 上接近其表现。作者认为应微调小型专用决策模型，而非在所有任务上使用大型通用模型。
GhanaOpenAI 发布 gloss-mt，基于 google/gemma-4-E4B-it（4B 参数）做 LoRA 微调，让模型通过 lookup_twi_translation 工具查询 478,822 条离线英→Twi 词典后再推理翻译。训练数据含 15,134 条带工具调用的样本，配套数据集、微调与评测脚本及部署运行时已开源，支持 transformers 与 vLLM，并提供 Hugging Face Spaces 在线演示。
Reddit r/LocalLLaMA 用户提出：前沿实验室不再公开 thinking traces 后，如何为特定任务构建蒸馏数据集。其设想是微调小型 Qwen/Gemma 模型从照片提取 3D 空间坐标：将图片和任务发给前沿模型 API 获取答案，再把问答对交给另一前沿模型生成思维链作为训练数据，并询问是否有更好方法。
arXiv 论文提出 MultiAgent-OPD，将 on-policy distillation 与强化学习结合，端到端联合训练共享参数的 Leader-Searcher-Answerer 多智能体团队。冻结的 Teacher 模型对 Searcher 生成的搜索和摘要 token 打分提供过程监督，Leader 从团队成败学习，Answerer 从候选答案正确性学习。在七个数据集上系统达到 38.68% macro avg@4，超过 Prompted Critic 4.06 个百分点、超过 C-MAS + RL 2.61 个百分点。
arXiv 论文提出 MoEvolve，一个面向 MoE 大语言模型的双向蒸馏框架，通过“先恢复再提升”策略，将激活扩展后的高-k 模型作为更强教师，再把增强后的能力蒸馏回原始低-k 配置并保留推理时的激活预算。该框架在多个 MoE 模型和基准上将初始模型最高提升 22.2 个领域平均分，比同预算 RLVR 基线最高高出 6.5 分，且最终低-k 模型常常超过其激活扩展教师。
研究者提出 TreeOPSD，一个无需 critic 的树感知后验自蒸馏框架，用于长程智能体强化学习。该方法将每轮交互视为树节点，从共享前缀分支备选续写，并将终止奖励递归回传为隐式轮级信用，映射为有界的闭式教师分布。在 Deep Research 设定下，TreeOPSD 使 Qwen3-30B-A3B-Thinking-2507 的平均准确率较 GRPO 提升 4.97 分。
一项 arXiv 研究提出在 Transformer 每个模块训练局部代理网络，通过知识蒸馏预测全局网络输出，使梯度无需存储全部激活值即可独立回传，理论上对深层线性网络精确成立，非线性残差模型中梯度误差有界。该方法在 CIFAR-100 上的 vision transformer 实验中取得优于其他局部算法的准确率/内存权衡，用于小内存预算下微调大语言模型时，比 zeroth-order 学习算法训练更快、性能更高。
该 GitHub 项目在本地 GPU 上用 LoRA 微调 Qwen2.5-0.5B/1.5B-Instruct，对葡萄牙语文本做负面、中性、正面三分类。数据集为 Cardiff NLP 的 XLM-T 葡语推文（训练 1.839 条、验证 324 条、测试 870 条），实验涵盖学习率、LoRA rank 与 epoch 数，以准确率和 F1 macro 对比基线与微调模型，并提供 Gradio 前端。