新闻、仓库与研究，按时间排列。
GitHub 仓库 raminaeye/Instruction-Tuning-LLM 基于 DialogSum 数据集微调 google/flan-t5-base 做对话摘要，对比 zero-shot / one-shot / few-shot 提示、全量指令微调、LoRA 与带 KL 惩罚的 PPO 强化学习（用毒性分类器作奖励模型），并以 ROUGE 评测各方法。仓库含主 notebook、metrics 单元测试，运行需 Python 3.8+、GPU 和 HuggingFace token。
ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现代码以 Apache 2.0 协议开源在 GitHub。该方法支持实时参数调整、动态记忆管理与防灾难性遗忘，在多类动态环境中较基线 LLM 提升 16.8%–19.1%（如话题切换场景 89.7% 对 72.3%）。框架无需全量重训练，适用于聊天助手、内容推荐等场景。
GitHub 仓库 spallaselvylt934743/enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验代码，采用 MIT 协议开源。该工作探索面向领域任务的新颖微调方法，在 GLUE 上从基线 84.2% 提升到 92.5%（+8.3%），在 SuperGLUE 上从 76.8% 提升到 89.3%（+12.5%）。
joyjeni 在 GitHub 开源了一个面向 ARC-AGI-2 任务的三阶段求解管线，已提交 Kaggle 上的 ARC Prize 2026 竞赛。第一阶段为确定性规则库，覆盖约 35% 的任务；第二阶段包含 21 个模式归纳求解器；第三阶段用 Qwen3-4B（grid-SFT checkpoint）做 LLM 推理，并对每个任务执行 20 步测试时训练。项目采用 MIT 许可证，提供自包含的 Kaggle 提交 notebook，需 GPU P100/T4 且运行时间不超过 12 小时。
GitHub 仓库 spanellisnikolaos564489/enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验，探索面向特定领域任务的 LLM 微调方法。其方法在 GLUE 上取得 92.5%（基线 84.2%，+8.3%）、在 SuperGLUE 上取得 89.3%（基线 76.8%，+12.5%）的结果，项目基于 MIT 许可开源，并提供训练、评估脚本与实验配置。
作者在 GitHub 发布 autoclaim-adjudicator，一个车险物理损失理赔的确定性多智能体工作流，由代码控制流程和金额、LLM 负责判断与文案，独立校验并只用免费额度模型（Groq、Google AI Studio、Ollama 本地模型）。锁定测试 300 条理赔中 55.3% 自动决定、其中 97.6% 正确；欺诈两段式筛查以 10% 审查率拦截 78.3% 真实欺诈（ROC-AUC 0.860/0.955）；用 Qwen3-4B QLoRA 微调本地 judge 后捕获率 30% 升至 95%。作者提醒多数理赔为模拟数据，judge 和微调结果来自合成测试用例，详见 limitations.md。
推荐理由：作者给出了车险理赔 harness 的完整实测数据与消融结果，可看到确定性代码与 LLM 分工在具体业务里的落地方式。
论文《Adaptive Learning Strategies for Large Language Models in Dynamic Environments》被 ICML 2025 接收，其实现代码已在 GitHub 开源。方法支持 LLM 在动态环境中实时调整参数与行为、持续学习且避免灾难性遗忘，无需全量重训练。在四类动态环境中相比基线提升 +16.8% 至 +19.1%（如 Shifting Topics 从 72.3% 提至 89.7%），项目采用 Apache 2.0 许可证。
作者更新其 LoRA over GGUF 系列，现可在 40 GiB 显存内无 CPU offloading 地训练 Qwen3.8-Flash-Next（125B-A6B + 51B engram），engram 置于磁盘不拖慢训练。在 Strix Halo 上以 2048 上下文块达到 9.5 s/it（200 token/s），距已实现的 >1600 token/s PP 还有优化空间；transformers 5.18 起已合并对现代 GGUF 的初步支持，作者还预告 torch-ggml-ops 仓库中的 GGTensile 在 MMQ 内核上做汇编级优化，多数场景已快于 HIP。代码见 https://github.com/woct0rdho/transformers5-qwen3.5-recipe
推荐理由：作者给出了在 40 GiB 显存内训练 Qwen3.8-Flash-Next 的方法与实测速度，读者可复现这套 LoRA over GGUF 训练流程。
GitHub 仓库 enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的微调方法，用于提升 LLM 在领域特定任务上的表现。其技术在 GLUE 上达 92.5%（基线 84.2%，+8.3%），SuperGLUE 达 89.3%（基线 76.8%，+12.5%）。仓库含源码、实验配置与结果，基于 MIT License 开源。
GitHub 仓库 mahashemi/llm-training-masterclass 提供免费的 LLM 训练课程，分为深度学习基础和 LLM 工程与训练两门独立课程，覆盖从感知机、Transformer 到 SFT、LoRA、QLoRA、偏好优化与蒸馏等 24 章 LLM 内容。课程采用开源权重实操路径，从 CPU tiny GPT、免费 Colab 上的 Qwen3-0.6B 一路进阶到 7B/8B 单卡 H100 及 Qwen3.8-27B 适配与多 GPU 训练，面向高中生到工程师、研究者和机构。
GitHub 仓库 jomanne3-gif/enhancing-llms 公开了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现与实验，探索超越传统方法的高级微调与领域自适应技术。其方法在 GLUE 上从基线 84.2% 提升到 92.5%（+8.3%），在 SuperGLUE 上从 76.8% 提升到 89.3%（+12.5%），并配有优化训练管线实现更快收敛。项目以 MIT License 开源，含源码、实验配置与评测脚本。
一项研究提出“先验壁垒”概念，用以量化预训练大语言模型（LLM）对竞争概念与目标概念的支持差异，并发现其呈长尾分布。基于此，研究提出自适应 SFT 指令选择方法 PASS，在有限预算下优先覆盖监督不足的概念。实验显示 PASS 在四组 backbone-budget 设置上持续优于七种 SOTA 指令选择方法。
论文提出 SGUID 方法，用于在技能蒸馏前筛选紧凑技能子集，发现在策略蒸馏中少于 25% 的检索技能能提供有效蒸馏信号。在 Olmo 与 Qwen 四个模型上，仅蒸馏 6 个精选技能即可匹敌或超过最大 11 倍规模的全库蒸馏；第二轮循环为 Qwen3-8B 新选 3 个技能，将其成绩从 64.3% 提升到 66.3%，而未过滤更新使 Qwen3-4B 的 HMMT25 下降 0.3 个百分点，SGUID 则在两轮后分别提升 0.5 和 1.1 个百分点。论文链接：https://arxiv.org/abs/2610.12367v1
Datawhale 团队基于 Stanford CS336 (Spring 2026) 推出中文本土化课程 diy-llm，在线阅读地址为 https://datawhalechina.github.io/diy-llm/。课程共 16 章，覆盖分词器、MoE、GPU 高性能编程、分布式训练、Scaling Laws、数据工程、RLVR、多模态等内容，配套 6 个作业（手搓大模型、Triton 实现 FlashAttention-2、数据处理、GRPO 对齐、模型评估等），并加入 Qwen、DeepSeek 等国产模型案例。文档提供中英双语与 PDF 下载，采用 CC BY-NC-SA 4.0 许可。
推荐理由：斯坦福 CS336 的中文本土化课程，16 章配 6 个作业，覆盖从 tokenizer 到 RLVR 的完整 LLM 构建链条，适合想系统上手的学习者。
研究者提出 Layer-Selective LoRA（LS-LoRA），将可训练 LoRA 适配器只放在输入-输出相似度较低的 Transformer 层，该相似度可作为经验 Fisher 信息的前向代理指标。在数学推理和代码生成实验中，LS-LoRA 相比全层 LoRA 提升了目标任务平均性能，同时保留更多常识推理能力。
研究者提出 Residual Advantage（RA），将师生概率残差视为有界单步奖励，并结合 GRPO 或 REINFORCE++ 改进 RLVR 训练。在 Qwen3-1.7B-Base 和 Qwen3-4B-Base 学生搭配 Qwen3-8B 教师的实验中，RA 在三个数学 benchmark 的全部 24 组对比中均优于基础序列优势算法，macro Avg@8 提升 1.7–3.6 点，Pass@8 提升 3.9–6.3 点。其 CoRA 变体进一步带来 1.0–1.5 Avg@8 点提升，两种组合均超越仅用教师的 OPD。
arXiv 论文提出 Elastic Expert Routing，通过在以 k 为中心的局部离散分布中随机采样激活专家数，将静态 top-k 路由的硬阈值软化为渐进概率分布，并保持推理算力预算不变。在监督微调中，该方法使 OLMoE-1B-7B 和 Qwen3-30B-A3B 的下游宏平均分别提升 +0.84 和 +2.02 分；从头预训练时平均比静态 top-k 基线高 1.6 分。
OmniJev 发布 OneJev，一个多模态 System One 决策模型，可对截图、照片、视频和文本的类型化问题在单次前向中返回校准概率，提供 0.8B、4B、9B 和 27B 四个尺寸。模型基于 Qwen3.5 和 Qwen3.8 微调，支持 PyTorch、llama.cpp GGUF 和 Docker 部署，并开放 94,707 条训练数据及微调配置，采用 Apache 2.0 许可证。
Graspfrompivot 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现，使 LLM 可在动态环境中实时调整并避免灾难性遗忘。实验显示该方法在多类动态场景中较 baseline 提升 16.8%-19.1%，如新领域 68.1% 提至 86.2%。项目采用轻量级更新机制、无需全量重训，以 Apache 2.0 许可发布。
GitHub 仓库 brupj-zz/enhancing-llms 发布了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现代码，探索领域适配等先进微调方法。其方法在 GLUE 上从基线 84.2% 提升至 92.5%（+8.3%），在 SuperGLUE 上从 76.8% 提升至 89.3%（+12.5%），项目采用 MIT License 开源。
GitHub 仓库 Graspfrompivot/enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验代码，探索面向领域任务的 LLM 微调方法。其方法在 GLUE 上取得 92.5%（较基线提升 +8.3%）、SuperGLUE 上取得 89.3%（提升 +12.5%）的成绩。仓库采用 MIT 许可证开源，提供训练脚本与实验配置。
一位用户下载了自己的全部上网历史（Reddit 帖子、邮件、聊天记录等），想用 Qwen3.5-9B 做底座跑 qLORA 微调，训练一个说话像自己的模型，但 A/B 测试效果仍不理想。其在 2080ti 11GB 和 5070ti 16GB 上训练，并希望尽量本地化以保护个人隐私数据，向 r/LocalLLaMA 征求更好的训练方法。
Alexandre Caramaschi 开源的 curso-factory 是一个基于 5 个 LLM 编排的课程生成流水线，从 YAML 课程定义依次执行 Perplexity 检索、GPT-4o/gpt-5.5 起草、Gemini 分析、Groq 分类和 Claude 审校，输出可部署的完整课程模块。系统内置多层质量门（葡语重音四重屏障、内容检查、链接、voice guard、可选 stylometry 与 AI disclosure）、FinOps 预算守卫与缓存，支持通过 config/clients/<id>/client.yaml 做多客户配置，仓库包含 13 个 CLI 子命令、671 个测试和 MIT 许可证。
GitHub 仓库 enhancing-llms 提供论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验代码，探索面向特定领域任务的新型 LLM 微调方法。其方法在 GLUE 上从基线 84.2% 提升到 92.5%（+8.3%），在 SuperGLUE 上从 76.8% 提升到 89.3%（+12.5%），并附带领域自适应与高效训练管线，采用 MIT License 开源。
GitHub 灵魂体仓库发布 OPERA（Omni-modal Preference Extraction and Ranking Architecture），一个基于 DPO/GRPO 的全模态偏好提取与排序架构，采用 Apache-2.0 许可证开源。项目仍在开发中，终端版本将于 05/10/2026 前上传。
GitHub 上的 ATML PA2 学生起始仓库提供 LLM 后训练作业框架，代码有意不完整：任务 1-3 覆盖 DPO、PPO、GRPO 的训练循环与消融实验，且各含一个待学生发现和修正的算法缺陷。任务 4 提供固定的 AI safety judge，任务 5 提供精确的 RLVR verifier 与用于 RLAIF 评估的 pairwise AI judge，学生需自行实现评估与聚合代码。课程资产（固定数据集、缓存诊断与 continuation checkpoints）通过 GitHub Release 分发，参考环境锁定 Transformers 4.57.1、TRL 0.27.2、PEFT 0.17.1 和 Tokenizers 0.22.1。
GitHub 上的 Richard-Rocuant-O/IA-Enginer-Transfomers-LLM-Enginering-RAG-QLoRA-Agents 仓库，是一个 AI 工程师课程项目，涵盖 Transformers、LLM 工程、RAG、QLoRA 与 Agents。仓库包含 guides 与 week1、week2 等按周组织的学习目录，并附有 AI-Engineer Core Track 文档及 .github/workflows、pyproject.toml 等工程配置文件。
GitHub 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现，使 LLM 可在动态环境中实时调整行为且不发生灾难性遗忘。该方法在多类动态环境上较基线提升 16.8%–19.1%，如混合上下文 91.3% 对基线 74.5%。项目采用轻量级自适应更新，无需全量重训练，基于 Apache 2.0 许可证开源。
GitHub 仓库 hebduf6256/enhancing-llms 开源了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现与实验代码，探索超越传统方法的高级微调与领域自适应技术。该方法在 GLUE 和 SuperGLUE 上取得 SOTA 结果：GLUE 从 84.2% 提升至 92.5%（+8.3%），SuperGLUE 从 76.8% 提升至 89.3%（+12.5%）。仓库采用 MIT 许可证，提供训练、评估脚本及优化的高效训练管线。
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型（含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等），总算力成本约 103 美元。文中公开全部提示词（GitHub 仓库 yvrjsharma/ml-intern-prompts），并总结了三条关键写法：让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示；例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B，测试集准确率从基座 14.9% 提升到 52.8%，成本约 1.90 美元。
推荐理由：作者把 7 个提示词原样公开，预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。
GitHub 仓库 chengzeliu79-spec/enhancing-llms 开源了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现与实验，提出超越传统方法的高级微调策略和领域自适应技术。该方法在 GLUE 上达到 92.5%（基线 84.2%，提升 +8.3%）、SuperGLUE 上达到 89.3%（基线 76.8%，提升 +12.5%），并优化训练流程以加快收敛，项目采用 MIT License。
GitHub 用户 Malik-Usman17 开源了其完成 DataCamp "Associate AI Engineer for Developers" 课程体系的实践仓库，内容涵盖 Python 代码、LLM、OpenAI API、提示词工程、Hugging Face、LangChain、向量数据库、AI 智能体及真实场景 AI 应用。
GitHub 上的 llm-inference-system 仓库提供一套大语言模型全生命周期工程平台，架构对标 LLaMA 3、DeepSeek-V3/R1 和 Qwen 2.5，覆盖 SFT（Full/LoRA/QLoRA）、DPO、在线 RL GRPO、分布式通信与高吞吐推理服务。基准实验基于 Qwen2.5-0.5B（494M 参数、24 层、151,936 词表），其零显存 DPO 通过禁用 adapter 复用冻结基座权重，省去参考模型复制；推理侧对比 PyTorch Eager、vLLM、Hugging Face TGI 和 llama.cpp。
modal-projects 发布开源库 modal-dojo，用于在 Modal 上快速开展生产级 LLM 训练。可通过 uv pip install 安装，用 modal-dojo skills install 为本地 Agent 安装技能包，示例展示了以自定义奖励函数对 Qwen3.5-4B 在 GSM8K 数据上做 RL 训练。库支持 DeepSeek、GLM、Gemma、Kimi、Qwen3 至 Qwen3.8 等多系列模型，要求 Python 3.12。
推荐理由：这个开源库把 Modal 上的生产级 LLM 训练封装成可安装的技能包，Agent 可直接调用，附多模型支持清单和可复现代码示例。
GitHub 仓库 ShieldShrimpRegister/enhancing-llms 发布了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现与实验代码，包含高级微调算法、领域自适应和高效训练流程，并附 `src/training/train.py` 等训练脚本。在 GLUE 上该方法从基线 84.2% 提升至 92.5%（+8.3%），SuperGLUE 从 76.8% 提升至 89.3%（+12.5%）。项目基于 MIT License 开源，论文收录于 ACL 2024。
该项目基于 Qwen/Qwen2.5-1.5B-Instruct，用 QLoRA 4-bit 量化微调，将网络安全日志转为含 attack_type、severity 等字段的结构化 JSON。数据集源自 Kaggle 镜像的 UNSW-NB15（2,540,047 行），筛选出 v1 共 2,850 条。最终盲测集上，QLoRA v2 攻击类型准确率从 v1 的 50.0% 提升至 76.7%，severity 准确率 100.0%，affected_asset 准确率 73.3%，且在 20 例小型回归基准上未见能力退化。
Epistates在GitHub发布PMetal，一个用Rust编写的Apple Silicon机器学习SDK、框架和应用套件，覆盖Metal GPU内核、ANE集成、训练API、终端TUI和Tauri+Svelte桌面GUI。支持LoRA/QLoRA、DPO/KTO/GRPO等偏好与推理训练、知识蒸馏、模型合并、GGUF量化、OpenAI兼容服务，并支持通过Thunderbolt组网的多Mac分布式训练，M1至M5全系完全支持，MIT或Apache-2.0许可。
推荐理由：仓库README覆盖从Metal内核到TUI、CLI和多Mac集群训练的完整链路，想研究Apple Silicon本地训练推理工具结构的读者可以按需查阅。
GitHub 仓库 Esha-Rahim/ml-engineering-to-production-ai 记录一条从数学基础到生产级 AI 工程的学习路线，涵盖机器学习、PyTorch 深度学习、RAG、LoRA/PEFT、LLM 评估及 MLOps 等内容。仓库按 mathematics/、days/、projects/ 等目录组织学习记录与项目，目标是具备构建、评估、部署和监控 ML 系统的能力，但不承诺任何具体职位或资历。
xuvictor04 的 LLM-Test 仓库正在围绕“所有权即命名空间”的骨架重建一个自主持续学习系统，目标是无标注字节流上的语言生成与无灾难性遗忘的持续学习。新树 src/ 的 132 个公开入口点中 48 个已实现，测试套件共 42 项检查加 575 个回放 oracle 用例、0 失败；data、tok、lm 三个包在 CPU 上端到端连通，30 步固定 batch 将交叉熵从 8.320 降至 0.144。作者强调尚无规模化训练，专家张量能否真正训练还未被验证。
ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的代码实现已在 GitHub 开源，采用 Apache 2.0 许可证。该方法支持实时参数调整、动态记忆管理和环境检测，可在不全面重训的情况下持续学习并避免灾难性遗忘。在多类动态环境中性能较基线 LLM 提升明显：主题切换 +17.4%、新领域 +18.1%、混合上下文 +16.8%、时序变化 +19.1%。