新闻、仓库与研究，按时间排列。
开源项目 Modern_LLM 用 PyTorch 重建 LLaMA 以来开源模型对 Vaswani 2017 Transformer 的各项架构偏离（RoPE、ALiBi、GQA、MLA、YaRN 等），每项由一个 config flag 控制，用于消融实验衡量各改进的真实收益。每个组件提供 naive 与 fast 两条实现路径及数值等价性测试，configs 中附带 7 套配置，并索引了 29 篇参考论文。
作者在 Amazon MASSIVE tr-TR 数据集上对比土耳其语语音助手命令的 60 类意图分类：LoRA 微调的 Qwen2.5-1.5B-Instruct 达到 0.8383 macro-F1，仍比全量微调的 BERTurk（110M 参数）低 1.2 分，且 BERTurk 训练仅 45.5 分钟（Apple MPS）、推理只需单次前向传播。零样本基线仅 0.4049 macro-F1，3.4% 的预测是编造的标签名；LoRA 微调将编造标签从 101 降到 2。其他发现包括按验证 macro-F1 而非 loss 选检查点值 5.6 分、剥离土耳其语变音符损失 3.3 分准确率且 84% 由字母 ı 造成、多语言 tokenizer 对土耳其语每词最高多花 1.9 倍 token。
GitHub 开源项目 Nexus-LLM 是一个生产级终端 LLM 框架，自带后端，无需云端 API，支持 GPT-2、GPT-Neo、LLaMA、Phi、Qwen 等 39+ 模型，提供类 Claude 的流式终端聊天界面。它统一了从加载、推理、LoRA/QLoRA 微调、RAG、Agent 到部署的全流程，内置 FAISS 向量检索、5 种 Agent 类型、FastAPI 的 REST 与 WebSocket API，以及 4-bit/8-bit 量化和 DDP/FSDP 分布式训练。
daVinci-LLM 是一个可在 Windows 上运行的开源大语言模型研究项目，打包了预训练模型文件、训练数据、研究笔记与结果、配置文件，展示小模型经精细训练也能取得较好效果。项目要求 Windows 10/11、至少 8 GB 内存和 20 GB 磁盘空间（推荐 16 GB 内存和 NVIDIA/AMD GPU），采用 Apache 2.0 许可证。
作者 navthings 发布 airgpt 仓库，一条命令在 Apple Silicon Mac 上完成下载TinyStories/Cosmopedia数据、训练 byte-level BPE tokenizer、预训练 llama 风格小模型并教它聊天，只用 MLX，无需 CUDA 或云端。作者在 MacBook Air（M5, 16GB）上用 hour preset 训练 8M 参数模型 1 小时、55M tokens，val loss 从 2 分钟的 4.09 降到 46 分钟的 2.27，全程热状态保持 nominal，速度约 20k tokens/s，训练后能写出句子并回答提问但会编造事实。
推荐理由：作者公开了在无风扇 MacBook Air 上从零训练小模型的全流程与实测数据，val loss 下降和对话样例都可对照复现。
开发者 /u/Scutoidzz 发布了面向 Windows 的 Spotlight 式搜索工具 LSearch，内置 embeddinggemma 2（270M）embedding 模型，以及由两个 Qwen 3.5 4B 模型（分别微调用于编码和 agentic 工作）合并成的 MoE，仅用于修复代码。应用无图像支持，由 Opus 5.5 编写，模型、源码和 exe 均已公开，16GB 及以上内存可自动下载模型。
社区作者发布实验模型 Bathory-X，一个基于 Gemma 4 26B A4B 的推理 MoE 模型，经微调用于散文写作与角色扮演（含 ERP），应已完全无审查。模型融合了多个优秀写作模型的内容，旨在消除常见 AI 写作套路如滥用明喻、三段排比等。作者提供 Transformers 版本与 GGUF 量化，并征集各 backend 的问题反馈与最佳 preset。
/u/Unstable_Llama 发布 exl3-qlora，一个基于 ExLlamaV3 的原生量化训练分支，用纯 PyTorch 实现、不依赖 transformers，可对 2-8bpw 的 EXL3 量化模型做 QLoRA 训练，摆脱 BNB 4bit 的限制。适配器按标准 PEFT 格式保存，可加载进 TabbyAPI、PEFT 或合并回基座模型；支持 Llama3、Mistral、Qwen3 dense/MoE、Qwen3.5/3.6/3.8 hybrid、Gemma3/4、Arcee Trinity。
推荐理由：作者给出同数据同硬件下 EXL3 与 bnb NF4 的 eval loss 和显存对比，读者可自行判断这套量化训练管线的取舍。
一位开发者发布了一款免费 Android 收据扫描应用，在手机本地运行微调后的 Qwen3.5 0.8B 视觉模型，将收据照片解析为包含商店、日期、总额和每个明细项的 JSON，无需上传收据。作者同时微调了 OvisOCR2（其本身也是 Qwen3.5 0.8B 的微调版本），iOS 版本尚待 Apple 审核数天。应用的模型将开源，用户也可选择连接自己的 OpenAI API 兼容服务器。
GitHub 仓库 enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现代码，探索超越传统方法的高级微调策略，将预训练模型适配到特定领域。在 GLUE 和 SuperGLUE 基准上取得 SOTA 结果：GLUE 从基线 84.2% 提升至 92.5%（+8.3%），SuperGLUE 从 76.8% 提升至 89.3%（+12.5%）。项目采用 MIT 许可证开源，包含训练、评估脚本与实验配置。
GitHub 仓库 andy20dek/enhancing-llms 发布了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验代码，探索面向特定领域任务的新型微调方法。其方法在 GLUE 和 SuperGLUE 基准上分别取得 92.5% 和 89.3% 的成绩，较基线提升 +8.3% 和 +12.5%。仓库包含源码、训练脚本、实验配置与单元测试，采用 MIT 许可证开源。
PavanMudigonda 在 GitHub 发布开源课程 Zero to AI，通过 950+ 实操 Jupyter notebook 讲授 Python、数据科学、深度学习、LLM、RAG、AI agents、prompt engineering、微调及 MLOps。课程提供 33 个阶段和按目标划分的学习路径（4-6 周到 4-6 个月），可在 zero-to-ai.dev 通过 Pyodide 在浏览器中直接运行，无需安装 Python 或 GPU，本地运行需 8 GB 内存。部分后期阶段（如 30-inference-optimization）仍在完善中。
GitHub 仓库 enhancing-llms 提供论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验代码，探索超越传统方法的高级微调与领域适配策略。其方法在 GLUE 上取得 92.5%（较基线 84.2% 提升 +8.3%），在 SuperGLUE 上取得 89.3%（较基线 76.8% 提升 +12.5%），并附带优化训练管道以加快收敛，项目基于 MIT 许可开源。
GitHub 仓库 nepbvtovc8757/enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的新型微调方法，用于提升 LLM 在领域特定任务上的表现。结果显示 GLUE 从 84.2% 提升到 92.5%（+8.3%），SuperGLUE 从 76.8% 提升到 89.3%（+12.5%）。项目含训练、评测脚本与实验配置，采用 MIT 许可证开源。
GitHub 上的 TinyCeNN-LM 是一个研究紧凑循环记忆与选择性替换 Transformer 层的仓库，在 SmolLM2、Qwen3.5、FunctionGemma、Gemma 4 和 Laya / ModernBERT 上实验 CeNN、集成记忆与 delta-memory 等替换方案，目标是在保留预训练能力的同时衡量质量、内存和延迟的权衡。新 V2.5 实验为 Laya 引入 Windowed Delta + 多尺度 CeNN，GPU 结果待出；仓库含 45 个现行 notebook 条目及 30 个归档实验，检查点以 MIT 许可发布在 Hugging Face。
GitHub 上的 co-train 是一个可证伪优先的研究仓库，检验共训小模型能否逆转未训练模型上 bash 优于 PTC 的 +16.5pp 排序，并验证结果能否经受 harness 交换。目前 Step 1（51 项测试）与 Step 2 已完成：fp16 GRPO 在 Kaggle T4 上稳定，无需租用 GPU；Step 3-6 尚未开始。仓库含 24 份约 6500 行 markdown 文档，默认测试套件 266 项通过（2026-10-10 测得），完全离线、无需 GPU 即可复跑。
curiousily 在 GitHub 开源了 "Get Shit Done with AI" Bootcamp 仓库，面向 AI 工程师的实战课程，覆盖 Python、PyTorch、MLOps 到 LLM 应用开发。内容包括用 FastAPI 和 Docker 构建 API、AWS 部署，以及 LangChain、Ollama、MCP、DSPy、RAG/CAG、QLoRA 微调等教程，可免费通过 Discord、YouTube 和 AI Engineering Academy 学习。
Meridian.AI 是一个金融领域专用语言模型，基于 Qwen2.5-0.5B（约 494M 参数）backbone，利用 GitHub Actions 免费算力每小时持续微调，覆盖 25+ 金融与数学数据集，并通过 EWC（Elastic Weight Consolidation）防止灾难性遗忘。模型 checkpoints 开源在 HuggingFace（meridianal/FinAI），v1.0.0 为首个生产级版本，部署模型上下文窗口 32,768 tokens、bfloat16 训练，仓库内 meridian/ 的 Sparse MoE 架构仅用于实验，非部署版本。
TogoLM 是一个面向多哥的开源 AI 知识层项目，涵盖从网页抓取到微调 LLM 和公开 REST API 的完整流程。其语料库包含来自 55+ 来源的 62000+ 份多哥结构化文档，RAG 引擎支持法语全文搜索，并提供 JS/TS 与 Python SDK。微调基于 Mistral 7B Instruct v0.3 用 QLoRA 进行，目前训练仍在进行中。
该研究提出oracle引导微调方法，让LLM通过三个数据池学习"选择或改写"策略来后编辑ASR转录：corrections池教选择、regularizers池抑制不必要改写、hard negatives池压制幻觉。在私有数据集上约3B参数起效果明显优于随机子集微调，但CommonVoice上的结果不够确定，作者认为公开朗读语音文本可能与LLM预训练数据重叠、掩盖真实收益。
研究者基于 Qwen3.5 骨干的 9B 参数决策模型 Clef-Flash，用 QLoRA 微调在 Symptom2Disease 基准的 24 类疾病分类上达到 95.42% 准确率、macro F1 0.9551，超过 ClinicalBERT 的 90.90%。单次前向推理每条记录耗时不足 80 毫秒，报告称较生成式 LLM 基线提速 31 倍。其提出的 Leave-One-Symptom-Out 反事实扰动框架可揭示症状级证据。
Tejas Vaidhya 在 arXiv 论文中提出 Tab-Loop，将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环应用 k 次，其余编码器、解码器、合成先验和训练配方不变。在相同预训练算力 18.2 EFLOP 与相同推理算力下，参数量从 27.6M 降到 10.4M，held-out log loss 0.4583 对 0.4588，200 个 TALENT 数据集平均准确率 84.10% 对 83.92%，38 个 TabArena 数据集 Elo 1409 对 1396。由于权重共享，深度可在推理时选择，在训练范围内增加循环次数可提升精度且超出范围仍成立，用更深的循环继续训练可在 4–5 倍推理算力下达到基线 stage-2 成绩。
推荐理由：论文在相同预训练与推理算力下对比权重共享与独立参数，给出参数量、精度和 Elo 的具体数字，可迁移到 ICL 模型的参数效率设计。
该项目构建了一个用于 LoRA 微调开源权重 LLM 的 MLOps 平台，覆盖数据准备、训练、部署、监控、回滚与版本化，技术栈为 MLRun 编排框架加 AWS 基础设施及 PyArrow、Hugging Face 等开源库，输入提示词最长可达 11,000 tokens。模型任务是从 Contract NLI 数据集的多页 NDA 合同中理解、抽取并分类风险/限制/义务条款。CI/CD 采用 MLRun 官方推荐的部署到现有平台的方式，而非每次运行临时搭建 Kubernetes 集群。
Vela 框架将 100,000 名用户的匿名真实行为数据转化为 91 类真实任务模板、共 100,000 个任务，经难度过滤后保留约 75,000 个任务及其训练轨迹。基于这些轨迹微调 Qwen3.6-35B-A3B，用户相关任务较基础模型最高提升 11.5 分，通用基准平均提升 4 分；微调后再做强化学习比直接从基础模型强化学习最高多 7.7 分。
Lingdan-V2 是 4B、8B、14B 参数的中医大语言模型家族，采用持续预训练、推理监督与以方剂为核心的强化学习对齐框架，用于中医临床决策支持和方剂推荐。在含 25,620 条专家核验条目的公开基准上，14B 强化对齐模型方剂生成 F1 达 37.0，超过总参数 671B 的 DeepSeek-R1 的 32.3；在 4,348 例脾胃病回顾性临床数据集上 F1 为 52.8，剂量一致性提升。
GitHub 仓库 dezar78/enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的高级微调方法，面向领域特定任务优化预训练模型。该方法在 GLUE 上从基线 84.2% 提升至 92.5%，在 SuperGLUE 上从 76.8% 提升至 89.3%，并支持基于 bert-base-uncased 的 GLUE 任务微调与评估。仓库以 MIT 协议开源，含训练脚本、实验配置与 Jupyter 分析笔记。
GitHub 用户 ceke567 开源了 10 周大模型训练实操仓库 Hands-on-LLM-Training，包含可复现的训练代码、实验配置与每周结论。计划覆盖从零训练 Mini GPT、100M–300M 模型训练工程、DDP/FSDP/ZeRO 多卡对比、7B LoRA/QLoRA SFT、DPO 偏好优化、评估 pipeline 到模拟万卡 Scaling 问题，每周投入 10–18 小时。当前第 1 周实际使用 1 张 BW 异构加速卡（PyTorch 2.9.0 已识别该设备），各周实验均未开始。
一篇被 ICML 2025 接收的论文开源了其 LLM 动态环境自适应学习框架实现，支持实时参数调整、持续学习且不发生灾难性遗忘，无需完整重训练。在四类动态环境测试中性能较 baseline LLM 提升 +16.8% 至 +19.1%，如主题漂移场景从 72.3% 升至 89.7%。代码以 Apache 2.0 许可开源，适用于聊天助手、内容推荐等场景。
GhanaOpenAI 发布 twi-translation-tool-calling 仓库，基于 google/gemma-4-31B-it 用 LoRA 微调，让模型先调用 lookup_twi_translation 工具查询离线词典（478,822 条英语→Twi 短语），再推理生成 Twi 翻译。训练数据含 15,134 条带工具调用的样本，词典与部署工具使用同一文件保证输出一致。仓库含数据集构建、训练、评测脚本与部署运行时，支持 vLLM 与 transformers 后端，采用 CC-BY-NC-4.0 非商业许可。
llm-finetune-kit 是一款免代码的大语言模型微调工具，可在消费级 NVIDIA 显卡上对 Qwen、DeepSeek 或 LLaMA 进行训练。要求 Windows 10/11、16GB 内存、至少 8GB 显存和 50GB 磁盘空间，训练数据支持 .json 或 .jsonl 格式。输出的模型可导出为 GGUF 或 Safetensors 格式供其他程序使用。
研究者将心理语言学理论 Uniform Information Density 引入大语言模型偏好优化，提出 UIDPO 算法，通过全局标准差与局部二阶差分组合度量信息均匀度并纳入优化目标。与此前 SOTA 方法 SimPO 相比，UIDPO 在 AlpacaEval2、ArenaHard 和 MT-Bench 上取得相当或更优的表现，代码仓库已开源。
论文提出 Reward-Aligned Distillation（RAD），一种双层框架，通过预测每个 token 监督信号对学生模型更新后奖励的影响来加权 on-policy 蒸馏信号。在相同训练响应预算下，RAD 在六个竞赛数学基准上比最强基线提升 Qwen3-1.7B（non-thinking）6.5 个百分点、Qwen3-4B-Instruct-2507 2.5 个百分点；在 LiveCodeBench-v6 上，Qwen3-1.7B（non-thinking）与 OLMo3-7B-Instruct 分别达到 54.69% 和 58.67% pass@1，超过最强基线 8.7 和 6.4 个百分点。简化变体 RAD-Simple 在同等预算下取得相近数学准确率。
开发者 taharallouche 在 GitHub 上开源 llm-from-scratch 仓库，按 Sebastien Raschka 的《Build a Large Language Model (From Scratch)》一书从零实现 GPT-2，全程未使用编码助手。项目正在进行分类微调部分（WIP），改用 Hugging Face 开源数据集在平衡与非平衡数据上实验，发现左填充（left-padding）显著优于右填充。影评分类任务测试集 Accuracy 达 0.84，并记录了训练集疑似过拟合、需配置 AdamW weight decay 和 early stopping 的经验。
这是 mbh2006 提交的 ATML PA2（LLM 后训练）课程作业完成版仓库，覆盖 DPO、PPO、GRPO 训练、安全评测（safety judge）以及 RLVR 与 RLAIF 对比评估五个任务。作者在 Tasks 1–3 中识别并修正了各含一处刻意设置的算法缺陷，例如 DPO logit 改为 policy_margin − ref_margin，并用 tests/test_objectives.py 的手算单元测试验证。参考环境固定为 Transformers 4.57.1、TRL 0.27.2、PEFT 0.17.1 和 Tokenizers 0.22.1。
C_manager 是一个 Windows 桌面工具，基于 Tauri 2 与 Rust 内嵌 llama.cpp，可扫描 C 盘大文件、用 GGUF 模型或 OpenRouter/OpenAI 兼容接口解释文件用途，并按红黄绿给出保守清理建议。作者用它研究了 Qwen3.5 小模型的量化、微调与 RAG：0.8B 四组实验固定关键词检查为 8/24、5/24、13/24、21/24，Qwen3.5-4B Q4_K_M 的 RAG 组复核为 14/24，仍未达可靠性目标。深度参数修复后 3 层扫描耗时 3.56 秒，但并非“完整扫描提速 28 倍”。
GitHub 仓库 enhancing-llms 公开了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现与实验，探索面向领域任务的新微调方法。该方法在 GLUE 上从基线 84.2% 提升至 92.5%（+8.3%），在 SuperGLUE 上从 76.8% 提升至 89.3%（+12.5%）。项目提供训练、评估脚本与实验配置，采用 MIT 许可证开源。
GitHub 仓库 enhancing-llms 开源了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques"（ACL 2024）的实现与实验代码。该项目探索面向领域任务的新型微调方法，在 GLUE 和 SuperGLUE 基准上取得 SOTA 结果：GLUE 从基线 84.2% 提升至 92.5%（+8.3%），SuperGLUE 从 76.8% 提升至 89.3%（+12.5%）。仓库采用 MIT 许可证，提供训练脚本、实验配置和分析 notebook。
arXiv 论文提出 Q-NeuS，一种查询自适应的 LLM 神经元调控框架，根据每个输入动态决定调控哪些神经元及调控幅度。该框架构建主题引导的候选神经元空间，用 Query-Adaptive Gate 生成逐神经元调制系数，并通过 Neu-GRPO 基于多种干预配置的相对表现训练。基座 LLM 全程冻结，推理时无需任务或主题标签，实验显示其在多模型与 benchmark 上均有一致提升并具跨 benchmark 迁移性。
该仓库提供 Qwen3.5-4B 大模型的微调与部署实践内容。包含基于 vLLM 的 Qwen3.5-4B 部署，以及使用 LoRA（结合 ms-swift）的文本微调练习，采用独立 uv 项目管理，涵盖本地模型配置、环境检查和 Jupyter Notebook，并集成 SwanLab。仓库以 MIT 协议开源。
论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments"（ICML 2025）的实现代码以 Apache 2.0 许可开源。该方法支持实时参数调整、动态记忆管理与防止灾难性遗忘，无需全量重训练即可持续适应变化环境。在四类动态场景中较 baseline 提升 +16.8% 至 +19.1%，如混合上下文 91.3% 对 74.5%。