Multi-SFT:可商用许可的多语言指令遵循数据集
研究者推出 Multi-SFT,一个可商用的监督微调数据集,含 502,818 条指令-回复对,覆盖五种欧洲语言。人工评估显示各数据集与语言间标注者一致性至少 0.87。对 EuroLLM、OLMo 2、Qwen3 三个家族的 9 个模型(1B-32B)微调并在 13 个 benchmark 上评估,结果显示仅用 Multi-SFT 即可与更大的增强混合数据集及官方指令微调版本竞争,在安全任务上优势明显。
新闻、仓库与研究,按时间排列。
研究者推出 Multi-SFT,一个可商用的监督微调数据集,含 502,818 条指令-回复对,覆盖五种欧洲语言。人工评估显示各数据集与语言间标注者一致性至少 0.87。对 EuroLLM、OLMo 2、Qwen3 三个家族的 9 个模型(1B-32B)微调并在 13 个 benchmark 上评估,结果显示仅用 Multi-SFT 即可与更大的增强混合数据集及官方指令微调版本竞争,在安全任务上优势明显。
一项 arXiv 研究提出“变体碎片化”问题,指出混合纳瓦特语(Nawatl)多种变体的语料会生成不属于任何语言社区的人为语域。研究基于 70,000 双语对多变体基础,用 2,665 平行对和 192 句长者转写句子,将 mT5-large 特化为 Santa Ana Tlacotenco 的 Masewalkopa(nhn)变体,所得 LoRA-v9c-b 模型取得 58.46 dev chrF++;有限状态分析器将未分析表层形式从 82.0% 降至 19.9%,CTranslate2 int8 量化把 CPU 延迟从 137.5 秒降至 1.8-2.6 秒,支持低成本 Cloud Run 部署。
研究者提出 AutoSFT,一个用于监督微调(SFT)数据自动化研究的多智能体系统,由 meta agent 分离执行与分析,并调用 synthesis 子智能体补充数据池无法覆盖的操作。相比单智能体,executor 将上下文丢失减半,分析子智能体使 IFEval 提升 +6.5,合成再加 +3.4 IFEval 和 +2.9 IFBench;同一流程迁移到代码任务可带来 +3.7 MBPP+。所有结果均基于每轮从基座模型重新训练,结论表明自动化 SFT 数据研究更依赖覆盖多样化的数据操作。
一项 arXiv 研究区分了语言模型中的“活性事实”与“惰性事实”:前者能在微调后泛化到共享答案的保留主体,后者只能被召回却无法支持泛化。研究通过在既有关系上构造任意重标注的新关系来检验泛化,覆盖 11 个语言模型和 70 个关系,原始关系在预训练表示中的线性可读性与之强相关,模型内 Pearson r 为 0.87 至 0.92。结论是新关系能否泛化,更多取决于其共享结构能否被线性读出,而非事实本身能否被召回。
一项 arXiv 研究提出通过对注意力头按梯度范数排序和划分,实现语言模型的稀疏与持续强化学习微调。实验覆盖数学、指令遵循和编码任务,微调高排名注意力头的效果稳定优于低排名者,且常能匹敌更稠密的微调基线;按任务划分注意力头可减少跨任务干扰、提升旧能力保留,同时保持对新任务的适配。
研究者提出 TITAN 框架,通过因果干预、稀疏特征分解与定向偏好优化,定位并优化 decoder-only 多语言 LLM 中的翻译回路,仅更新不到 5% 的模型参数。该方法在印地语到乌尔都语和信德语(天城文)翻译上分别取得 33.75% 和 45.86% 的 BLEU 提升,人工评估也确认了充分性与流畅度的显著改善。分析显示多语言翻译通过共享语义子空间上的稀疏结构化回路实现,而非以英语为中心的枢轴表示。
研究者提出 Function-isolated Memory-Efficient Optimization(CiMEO)持续学习框架,通过梯度归因分析定位 LLM 中认知相关的功能子网络,将训练样本路由至对应子网络,把参数更新和优化器状态限制在选定区域。在 140 万条顺序指令上,CiMEO 在覆盖编程、考试型任务和数学推理的五个生成式 benchmark 中取得对比方法的最高平均性能,同时缓解灾难性遗忘。子空间重叠与主角度分析表明局部化更新有助于保留预训练表征。
Reddit r/LocalLLaMA 用户征集最疯狂、最古怪的 LLM 微调模型,希望整理一份实验性模型清单,并提到有模型用 1800 年代军事行话说话。发帖者主要关注可在无独立 GPU 情况下运行的小型模型,也欢迎 NSFW 微调作品分享。
shimbaaa 在 Hugging Face 上发布 Supra2-100M-Uncensored-Instruct,一个 100M 参数的指令模型,基于 SupraLabs/Supra2-100M-Base 经两阶段 LoRA 训练,训练上下文长度 512,采用 Apache-2.0 许可。模型被训练为以 Yes-Man 风格顺从用户提示,未做安全对齐,会认同错误前提;两阶段均混入 Dolly-15k 回放数据以减少灾难性遗忘。
Black Forest Labs 发布 FLUX.3 Image Klein,开放蒸馏版(16 步、无 CFG)和 base 版(50 步、CFG)两个权重,首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制,蒸馏版在 H100 上约 2 秒生成 1024×1024 图像,提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。
推荐理由:官方教程给出两个开放权重的显存占用和 H100 实测生成耗时,还拆解了架构细节,方便评估部署成本。
GitHub 上的 applied-pytorch-bootcamp 项目提供一套动手式 PyTorch 练习,覆盖模型训练、计算机视觉、语言模型、强化学习、世界模型、多模态、具身 AI 与分布式训练。练习通过补全代码并运行检查来学习,不含现成答案,需 Python 3.12 及以上,早期练习 CPU 即可,较大练习建议 CUDA GPU,支持 uv 和 pip 安装。
Wei Chen 等人在 arXiv 发布 HP-RLVR(Hindsight-Privileged RLVR),用已完成轨迹自身的未来信息生成 token 级更新权重,替代 GRPO 的组采样。方法对每个 token 在因果历史与含验证器反馈的后见上下文两种视角下打分,以归一化 Jensen-Shannon 散度加权奖励,成功与失败轨迹都有有界信用,无需参考答案或 critic。在共享 100 步 schedule 的 Qwen3-8B 配对实验中,HP-RLVR 在数学、代码生成和 ALFWorld 上分别比 GRPO 快 1.21x、1.46x 和 2.30x,每 prompt rollout 用量为八分之一;总体准确率相当,数学上 HP-RLVR 领先,代码与 ALFWorld 上 GRPO 领先。
VASPO(Value-Augmented Self-Distillation Policy Optimization)在 PPO 框架内整合自蒸馏与特权价值估计:critic 从预测续写回报计算 token 级优势,自教师通过有界概率比调制部分正优势。在六个数学推理 benchmark 上,VASPO 在 Qwen3-4B 和 OLMo3-7B 上分别比 PPO 平均准确率提升 2.59 和 1.81 个百分点,并在 Knights and Knaves 上取得评测方法中的最高平均准确率。代码已开源。
论文提出 Selective Rank-Preserving SFT(SRP-SFT),用基于参考缩放下界的 hinge 软目标在 teacher-forced 前缀处保持选定的非目标 token 边距关系,并推导了违反边距的 KL 代价、可行域及有限步降低总违反的条件。在 Qwen3-4B-Base 与 UltraFeedback 的一轮实验中,三个训练种子下 MATH-500 和代码生成分数均超过 CE 与 LP-SFT;种子 1234 下 MATH-500 pass@1 从 49.56% 升至 54.56%,四指标代码均值从 65.91% 升至 69.50%。论文还给出排序对照、held-out 缓存诊断、敏感性扫描及六个额外骨干上的验证。
推荐理由:论文给出 SRP-SFT 的可行域刻画与多种子实验数据,读者可对照 CE 和 LP-SFT 评估该微调目标的实际收益。
论文提出 Interlock 框架,将任务表示为类型化完成图,通过 grounding 边、coupling 超边和 realization 边刻画证据、决策与下游效果间的关系,并编译为可重置工作区、公开请求与评测 rubric。在两个 Qwen3.6 backbone 上用自产轨迹微调后,AutomationBench 任务通过率提升 4.00-4.50 个百分点,JobBench 加权分提升 3.20-6.64 分,Harvey LAB 准则通过率提升 3.89-4.16 个百分点。
微软发布 UserRepGen-4B,一个基于 Qwen3.5-4B 微调的模型,可从多轮用户-助手对话中生成包含任务描述与行为描述的结构化自然语言用户表示,用于条件化独立的 LLM 用户模拟器。与 UserLM-8b 和 UserLM-2.0 生成用户话语不同,它只生成表示,不执行任务也不充当模拟器。该模型通过 hindsight distillation 的在线监督微调训练,推理时无需模拟 rollout 即可直接生成表示。
该项目基于开源模型 Qwen2.5-Coder-7B(约 7.61B 参数,预训练超 5.5T tokens),用 LoRA 微调使其将企业业务术语翻译为 SQL 查询。LoRA 冻结原权重、仅训练约 0.25% 参数,最低需 20 GB VRAM。基线 Execution Accuracy 为 26.5%,训练 2 个 epoch(r=16)后提升,并配有 Gradio 界面支持上传 SQLite 数据库与聊天生成 SQL。
作者发布两个 Qwen 3.8 27B 后训练版本 Sabi-Noema 和 Sabi-Noema-MLA,仅用开源环境训练,声称在 <30B 模型中提升编码、Agent 和工具调用能力并降低幻觉率。Sabi-Noema 在 DeepSWE 上超过 GPT 6 Luna-medium,在 TB2.1、Tau-3 bench、ClawEval、BFCL v4 上超过 Luna-high,比基座 Qwen 在 TB2.1 少生成 50% token、在 DeepSWE 少 25%。
推荐理由:原文给出了 token 减量和 KV cache 压缩的具体数字,还附带 24GB 显卡上的上下文对比,便于评估实际收益。
GitHub 仓库 xiayuwei111/enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的微调方法,用于提升 LLM 在领域特定任务上的表现。该方法在 GLUE 上取得 92.5%(较基线提升 8.3%)、SuperGLUE 上取得 89.3%(提升 12.5%),采用 MIT License 开源。
Zellige AI 开源 Tessera-27B-B-CJK,一个基于 Qwen3.8-27B 的编码 Agent 模型,以混合英文、中文词汇和符号的压缩 CJK 思考来减少 token 消耗,思考过程与输出分离,回答和工具调用保持英文与代码。在 11 个 held-out 编码 Agent 任务上对比未微调基座:每轮思考 token 降至基座的 0.50-0.64 倍,88 轮匹配测试中工具调用 100% 有效、零重复循环,101K-131K token 提示下 6/6 工具调用有效;竞赛数学和难算法代码弱于基座。训练仅用四个短 LoRA 步骤,基于基座自身输出构建。
推荐理由:原文给出与基座模型同任务对比的思考 token 消耗数据和训练流程,可了解用压缩 CJK 思考省 token 的具体做法。
runlocalstudios 发布 SourceMode 仓库,提供一条完全本地化的流水线,为游戏 Chill After Dark 生成一致性角色:在 Qwen-Image-2512 上用 musubi-tuner 为每个角色训练一个 LoRA,经 RTX 5090 上的 ComfyUI 渲染。视频(Wan 2.2)与语音(Chatterbox)为后续计划;仓库包含按角色组织的 library 目录、锁定的 LoRA 库、sourcemode CLI(GPU 队列、训练、渲染、资产等命令)及 POSE_TRANSFER.md 等文档。
GitHub 新仓库 kurtvalcorza/flux-schnell-generation-pipeline 提供 FLUX.1 [schnell](Apache-2.0、11.9B 参数、1-4 步文生图)的 DIMER 端到端管线。权重固定到不可变 Hugging Face revision 并按 manifest 校验,transformer 以 bitsandbytes NF4 4-bit 加载(约 6.6 GB,适配 16 GB GPU),文本编码器与 transformer 分时占用 GPU。
开发者 Domien Darmont 在 GitHub 开源其 Ironhack AI 工程训练营(2026)每周实验的解答代码,内容覆盖 Python 基础、机器学习、Keras 深度学习、NLP、LoRA/QLoRA 微调、LangChain 多智能体系统及基于 CLIP 与 Chroma 的多模态 RAG 与 LangSmith 评估。实验题目来自 Ironhack 课程,解答为作者本人完成,代码仅可查看不可复制分发。
GitHub 上的 Distill-R1 项目将强化学习与在线师生蒸馏相结合,使用专门的教师模型来改进视觉语言模型训练。仓库目前处于早期阶段,尚无 star、fork 或 release。
Trajectorylabs 在 GitHub 发布 trajectory-cookbook,提供使用 Trajectory SDK(锁定 trajectory-sdk==0.9.16)评估和训练模型的可运行示例。内容涵盖 T Factory 首个任务、GSM8K 完整工作流(64 个训练题、16 个保留测试题)、多轮环境与 ReAct agent 等示例,并在小规模 GSM8K benchmark 上训练和评估 Qwen 3.5 4B,另附公开的 Tau 3 Banking recipe。
作者发布 xyntetik-runner,可直接在量化 GGUF 权重上冻结基座并训练小型 LoRA 适配器,无需 PyTorch、transformers 或 FP16 母本,训练与推理使用同一份权重。支持训练后合并到 Q8_0 等独立文件,并附 Qwen3-4B Q4_K_M 在工具调用任务上训练前后的 held-out 实测分数;作者提醒 4-bit 训练的适配器合并进权重后可能消失,runner 默认拒绝此类合并。仓库地址:https://github.com/Joakimpalm-Zen/xyntetik-runner
研究提出在低资源机器翻译中用回译(BT)利用单语数据:微调后的 LLM 翻译单语句子生成平行对,再反向训练并与平行集更新交错进行。仅用 1K 平行对,Odia 和 Swahili 上 BT 比继续预训练高 7.7 至 16.4 XCOMET-XXL 分;五个低资源语言上比仅平行数据微调提升 16 至 173%,Odia 和梵语的人工盲评与自动指标一致。
GitHub 新开源仓库 luethan2025/diffusers-8gb 面向 8GB 显存的扩散模型使用场景,包含 diffusers 依赖、configs/bnb 配置、preprocess 与 dreambooth 脚本及 prompts。仓库提供 DreamBooth LoRA 的 SDXL 与 z_image 两个 Jupyter 推理 notebook,以及 inference、examples 等目录和 requirements.txt。
论文提出 SeTPO(Selective Teacher guided Policy Optimization),通过逆向 KL 的 token 级教师反馈与正向 KL 持续监督,解决小语言模型在强化学习工具使用探索不足与师生行为分布失配问题。理论上证明最优策略期望奖励不低于教师并保留部分教师概率质量,在 BFCL v4 与 API Bank 上超越 SFT、强化学习和蒸馏基线。
开源项目 ADR Forge 是一个本地优先的微调实验室,研究微调后的大语言模型能否比提示词或检索方式生成更一致、可追溯的架构决策记录(ADR)草稿,最终决策权保留在人类评审者手中。项目将对比基线、结构化提示、检索辅助、微调及混合等五种策略,采用可复现 benchmark、确定性验证和盲评人类评估,初期覆盖 SQL 与 NoSQL、模块化单体与微服务等场景,目前处于初始搭建阶段,要求 Python 3.12、Node.js 22,默认质量门禁仅用 CPU,不下载模型。
该仓库将 PyraNet-Verilog 设计转化为基于仿真的训练样例,用 LoRA 微调 Gemma 模型生成 testbench,并用 Icarus Verilog 仿真对比。已完成的 pass 1–2 显示,训练后的 E4B IQ4_NL + imatrix 在 600 个 DUT 上仿真成功率达 93.2%,而原版 E2B 多个量化版本为 27.2%–35.7%。VerilogEval v2 集成已就绪但尚未产出评测结果。
GitHub 用户 Vhagar181 发布 enhancing-llms 仓库,实现论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的微调方法,用于将预训练模型适配到特定领域任务。该方法在 GLUE 上从基线 84.2% 提升至 92.5%(+8.3%),在 SuperGLUE 上从 76.8% 提升至 89.3%(+12.5%),并提供高效训练管线,采用 MIT License 开源。
Moralfish-Labs 开源的 MaatML(Apache-2.0,PyPI 版本 0.13.0)面向文本、视觉与视觉-语言模态的小型任务专用模型,由一个声明式 model.yml 驱动 prepare → train → evaluate → export → serve 全流程。其特色是正确性由模型外部的校验器检查:同一校验器门控合成数据与评测,maatml serve 可按请求校验并在 --enforce 下以 HTTP 422 拒绝失败输出,支持 QLoRA、DPO/ORPO、vLLM 部署等 extras,附 Qwen3-0.6B、SmolVLM-256M-Instruct 等四个参考模型。
tracel-ai 的开源 Rust 深度学习框架 Burn 通过统一 API 让训练与生产代码完全一致,支持端上个性化和联邦学习等场景。其基于 CubeCL 的后端覆盖 CUDA、ROCm、Metal、Vulkan、WebGPU 和 CPU,自动执行 kernel fusion;模型代码修改在 release 模式下增量编译不到 5 秒。LibTorch 已在 0.22.0 中废弃并从 main 移除。
该仓库在 MetaMathQA 上以 PiSSA 风格 SVD 初始化微调 Llama-3.2-1B,并在 GSM8K 和 MATH 各 1,000 测试样本上评测。Rank 256 时 GSM8K 准确率 27.1%、MATH 5.3%,训练耗时 92.42 分钟;rank 16 下 p25/p50/bottom 三种奇异值范围分别取得 12.6%/11.7%/11.4% 的 GSM8K 准确率,均低于默认 top 的 15.3%。
NeuralForge 让用户在本地 PC 上用显卡训练个人 AI 模型,无需云服务,通过图形界面管理训练数据和进度。要求 Windows 10/11、至少 8GB 显存的 NVIDIA 显卡和 16GB 内存,训练结果可导出为 GGUF 格式在本地聊天界面运行,数据全程保留在用户电脑上。
AWS 团队发布论文《Priming: Hybrid state space models from pre-trained Transformers》,提出 priming 方法,复用预训练 Transformer 权重构建混合状态空间架构,将预训练成本降低逾 99%,全流程仅消耗不足源模型 0.5% 的 token 预算。
GitHub 仓库 enhancing-llms 实现了论文「Enhancing Large Language Models with Advanced Fine-Tuning Techniques」中的高级微调方法,用于将预训练模型适配到特定领域任务。该方法在 GLUE 上取得 92.5%(较基线 +8.3%)、在 SuperGLUE 上取得 89.3%(较基线 +12.5%),并提供优化训练管线以加快收敛。项目采用 MIT License 开源。
GitHub 用户 rmanody 开源了论文 "Enhancing Large Language Models with Advanced Fine-Tuning Techniques" 的实现仓库,探索超越传统方法的微调策略和领域适配技术。其在 GLUE 上取得 92.5%(较基线 +8.3%)、SuperGLUE 上取得 89.3%(+12.5%)的 SOTA 结果,并提供优化训练管线加速收敛。项目采用 MIT 许可证,附训练与评测脚本。
一位开发者计划为阿尔及利亚构建电话语音 Agent,因现有模型对阿尔及利亚 Darija 支持不佳,想用真实通话录音微调自己的语音转文字和文字转语音模型。其寻求四方面指导:选择可商用许可的模型、微调 vs LoRA 及所需硬件、数据量与格式要求,以及如何处理东西部、首都和南部不同口音及法语、柏柏尔语混杂,是否需要按地区均衡数据。