Nailordefend 开源 enhancing-llms:LLM 高级微调技术实现仓库
GitHub 仓库 enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的微调方法,用于将预训练模型适配到特定领域任务。
新闻、仓库与研究,按时间排列。
GitHub 仓库 enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的微调方法,用于将预训练模型适配到特定领域任务。
GitHub 仓库 dimpurr/freetokens 汇总了 Command Code、OpenCode、Kilo Code、Cline、OpenRouter、Letta 等渠道的免费编码模型通道,逐条记录模型名、使用条件、限额、数据留存政策和实测状态。
Hugging Face 上线 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供 BF16、FP8、Q4_K_M 等多种格式,文件大小从 4.15 GB 到 14.23 GB 不等,推荐 Q4_K_M 以平衡体积与质量。
Reflection AI(前 DeepMind 成员创立)发布首个开源模型 Beam,主打编程与智能体能力,称效率比其他开源模型高 3-4 倍,定位为非中国系替代选择。公司估值 250 亿美元,并已在训练下一个模型。
ufakzeka-karar 是一个 182,494,466 参数的开源土耳其语决策模型,基于 ufakzeka-1-base,单次 CPU 前向传播即可对最多十个选项输出温度缩放概率与期望误差信号,且打分与选项顺序无关。
Magnarks 在 Hugging Face 上发布基于 google/gemma-4-12B-it 的 abliterated 去审查微调模型 gemma-4-12B-it-abliterated-uncensored-nvfp4,采用 nvfp4 量化。
MRROBOT401 开源的 DyT-NoNorm-LLMs-REWILD 项目将 DistilGPT2 中的 LayerNorm 替换为 Dynamic Tanh(DyT),并结合 LoRA 微调。在 RE-WILD、Alpaca 和 ShareGPT 三个基准上的评测显示,该方法带来更快的收敛速度、更好的性能指标和更低的微调资源消耗。项目采用 MIT 许可证发布在 GitHub。
Interfaze 1 Lite 是一个混合架构(MoA)模型,用单一视觉-语言推理核心搭配多个专用感知架构,可完成文档理解、语音转录、开放词汇目标检测和结构化输出。整个模型可在单张 80 GB GPU 上运行,无需外部服务,已发布于 Hugging Face。
Reddit r/LocalLLaMA 用户发布针对 96GB Mac Studio(M5 Ultra)调校的 UkisAI Swift 1.5 MLX 量化包,约 107GB 下载、纯文本、实测 179,200-token 上下文。
sgaofen 在 GitHub 发布 humanizer 12B v2,一个基于 google/gemma-4-12B 微调的本地文本补全模型,可将英文和中文的 AI 稿件(邮件、论文、报告、论坛帖等)改写得更像人写,训练全程未使用 AI 检测器。
Nylonek 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored GGUF 量化版本,提供 BF16、FP8、Q8_0、Q6_K、Q4_K_M 等多种格式,文件大小从 4.15 GB 到 14.23 GB 不等,推荐兼顾体积与质量的 Q4_K_M。
Brunobkr 在 Hugging Face 发布 OFFFELLIA_Nemotron-3.5-Lightning-30B-A3B-Heretic-Uncensored 的 GGUF 版本。
Aleph__Alpha 的 Kolibri-1 在无微调的情况下自主玩 Breakout,实验测试其在约束条件下的结构化输出能力。推理针对动作概率优化,每步决策约 25ms,无文本生成,采用开放权重。
sbussiso 在 Hugging Face 发布 Llama-3.2-1B-Instruct 的 abliterated 版本,通过对 untied lm_head 权重做读出空间正交化使去拒绝编辑持久化,推理时无需 hook。
推荐理由:原文给出五组对照的拒绝率与 MMLU 损失数据,读者可以据此判断这个持久化去对齐编辑的实际代价。
minas2025 基于 Gemma 4 E2B(约 4.6B)的 uncensored 版本微调出 Coder-Gemma-4-E2B-Uncensored,专注 Python 与 React/TypeScript/HTML/CSS 前端开发,采用 QLoRA 4-bit 训练,上下文 2048,提供 Q8_0 GGUF(约 5.0 GB)。
Hugging Face 上架了 Beached89 发布的 abliterated 版模型仓库 Qwen3.8-27B-Q3_K_XL-abliterated,为 Q3_K_XL 量化版本。该模型目前未被任何 Inference Provider 部署,也不统计下载量,README 为空。
cvgro 基于 meta-models/Muse-Glimmer-30B 使用 Heretic v2.0.0.dev0 的 Abliteration 参数制作出去审查版 GGUF 模型。
社区用户将 thirdeyeai/Qwen2.5-1.5B-Instruct-uncensored 转换为 LiteRT-LM(.litertlm)格式,可在 Android 与桌面端通过 Google AI Edge LiteRT-LM / MediaPipe 端侧运行。
HauhauCS 发布的 Qwen3.6-35B-A3B-Uncensored 无审查模型推出 Wasserstein Genesis-V2 更新 GGUF 量化版本,支持 MTP,无需重训练即通过数值修复 3 个 ssm_conv1d 层的尺度失配,W1 指标下降约 80%,500 个权重张量中 497 个通过全部检测。
HauhauCS 基于 Qwen3.6-35B-A3B 推出 Aggressive 无审查量化模型,0/465 拒答率,完全解锁不拒绝提示词。该模型为 MoE 架构,总参数 35B、每 token 激活约 3B,原生 262K 上下文,支持文本、图像、视频多模态。
Jeff v1.3 发布,其中 Jeff-Code 是 Pi(MIT 协议)的分支,内置两个为 Qwen 3.8-27B 训练的 Jeff v1.3 适配器,让一个小型决策模型深入 agent 循环决定何时触发思考。
推荐理由:原文给出按任务配对的对照数据和置信区间,读者可以据此判断这个决策模型方案在哪些基准上真正省时。
作者发布 Aleph Alpha Kolibri-1(约 78B MoE、每 token 约 3.5B 激活参数)的 Sakura-MicroQuality IQ2_XS GGUF 量化版。
推荐理由:作者给出了基于张量敏感度分配比特位的量化方法,并用 KL 散度和 top-token 一致率与标准 IQ2_XS 做了对照。
Cactus Compute 发布面向超小型设备的语音识别模型 Whistle,文件仅 16.9MB,官方称多数场景优于 Whisper base,且体积小 9 倍、速度快 6 倍。
推荐理由:原文给出了与 Whisper base 在 LibriSpeech、FLEURS 等基准上的 WER 对比数据,可据此评估小体积语音识别模型的实际精度。
atlas-institute 在 Hugging Face 上发布 abliterated 版 Qwen3 14B orchestrator 模型,提供 Q4_K_M 量化的 GGUF 格式。
zuozijian 发布 JonathanColetti/Qwen3.8-27B-Uncensored 的 NVFP4 量化版,用 NVIDIA TensorRT Model Optimizer 0.43.0 制作。
推荐理由:原文给出分层量化取舍与双节点 DGX Spark 实测吞吐数据,部署参数和踩坑记录可直接复用。
Yamz Labs 发布了 Qwen3.8-Flash-Next(125B MoE,6B 激活)的 95 GB EXL3 量化权重和自研推理引擎 Kyojin 新版本(基于 ExLlamaV3,开放源码),可在单台 AMD Strix Halo 迷你主机(Ryzen AI Max+ 395,128 GB)上运行。
推荐理由:作者给出了与 FP8 原模型的 top-1 一致率以及和 Halogen、llama.cpp 的同机对比数据,可据此评估这套量化方案的实际取舍。
TinyDecide 是一个 10M 参数的 Jev-like 模型,体积仅约 6MB,比 Decision Index 排行榜上所有模型都小且表现远超其体量。它几乎可在任何环境运行,包括浏览器、Node.js、Python、Rust 乃至 ESP32。
有开发者在 r/LocalLLaMA 分享业余项目:用约 40 万条全合成数据微调 1.5B 的 Qwen,使其生成 bash 命令的能力达到 GPT-4o 水平。训练流程以自动化为主,微调数据集已完全开源,模型与 CLI 工具一并放出,任何人可自由训练或使用该数据。
一位本科生在 Claude 辅助下开发了一个 GPTQ 量化器,在 Qwen2.5-1.5B 和 7B 上产出 4-bit 权重,由 M. Federico 在 NVIDIA A10G 上用独立脚本复现结果。
推荐理由:作者给出自建 GPTQ 量化器的具体改进点,并附 fp16 与官方 AWQ 的困惑度和 HumanEval 对照数据,还坦陈了局限。
作者在 Hugging Face 发布了基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版本,用 Heretic v1.2.0 加 ARA 方法去审查,Stage 1 拒绝率从原版 99/100 降到 0/100(KL 散度 0.0535),Stage 2 为 11/100(KL 0.0025)。
Chuncho32 在 Hugging Face 上将 DavidAU/Mistral-Nemo-2407-12B-Thinking-Claude-Gemini-GPT5.2-Uncensored-HERETIC 转换为 Q8_0 GGUF 格式,转换通过 llama.cpp 的 ggml.ai GGUF-my-repo 空间完成。
trestoncuzzort 发布 dawnr v5,一个基于 Qwen3.5-4B 微调的本地助手,程序答案由 Dafny、Verus、SPARK、Frama-C、Lean 4、Rocq、F* 七个证明器验证后才输出,否则明确拒绝。
推荐理由:原文不仅给出发布,还附完整实测数字、三次当日勘误和各模型对照表,读者可据此核验每个结论的来源。
speridlabs 在 Hugging Face 发布 3B 参数的像素空间扩散 Transformer 模型 Iris-3B,不经过 VAE 和潜空间,直接输出每个像素,文生图默认 1024×1024,需 NVIDIA GPU,采用 Apache License 2.0,文本编码器为冻结的 Qwen3-VL-4B-Instruct。
推荐理由:原文同时给出架构细节、训练步数与 depth、修复任务的量化指标,可作为像素空间生成路线的参考样本。
香港小团队 Blockway 发布 Agens Volundr 32B Preview,是其自研混合架构的首个模型,Apache-2.0 开放权重。
推荐理由:作者团队自述架构细节和自测数据,包括 KV cache 层数占比、各上下文长度下的解码速度与基准对比,可直接评估其实用性。
Humberto16 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版,8bit ARC-C 达 0.735、ARC-E 0.882,4bit ARC-C 0.719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。
同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》
artkayv 在 Hugging Face 上传了名为 minimax-uncensored 的模型仓库。该仓库暂无模型介绍卡片,下载量未被跟踪,也没有任何 Inference Provider 部署该模型。
PersonaliAI 在 GitHub 开源了 Chatty,一个可自托管的 Zendesk/Intercom 替代品,包含嵌入式聊天组件、基于 LiveKit 的实时语音 Agent 和 55 个工具的 MCP 服务器,支持 RAG 知识库与 WhatsApp/Slack 渠道。
推荐理由:原文给出完整的自托管部署步骤、环境变量说明与基于自家知识库的 RAG 实现,读者可以直接照着在自己的主机上复现整套客服系统。
Perplexity AI 发布 pplx-decider-v1.1-27b,基于同一 Qwen3.8-27B 骨干,Decision Index 总分从 56.4 提升至 61.56,领先 Jev 超过 3.5 分。提升主要来自移除因果掩码及引入 tasksource 等更多训练数据。模型为私有仓库,需 Python 3.12+ 与约 49 GiB 显存,图像决策默认上限 2048×2048 像素,训练与评测时上限为 512×512。
用户 zkhapo 在 Hugging Face Hub 上推送了 abliterated 模型 zkhapo/zkhapo-abliterated-v2,基于 🤗 transformers 自动生成的模型卡。卡片目前缺少模型类型、许可证、训练数据、基座模型等关键信息,仅提示用户注意模型的风险、偏见与局限,更多细节待补充。