微调 1.5B Qwen 生成 bash 命令达 GPT-4o 水平,数据集完全开源
有开发者在 r/LocalLLaMA 分享业余项目:用约 40 万条全合成数据微调 1.5B 的 Qwen,使其生成 bash 命令的能力达到 GPT-4o 水平。训练流程以自动化为主,微调数据集已完全开源,模型与 CLI 工具一并放出,任何人可自由训练或使用该数据。
新闻、仓库与研究,按时间排列。
有开发者在 r/LocalLLaMA 分享业余项目:用约 40 万条全合成数据微调 1.5B 的 Qwen,使其生成 bash 命令的能力达到 GPT-4o 水平。训练流程以自动化为主,微调数据集已完全开源,模型与 CLI 工具一并放出,任何人可自由训练或使用该数据。
一位本科生在 Claude 辅助下开发了一个 GPTQ 量化器,在 Qwen2.5-1.5B 和 7B 上产出 4-bit 权重,由 M. Federico 在 NVIDIA A10G 上用独立脚本复现结果。
推荐理由:作者给出自建 GPTQ 量化器的具体改进点,并附 fp16 与官方 AWQ 的困惑度和 HumanEval 对照数据,还坦陈了局限。
作者在 Hugging Face 发布了基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版本,用 Heretic v1.2.0 加 ARA 方法去审查,Stage 1 拒绝率从原版 99/100 降到 0/100(KL 散度 0.0535),Stage 2 为 11/100(KL 0.0025)。
Chuncho32 在 Hugging Face 上将 DavidAU/Mistral-Nemo-2407-12B-Thinking-Claude-Gemini-GPT5.2-Uncensored-HERETIC 转换为 Q8_0 GGUF 格式,转换通过 llama.cpp 的 ggml.ai GGUF-my-repo 空间完成。
speridlabs 在 Hugging Face 发布 3B 参数的像素空间扩散 Transformer 模型 Iris-3B,不经过 VAE 和潜空间,直接输出每个像素,文生图默认 1024×1024,需 NVIDIA GPU,采用 Apache License 2.0,文本编码器为冻结的 Qwen3-VL-4B-Instruct。
推荐理由:原文同时给出架构细节、训练步数与 depth、修复任务的量化指标,可作为像素空间生成路线的参考样本。
用户在 Reddit r/LocalLLaMA 反馈,Qwen 3.8 Flash Next(FP8、VLLM 部署)在 Pi harness 上频繁幻觉自己上下文即将耗尽,常拒绝任务或中途停止,而状态栏显示 256K 上下文仅用约 25%。模型自述是“编造数字并当作真实数据”,但问题持续出现,用户在寻求原因。
Lokutor 团队发布面向 ESP32-S3 的流式 TTS 引擎 ItoTTS,提供两个英语语音,24 kHz 音频,每个语音权重 4.89 MB,目标是给本地 LLM 配上语音。
Humberto16 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 量化版,8bit ARC-C 达 0.735、ARC-E 0.882,4bit ARC-C 0.719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。
同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》
作者发布基于 Abliterix SOM 方法对 Qwen3.5-2B 去审查后的 Q4_K_M 量化版本,选用综合表现最优的 Trial #107,拒绝率 0.49%(2/408),KL 散度 0.2686 nats/token。
推荐理由:原文给出各拒绝率档位的 Pareto 最优解及 KL 散度数据,读者可据此比较不同去审查配方的拒绝率与知识损伤权衡。
jessedye90 发布 qwen3.8-flash-next-swift-uncensored,在 UkisAI Swift 1.5 对 Qwen3.8-Flash-Next 的 INT4 W4A16 微调权重内投影掉拒绝方向,文件布局、大小和推理速度与基座一致。
推荐理由:原文给出量化网格内消融的具体做法和 AdvBench、代码任务等前后实测对比,可据此评估去对齐的代价。
Perplexity AI 发布 pplx-decider-v1.1-27b,基于同一 Qwen3.8-27B 骨干,Decision Index 总分从 56.4 提升至 61.56,领先 Jev 超过 3.5 分。提升主要来自移除因果掩码及引入 tasksource 等更多训练数据。模型为私有仓库,需 Python 3.12+ 与约 49 GiB 显存,图像决策默认上限 2048×2048 像素,训练与评测时上限为 512×512。
用户 zkhapo 在 Hugging Face Hub 上推送了 abliterated 模型 zkhapo/zkhapo-abliterated-v2,基于 🤗 transformers 自动生成的模型卡。卡片目前缺少模型类型、许可证、训练数据、基座模型等关键信息,仅提示用户注意模型的风险、偏见与局限,更多细节待补充。
AzynTT 在 Hugging Face 发布 Kimi K3(2.8T 参数 / 104B 激活 / 896 experts top-16)的 abliterated GGUF 量化 IQ1_S-XS,共 539.7 GiB、34 分片,将拒绝方向从写入残差流的 279 个张量中正交化移除。
推荐理由:原文给出拒绝率、过度拒绝、答非所问三率实测和完整消融方法,还如实标注样本量不足的统计局限。
zkhapo 在 Hugging Face 上传了名为 zkhapo-abliterated 的 transformers 模型。模型卡为自动生成模板,开发者、许可证、微调基础模型、训练数据等关键信息均标注“待补充”。
AutoTrust AI 在 Hugging Face 开放 GEV-26B-Decide 权重,基于 Gemma-4-26B-A4B-it(26B 参数、每 token 约 4B 激活)。
推荐理由:作者公布了自适应思考的触发阈值、混合方式和各基准前后对比,读者可以据此评估该决策头在推理与分类任务上的取舍。
autotrust 在 Hugging Face 发布 JEV-27B-VL,在 JEV-27B 基础上加入视觉能力,权重基于未修改的 Qwen3.8-27B(Apache-2.0),附 JEV System 1 适配器与决策头。
推荐理由:发布页附上了机器人臂、浏览器操作和多个评测基准的实测数据与对比表,读者可据此评估该视觉决策模型的真实水平。
Liquid AI 发布 3.1B 参数的多模态决策模型 d1-3B,基于 LFM2.5-VL-3B 后训练,对状态(文本、JSON 或图片)中的一组问题一次前向返回带置信度的类型化答案,零输出 token。Decision Index 0.2.1 得分 48.57,高于所有 4B 和 9B 模型及 Decider 35B-A3B(47.11);RTX 4090 上单次决策 8 ms,AMD MI325X 上打包 64 个状态吞吐达 1,106/s。它不是聊天模型,适用于路由、分类、审核、reranking、LLM-as-a-judge 等场景。模型卡:https://huggingface.co/LiquidAI/d1-3B
推荐理由:官方给出了完整基准表和各硬件实测延迟,读者可以据此判断这个 3B 决策模型在自己的部署场景里是否划算。
DarkRomeo88 在 Hugging Face 发布面向 ComfyUI 重打包的 Qwen3.5-9B-UNCENSORED-Heretic 去审查模型文件,提供 INT8_convrot、W4A8、W6A8 三种版本,需放入 ComfyUI/models/text_encoders/ 目录,已在 ComfyUI v0.38+ 上测试可用。
huihui-ai 基于 yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF 制作并发布 abliterated 去审查版 GGUF 模型,整个消融过程完全使用 llama.cpp 完成,不依赖 Transformers。
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术去除拒绝回复,发布无审查版 Huihui-Qwen3.8-27B-abliterated-GGUF,仅对 22 至 52 层(0 起始索引)做消融,其余层保持原样。
IPSupport LLC 开源了 LLMTray,一款基于 mlx-lm 自研 fork 的 macOS 菜单栏本地大模型 GUI,面向 Apple Silicon。
推荐理由:作者附上了在 M5 机型上逐个模型实测的峰值内存表和采样速度,可以据此判断自己的 Mac 跑哪些本地模型不会爆内存。
Microsoft 在 Hugging Face 发布 FrogNano-4B-2609,基于 Qwen3.5-4B 纯强化学习后训练的仓库级编程 Agent。
推荐理由:微软以约 1500 个合成任务做纯强化学习,把 4B 模型的 SWE-bench Verified 分数从 39.4% 提到 61.5%,未依赖更强模型的轨迹。
orcarouter 在 Hugging Face 放出 Qwen3.8-Flash-Next 的去对齐(abliterated)GGUF 量化版本,覆盖 2-bit 到 8-bit,供 llama.cpp 运行。
推荐理由:原文给出消融后拒绝率从64-100%降到约0-3.3%、能力与基线差±2分以内的实测数据,并说明各量化的取舍。
pyannote 在 Hugging Face 发布说话人日志管线 speaker-diarization-community-1,改进说话人分配与计数,并新增独占式说话人日志输出,便于与转写时间戳对齐。
推荐理由:原文给出十多个学术基准上的说话人日志错误率对比,读者可据此量化该模型相对上一代的实际提升幅度。
MiniMax 开源了 MiniMax H3 的 H3-Base 权重,该系统可统一理解文本、图像、视频与音频,并生成最长 15 秒、带 32 kHz 立体声的视频,768p 输出经 H3-Regenerate-2K 可达 2K。
推荐理由:原文给出 H3-Base 架构细节、权重拆分和 SGLang/vLLM/diffusers 部署命令,可据此自行本地部署复现。
Unsloth 在 Hugging Face 发布 Qwen3.8-27B 的 Dynamic V3.0 GGUF 量化版本,称同等体积下精度比其他所有 GGUF 提供方高出逾 10%。
推荐理由:原文给出了 Dynamic v3.0 量化在同等体积下与其他 GGUF 提供方的精度对比,以及 27B 密切模型的完整架构与部署参数。
zai-org 发布 GLM-5.3 开放权重模型,称其与 GLM-5.2 使用同一 base 模型,全部提升来自后训练。
推荐理由:模型卡逐项列出各基准的评测脚注、采样参数与反作弊措施,并附完整对比表,读者可自行核对编码和漏洞利用成绩的可信度。
Hugging Face 用户 yomie4343 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX Sushi 混合 3/4/8bit(group size 64)加 BF16 SSD Ngram 仓库,全部 115 个文件经哈希校验完成上传,总大小约 156.93GiB,其中 ngram_table.bin 单文件 102.4GB。
burningfeet 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Final 的 SafeTensors/BF16 重建版,由 MarMix 从 Q8_K_P GGUF 转换而来,非原始无损 BF16 权重,缺失的 vision/MTP 张量复制自 Qwen/Qwen3.6-35B-A3B。
OS-Software 发布 Prism ML 的 Ternary-Bonsai-2-27B 的去对齐版本 Ternary-Bonsai-2-27B-Uncensored-Heretic-v2-GGUF,通过在三元权重中烘焙 OT-Ridge LoRA 实现去对齐,是 v1 的继任版本。
推荐理由:作者给出了v1与v2的拒绝率和MMLU、HumanEval能力损失对比,可据此评估这版去对齐的改善程度与代价。
HauhauCS 基于 Qwen3.5-4B 推出去审查的 Aggressive 变体,在 0/465 拒答测试下完全去除拒绝回复且不损失原始能力,提供 BF16(7.9 GB)至 Q4_K_M(2.6 GB)多种 GGUF 量化。
Pwdz-1 Uncensored 是基于 GLM-5.3-Flash 架构的 320B 级稀疏 MoE 多模态模型,原生视觉塔支持图文输入,上下文窗口达 1,048,576 token,经无拒绝微调可直答不回避。
Hugging Face 用户发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 4.05 bpw EXL3 量化版本,基于修正后的 BF16 源权重以 strength1.0 消融后量化,包含 MTP、视觉和 n-gram 表。
MarMix 在 Hugging Face 上架 Qwen3.6-35B-A3B-Uncensored-Genesis-Final-Safetensors-MLX-4bit,为 35B 参数模型的 MLX 4bit 量化版本,张量类型为 U32、BF16 与 F32。该模型目前未部署到任何 Inference Provider,月下载量为 12。
shefowl 发布了 Qwen3.8-Flash-Next 的混合精度 GGUF,非专家张量取自 SC117 的 IQ3_XXS 档、路由专家张量取自 Q2_0 档,逐字节复制未重新量化,权重为上游已去拒绝的 abliterated 版本。
推荐理由:作者给出了与 IQ3_XXS 和 Q2_0 档在困惑度、解码速度和内存占用上的实测对比,可据此权衡这套混合量化的取舍。
Hugging Face 用户发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 3.05 bpw EXL3 量化版本,基于修正后的 BF16 源权重以 strength1.0 消融后重建,包含 MTP、视觉和 n-gram 表,无需运行时消融 hook。
mradermacher 在 Hugging Face 上发布 Qwopus3.8-27B-Flash-V2-abliterated 的 GGUF 量化版本。
Ars14n 在 Hugging Face 发布 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版(3.04 bpw,273 GiB),上游是对 zai-org/GLM-5.3 做权重编辑(非微调)的去对齐变体。
推荐理由:作者给出了量化前后的 KL 散度和 tau2-bench 对照数据,并指出 glm4_5 解析器会把字符串参数误转整数导致约七成工具调用失败。
Hugging Face 上发布 Huihui-Qwen3.8-Flash-Next-abliterated 的 5.05 bpw EXL3 量化版本,基于修正后的 BF16 源权重以 strength1.0 消融后量化,包含 MTP、视觉和 n-gram 表,无需运行时消融 hook。
Hugging Face 提供 abliterated 版 GLM-5.3-Flash 的 GGUF 量化模型(如 UD-Q4_K_XL)的多框架使用方法,涵盖 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等部署方式,并给出 OpenAI 兼容 API 的本地服务器启动与调用示例。