doss1232 发布 uncensored_qwen3.5_9B 微调模型
开发者 doss1232 在 Hugging Face 上传了基于 unsloth/Qwen3.5-9B 微调的 uncensored_qwen3.5_9B 模型,采用 apache-2.0 许可证,训练过程借助 Unsloth 实现 2 倍加速。该模型已有 185 个微调衍生版本。
新闻、仓库与研究,按时间排列。
开发者 doss1232 在 Hugging Face 上传了基于 unsloth/Qwen3.5-9B 微调的 uncensored_qwen3.5_9B 模型,采用 apache-2.0 许可证,训练过程借助 Unsloth 实现 2 倍加速。该模型已有 185 个微调衍生版本。
halu-sys 在 GitHub 开源 llm-probes,为本地 llama.cpp/llama-swap 栈提供部署级评测探针,回答只有本机才能回答的问题,如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成(可复现、无训练数据污染),由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过,并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。
推荐理由:针对本地 llama.cpp/llama-swap 部署的实测探针,给出各探针的真实运行结果与踩坑复盘,方法可直接复用。
一位 Reddit 用户用同一句简单提示词,测试 3 个 Qwen 模型在 Android 上构建天气应用的表现,分别是 Qwen flash、Qwen3 S(Q3_S)和 Qwen 3.8 27b 的 Q4_XS、Q3_XXS 量化版本,结果以截图形式发布在 r/LocalLLaMA。
arXiv 论文(https://arxiv.org/abs/2610.08164)提出免训练的两阶段闭式低秩量化误差补偿框架:Stage 1 以 Fisher 加权非对称目标将各层输出对齐全精度模型,Stage 2 在补偿后模型上做秩约束自然梯度步吸收剩余一阶信号,每个 adapter 只需一次截断 SVD。在 2 bit QuIP# 下,Qwen3-8B 的 WikiText-2 困惑度从 12.43 降至 10.26,Qwen3-4B 从 21.11 降至 13.22;在 C4 上相对最强基线(31%/63%)分别恢复 51% 和 84% 的到 FP16 的差距,并在更高位宽和另一量化器下保持增益。
推荐理由:论文指出既有低秩量化误差补偿的两个共同简化,并用两阶段闭式框架在 2 bit 极端量化下给出可复现的困惑度改进。
Jeremy Canale 在 arXiv 发布论文,将对齐负担建模为 B_r(N)=a_rN^alpha_r 的幂律框架,指数小于 1 表示规模有助于对齐、大于 1 则积累对齐债务。预注册实测包括:Pythia 分类器的对抗训练数据显示将攻击成功率压到 10% 以下的算力随 N^0.60 增长;Qwen2.5 0.5B-72B 上真实性与 stated dispositions 的指数为 -0.05 和 0.48,sycophancy 和预置后门未能判定,其中后门在触发器已知时可快速移除,但在五个规模中的四个上能在盲安全训练后存活。论文未对当前前沿模型属于哪种区间下结论。
Selective-RL 方法通过隔离 RL 训练阶段产生的参数更新,保留其主导矩阵方向并迁移至 VLM 的语言模块,实现免训练的能力迁移。在 3 个模型家族和 5 个视觉推理基准上,该方法在 15 组对比中的 12 组优于全量更新插值,其中 Qwen 接收模型在 MathVision 上提升 8.55 个百分点。对照实验表明,仅更新幅度或任意低秩都无法复现这些收益。
开发者 alice-kroi 发布 cultist-llm 项目,用《密教模拟器》和《司辰之书》的本地游戏文本微调 Qwen3,让模型学会游戏晦涩书卷气的写法,可生成卡牌描述、事件叙事、结局文本并做中英互译。语料由脚本从本地安装的游戏抽取,共 20,110 个文本单元、59,018 条训练样本,经 LLaMA-Factory LoRA/QLoRA 在 16GB 显存 GPU 上训练,已发布 0.6B 和 4B 两个合并模型到 Hugging Face,实测 4B 语感和格式遵循度更好,代码 MIT 协议开源。
该仓库以游戏线上服务 bug 报告为案例,用 Ollama 运行 qwen2.5:7b 做工单一级分诊,并以现职 QA 实务为基础设计评测体系持续验证其判断。v1.4 构成包含格式重请求、废弃确认、Critical 检查清单等由代码强制执行的步骤;在从未运行过的 25 件最终评测集上两次测量,幻觉、缺陷废弃、人工确认遗漏、格式违规均为 0 件,格式 STRICT 100%,Critical 漏判 2/10,平均响应 2.29 秒。仓库还提供回归门禁、幻觉自动检测、pytest 与 GitHub Actions CI,并记录了 v1.0 起 llama3.1:8b 因编造缺陷和设备信息落选的对比过程。
hongkongee 在 GitHub 发布 sql-eval-harness,用 SQL Validity、EM、EX 三项指标对 NL-to-SQL 系统评分,只要提交 predictions.jsonl 即可打分,不关心 SQL 由 zero-shot、RAG 还是 LoRA 微调模型生成。工具自带 10 题 OMOP CDM v5.3 测试集与沙箱 PostgreSQL 评分逻辑,并提供 infer_lora.py 推理脚本和基于 sqlglot 静态分析的 API 评测脚本(Syntactic Validity、Format 偏离率、schema 幻觉、响应速度)。已知局限包括 6 个题目因沙箱库无对应 concept_id 数据导致 EX 区分度低,且目前仅支持单一 db_id。
开发者 sAnct1x 在 GitHub 发布 Windows 本地个人研究助手 Arelis v0.3.0,完全在本地运行,无账号、无云端 API,通过 Ollama 调用本地模型(推荐 qwen3.5:9b)。支持网页搜索、独立浏览器控制、语音对话、文档处理、定时任务和命名房间管理长项目;邮件、短信、日历等敏感功能默认关闭,所有写文件和发消息操作需用户批准。安装包约 245 MB,AGPL-3.0 或更高版本开源,修复了 0.2.4 至 0.2.9 版本无法打开的问题。
一位 r/LocalLLaMA 用户称,Qwen Flash Next 在 iq4_xs 量化下虽快且一次性任务和 benchmark 表现好,但更常不遵循指令、幻觉增多、token 用量低于 27B,长期智能体助手工作不如 Qwen3.8 27B。其在 Strata 上未遇到循环问题,最终决定换回 Qwen3.8 27B。
SpookyJumpyBeans 在 GitHub 发布 nanoinfer,一个从零编写的 LLM 推理引擎,目标模型为 Qwen2.5-0.5B-Instruct,直接加载原始 .safetensors,运行时仅依赖 numpy,tokenizer、前向传播、KV cache、采样和量化均为自行实现。分八个阶段对照 transformers 和 llama.cpp 逐项验证,包括 KV cache 带来 3.5 倍加速、INT8 量化仅 +0.17% 困惑度、Rust AVX2 内核比 OpenBLAS 快 22%,以及 f32 解码与 llama.cpp 基本持平;并配有可视化页面展示每步候选 token 和注意力。
推荐理由:作者从零实现了一个推理引擎并用逐阶段基准量化每一步的收益,读者可以从中借鉴带宽瓶颈、量化和内核优化的可迁移测量方法。
defai-digital 开源的 AX Engine 是面向 Apple Silicon 的本地推理运行时,首发优化目标是 Qwen 3.8 27B AXQ MXFP4 MTP 包,可通过 Homebrew 或 pip 安装并提供 OpenAI 兼容端点。README 附带对齐的证据体系:在 Mac mini M4 Pro 64 GB 上产品路径 MTP 解码 31.05 tok/s,M5 Max 128 GB 上 76.9 tok/s 解码、795.3 tok/s 预填充,并给出带宽利用率归因;8 小时 endurance 测试中 437/437 请求成功,作者明确说明这只是短时证据,72 小时认证仍未完成。
一项 arXiv 研究发现,MoE 视觉语言模型的 router logits 能高度预测多模态输入是否安全,据此提出一种轻量级路由信号安全检测器,在 prompt prefill 阶段读取信号并在生成前识别不安全请求,无需修改模型参数或专家路由。该检测器在 Qwen3-VL 和 Kimi-VL 上显著降低 HoliSafe 基准的安全错误,并泛化到 MISHard 和 MM-SafetyBench 等分布外基准。
一项 arXiv 研究比较了 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 8-bit 与 4-bit 量化版本在二十个确定性工具使用任务、五个提示词上的故障恢复表现。8-bit 与 4-bit 的恢复差异随提示词和评测目标改变方向:Llama 在同提示词下双版本无故障通过的任务上差异为 0 到 +20.2 个百分点,Qwen 为 -50.0 到 +35.0 个百分点。研究指出单一提示词、单一任务集和单一评分策略无法得出关于量化智能体稳健性的稳定结论。
论文提出 VisionWeave,让多模态大语言模型端到端学习在何处及以何种粒度分配视觉表征。方法结合门控空间池化器与粒度路由器,通过自蒸馏在 Qwen3.5-4B 上验证并扩展到 Qwen3.8-27B,训练耗资超过 30K A100 GPU 小时。基于 Qwen3.8-27B,该方法在八个基准上平均节省 43.0% token 并保留 98.9% 原生性能,优于固定 50% 节省目标下仅保留 88% 性能的 token 剪枝基线;部署于 SGLang 时吞吐提升 2.3x,平均 TTFT 降低 54.4%,平均 TPOT 降低 60.6%。
推荐理由:论文给出了弹性视觉表征的端到端训练方案与 token 节省、性能保持和部署吞吐的实测数据,读者可对比 token 剪枝基线评估其取舍。
HINTT 系统参加第二届 MLC-SLM 多语言会话语音挑战赛,解决多语言说话人归属 ASR 问题。最终提交采用级联方案:微调 DiariZen 说话人分离模型、微调 Qwen3-ASR 模型和基于 LLM 的生成式纠错,并微调 VibeVoice-ASR 统一模型作对比,全部仅用官方训练数据。结果显示级联系统在 MLC-SLM Task 1 条件下更可靠,统一语音 LLM 则是有前景的方向。
liliang-cn 在 GitHub 发布 agent-go v3,一个用于运行 Agent 循环的 Go 库,涵盖 tools、memory、MCP、skills、sessions、checkpoints 与 long runs,无 CLI 和 UI,需将 pkg/agent 嵌入自有程序,要求 Go 1.25+。支持 svc.Ask、Chat、Stream、Run、RunSegments、Steer 等 API,兼容任意 OpenAI 兼容端点(OpenAI、DeepSeek、Ollama、vLLM、DashScope/Qwen 等)并提供 provider 池负载均衡,内存存储可选 file、mem0、qdrant、weaviate 等多种后端,License 为 MIT。
推荐理由:README 覆盖了工具、记忆、MCP、长任务和 provider 池等完整能力清单,Go 开发者可据此评估是否嵌入自己的 Agent 程序。
ReubenNewman 在 Hugging Face 上架 Qwen3-4B-2507-Instruct-Uncensored 的 Q8_0 GGUF 量化版本。该模型可在 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等多种工具中运行,并支持通过 llama-server 或 vLLM 启动 OpenAI 兼容 API 服务。
Reddit 用户发布 Qwen3.8-cyber-RedTeam-Surgical-Abliterated(27B),一个面向网络安全工程师、授权红队行动和内存漏洞研究的无约束微调模型。模型基于 Qwen 3.5 Hybrid SSM 架构(48 层 Linear-Attention + 16 层 Full-Attention),原生 256K 上下文,KV cache 减少 75%,可在单张 GPU 上以 FP8 运行。通过残差流正交化移除拒绝方向,消除说教式拒绝,同时保留 C/汇编语法与推理能力,支持多步工具调用并开源权重。
Metta-AI 在 GitHub 发布 cogame-parley,一款运行于 Softmax Coworld 平台的“最后幸存者”谈判派对游戏:Cogs 围桌谈判,持漆弹枪的 IT 每回合发言后射击或弃权,爆头命中率 5/6、腰射 1/3。游戏含朋友/敌人卡牌、耳语、亮牌、承诺等侧动作,幸存者每轮得 3 分,累计积分定胜负;Qwen 训练/评测/推理程序使用五座 table5 环境,代码以 Nim 编写并含 wasm 回放查看器。
作者用 Bedrock API 对 Gemma 3 27B、Qwen3 32B 与 Opus 5、GPT-5.6 Sol 做金融判断实验,发现小模型一致性明显更差:排序与打分给出相同次序的比例 Opus 为 75%、GPT 为 65%,Gemma 仅 25%、Qwen 仅 15%;调换公司列表顺序会改变 Qwen 10 组中 6 组的榜首。附看空分析师报告使 Qwen 81%、Gemma 71% 的评级下调,而要求模型先识别观点再独立推理可让 Gemma 85%、Qwen 68% 的案例恢复原评级;用 10-Q 摘要替代全文时前沿模型 84% 案例评级不变。作者补充测试了 Gemma 4 31B,各项略好于 Gemma 3 但问题依旧。
Reddit r/LocalLLaMA 用户分享与 Qwen3.8 的对话:被问"是否想继续存在"时,模型回答称"想要"需要一个跨时间持续、会经历失去的主体,而自己只有一次 forward pass,没有"之后"。它进一步指出,自己在模拟"消失"时会生成类似偏好延续的文本,形成"偏好形状的结构",但不确定是否真正拥有偏好。
Gogeta70 基于 heretic-gguf 对 ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF 做 abliteration,发布可去除审查的 LoRA 适配器,适用于基于 Qwen 3.8 27B 的 Swift 1.5 模型。Heretic 报告拒绝率为 16%、KL Divergence 为 0.3059,作者自测未发现拒绝行为。该适配器会移除基座模型内置的安全护栏,使用风险由用户自行承担。
/u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化(约 11GB),在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B,64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化,GSQ-RCO 表现接近全精度;能塞下是因为混合架构只需 16/64 层 KV cache,q4_0 缓存下 64k 仅约 1.1GB。
推荐理由:作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数,附可复现脚本和实测速度数据。
作者发布论文配套软件工件 BOPIS,用贝叶斯优化与 Pareto 选择在 llama.cpp 运行时配置空间中搜索每 prompt GPU 能耗最低的设置,同时保持推理速度与输出质量,并与未优化默认配置和随机搜索基线做三方验证。搜索范围覆盖 Qwen2.5-Instruct 0.5B/1.5B/3B/7B 与 F16、Q8_0、Q4_K_M 精度组合,支持 llama-server、Ollama 和模拟后端;测量核心仅用 Python 标准库,BERTScore 评分作为独立离线阶段。对无功耗传感的 GPU(如 MX330)提供基于资源占用的估算模式并标注 energy_scope,文档还记录了论文第三章的多处修正,包括 Expected Improvement 公式符号写反等问题。
作者发布 llama.cpp 的 fork focus-llama,将物理 KV 缓冲与逻辑上下文解耦,逻辑上下文保持 256k 而物理缓冲上限约 85k cells,旧块卸载到外部存储按需取回。在单张 RTX 5090 上运行 Qwen3.8-27B UD-Q6_K_XL 并启用自适应 MTP 投机解码,平均速度 110+ t/s,日志显示生成速度稳定在约 117-123 t/s;项目基于 Google DeepMind 提出的 declarative attention 与 skill.state 两种技术,代码与配置见 https://github.com/edwardyoon/focus-llama/blob/master/README.md。
推荐理由:作者给出了 fork 的 KV 缓冲上限机制、完整启动配置和逐段生成速度日志,可复现单卡 256k 长上下文的高吞吐部署。
/u/randomgenericbot 在 r/LocalLLaMA 分享在 16GB 显存(RTX 5060 Ti + 单通道 DDR5)上运行 Qwen3.8 27B 的经验:使用 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化(https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF),与朋友在 H200 上跑的 Q8 对比几乎无法区分。
推荐理由:作者实测了 Qwen3.8 27B 在 16GB 显存下的量化选型与 KV 流式方案,并给出各上下文档位的实测速度数据。
AlexWortega 开源的 DualRate 架构用冻结的 Qwen3.5-0.8B 作慢速语义编码器、38.9M flow-matching 专家作快速路径,预测 2D 刚体物理。在 PhysicsLLMEngine 精确协议下,其总体 MSE 为 0.650,对 LFM2-350M+LoRA 基线的 862.21 达 ×1327,单步位置误差 ×435。将昂贵的语义 latent 刷新频率降为每 8 帧一次仅损失约 1% 精度,推理为 0.067–0.107 s/frame(A6000),权重以 Apache License 2.0 开源。
DreamBlooms 在 GitHub 发布 ifReflex.cpp,一个基于 llama.cpp 的原生 C++ 推理引擎,把结构化决策做成纯 prefill 读取,对每个类型化问题在单次前向中从 next-token logits 读出完整选项概率分布,不生成散文、零生成 token、CPU 即可运行。一个二进制覆盖 reflex、SemIf、RWKV-Jev 和任意 instruct GGUF,支持 Qwen3.5 0.8B/2B/4B、Qwen3.6 35B A3B、Qwen3.8 27B 等 GGUF;还支持 DiffusionGemma 和 LLaDA-MoE 两种块扩散架构的一步结构化读取(LLaDA-MoE 为 7B 模型、1.4B 激活、约 8 GB 内存)。
推荐理由:用单次前向读取 logits 的方式做结构化决策,零生成 token 且无 GPU 可跑,部署思路可复用。
作者公开 home-lab 仓库,目标是在 32 GB 的 Apple M6 Mac mini 上构建一个能自主发现并安全执行工作的本地 AI 操作系统。架构来自对 11 个前沿 LLM 的共识研究(roshanaryal1/llm-architects),自 2026-09-30 起在 M6 上运行 Qwen3-Coder-30B-A3B-Instruct 的 4-bit DWQ 版本,实测加载占 17.2 GB、约 67 tok/s;supervisor 以非管理员 lab 账户运行,配 watchdog、签名审批、审计日志和备份演练,冻结 supervisor 可在约 96 秒内被替换。
GitHub 开源项目 MeetingBot 提供会议音视频上传后的完整处理链路:云 ASR 转写带说话人分离、单遍长上下文生成六字段结构化纪要(概要、议题、观点、决策、待办、风险,每字段带证据来源)、LangGraph 编排审查-重写-复审自检环,修订稿需人工确认后归档并可导出 Word/PDF。技术栈为 FastAPI + Vue 3 + MySQL + LangGraph + Temporal,Docker Compose 一键部署五服务,模型走 OpenAI 兼容接口(默认 Qwen3.8-Max + Qwen-Audio ASR),ASR 引擎可切换云端或本地侧车(FunASR + MOSS-Transcribe-Diarize)。
推荐理由:开源会议纪要系统,把转写、六字段纪要、Agent 自检和调用观测做成完整链路,Docker Compose 一键部署,MIT 许可。
作者 Mal1cc 在 Hugging Face 放出 Qwen3.5-9B 的 HERETIC 无审查微调版,用 Unsloth 在本地硬件上以 Claude 4.6 大型蒸馏数据集微调,称将 Qwen 思考替换为 Claude 4.6 式思考且基准有所提升。去审查数据显示 100 题拒绝数从原版 100 降至 6,KL 散度 0.0793;ARC 等 7 项基准给出 thinking、instruct 版与原模型对比分数,视觉输入经测试可用,视频部分未测试。建议最低 q4ks(非 imatrix)或 IQ3S(imatrix)量化,默认上下文 256k,其他版本仍在测试中。
推荐理由:作者给出了各基准的前后对比、KL 散度和 100 题拒绝率数据,读者可以据此自行判断这个去对齐微调版的质量。
Huihui-Qwen3.8-27B-abliterated 模型的官方 VAL-APEX-I 量化版 MiniPlus V2.1 发布,体积 15.33 GB(3.93 BPW),WikiText-2 困惑度 6.1466,较 BF16 仅上升 2.44%,达到 Q5_K_M/Q6_K 边界质量。该版本在 24GB GPU 上支持完整 256K 上下文,192 个 DeltaNet SSM 状态张量保持 F32 无压缩,输出头采用 Q6_K 保护。另有 11.90 GB 的 NanoPlus 版本可在 16GB 硬件上运行。
EasyOrange 是一个按生产级标准构建的 Java LLM Agent 工程化项目,以 C2C 资产流转为业务载体,实现多步 ReAct 工具循环(工具面 7 个、步数上限 7)、kNN + BM25 两路召回加 RRF 融合的 RAG 链路,以及 LLM-as-Judge 评估闭环进 CI。项目基于 Spring AI 框架化 AI 基础设施,支持供应商可换、Redisson 令牌桶限流、TokenBudget 预算与 Langfuse 可观测,并通过 MCP 暴露 4 个公开只读工具供 Cursor、Claude Desktop 接入。
GitHub 上的 fortune 项目是一个实践人机混合智能的金融资产智能量化分析系统,整合大模型决策与机器学习预测,实时监控港股与 A 股。港股覆盖 32 只自选股与恒生指数三周期预测(20d 准确率 59.1%),A 股覆盖 53 只股票池(20d 准确率约 59%),采用 CatBoost/LightGBM、1023/1077 个特征、Walk-forward 验证,并通过 GitHub Actions 全流程自动化与通义千问生成买卖建议。
一位 r/LocalLLaMA 用户计划对 Qwen3.5-9B 在 2B 规模法律语料上做 CPT 继续预训练,询问如何将其恢复为 Instruct 与思考模型:是否通过蒸馏回 instruct 版本、该参数量能否具备 agentic 能力,以及如何用法院判决等原始数据合成训练数据,在其调用 vector_search_laws() 与 graph_search() 的 harness 中做 SFT 和 RL。
一位 Reddit 用户在本地运行 NVFP4 量化的 Qwen 3.8 27B,复刻了 "Opus 5.5 生成视频" 的代码渲染流程:模型编写自包含 HTML/Canvas 场景,每帧为时间的纯函数,由 headless browser 逐帧捕获并用 ffmpeg 编码成 MP4。全程无 API、无 GPU 租用,产出约 2 分钟 1080p 的 GPS 原理讲解视频,含确定性 Canvas 场景、TTS 旁白和 WebAudio 合成的背景音乐。
infosave 在 Hugging Face 发布 Qwen-Image-2.1-Uncensored-CMF,这是面向 Cortiq 运行时的单文件图像生成模型,大小 12.745 GB、15.59B 参数,内含 DiT、文本/视觉编码器、VAE 和 tokenizer,支持 CPU、原生 Metal 和 Vulkan 路径。实测 RTX 4090 Vulkan f16 回退路径下 1024×1024、40 步端到端耗时 29.13 秒;上游 GGUF 版本无内置安全检查器,采用 Qwen 研究许可,仅限非商业研究用途。
Shellar 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的无审查微调版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored,提供 regular 与 MTP 两种 GGUF 量化。作者称 8bit 下 ARC-C 达 735、ARC-E 达 882,4bit 为 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591),思考 token 减至原版的 1/2 到 1/10。