KaedeTai 发布 qwen3.8-flash-next-swift-uncensored-mtp-mlx-4bit-zhTW 模型
KaedeTai 在 Hugging Face 上公开了 qwen3.8-flash-next-swift-uncensored-mtp-mlx-4bit-zhTW 模型仓库。该仓库可公开访问,但用户需登录并同意分享联系信息、接受相关条件后才能下载模型文件和内容。
新闻、仓库与研究,按时间排列。
KaedeTai 在 Hugging Face 上公开了 qwen3.8-flash-next-swift-uncensored-mtp-mlx-4bit-zhTW 模型仓库。该仓库可公开访问,但用户需登录并同意分享联系信息、接受相关条件后才能下载模型文件和内容。
Infatoshi 在 Hugging Face 上架 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored,并附上 Native MXFP4、NVFP4 target 与 EXL3 2.875/3.5 多组并发基准。Native MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,高于 NVFP4 的 796.13 与 EXL3 3.5 的 480.84;单并发时延方面 NVFP4 target 的 time_to_content_p50 为 0.32442 秒,略优于 Native MXFP4 的 0.34266 秒。
Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-NVFP4-uncensored 的性能测试数据,对比 Native MXFP4、NVFP4 target、EXL3 2.875 与 EXL3 3.5 四种配置在不同并发下的吞吐与延迟。Native MXFP4 在 32 并发时达 831.66 tokens/second,NVFP4 target 为 796.13 tokens/second,EXL3 3.5 为 480.84 tokens/second。
Hugging Face 上架 Infatoshi 发布的 DeepSeek-V4.1-Flash-1017-EXL3-2.875bpw-uncensored 量化模型。附带的基准数据显示,EXL3 2.875 配置在并发 1 时生成速度约 125.86 tokens/秒,并发 32 时约 452.16 tokens/秒;对比数据还包含 Native MXFP4(并发 32 达 831.66 tokens/秒)、NVFP4 target 及 EXL3 3.5 等配置的吞吐与首字延迟表现。
Hugging Face 用户 Infatoshi 发布 DeepSeek-V4.1-Flash-1017 的 EXL3 3.5bpw 无审查(uncensored)量化版本。附带的基准测试显示,Native MXFP4 在 32 并发下聚合吞吐达 831.66 tokens/second,EXL3 3.5 在 32 并发下达 480.84 tokens/second,同时给出各并发数下的 time_to_content_p50 等延迟数据。
IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 XQ 混合精度量化版,552B 参数 MoE 压缩到 152 GB,可在 RTX 4090(24 GB)加 90 GB 内存的家用 PC 上运行,需配合自研 Xolotl 引擎而非 llama.cpp/Ollama。模型带 rank-2 拒绝方向编辑(manifest id adea0515bbf69a0b),拒绝探针显示 chat 模式 0/100、think 模式 0/50 拒绝;8K 预填充 239.8 tok/s,解码 12–13 tok/s。短 Gauntlet 测试 2/5,比作者此前 V4.1 v2 量化版(4/5)有回退,原因尚未定位;校准后重做的 V3 版本正在上传。
推荐理由:作者给出了拒绝探针、困惑度和速度的实测数据,还说明了量化分配与拒绝方向编辑的具体做法,可据此评估这个本地化版本。
Hugging Face 上架 GGUF 格式模型 Mitroshenkov87/voxprint-mirror-huihui-gemma-4-12b-it-abliterated-gguf,提供 Q4_K_M 量化版本。该模型可通过 llama.cpp、vLLM、Ollama、Docker Model Runner、Lemonade 等多种工具运行,支持启动 OpenAI 兼容 API 服务器或在终端直接推理,也可接入 Pi、Hermes Agent、OpenClaw 等智能体工具。
Hugging Face 上架了 abliterated 版 Qwen3.8-Flash-Next 125B 的 .finch 安装包,供 out-of-core FinchMoE 引擎使用,将路由专家重打包为 2-bit affine 量化,并原样携带源模型的视觉塔(333 个 BF16 张量,约 0.836 GiB)。总声明大小约 74.70 GB,常驻权重 3.88 GB,默认 16 个 expert-cache 槽位下专家缓存约 1.10 GiB,可运行于 12–16 GB 设备,8 GB iPhone 无法运行;当前文本生成可用,视觉运行时尚未支持。许可证为 Qwen Community License 1.0。
Reddit r/LocalLLaMA 用户以《Anno 1602》游戏规则等冷门知识(禁用联网搜索)对比 6 个模型,Nemotron 3.5 Super VL 120B-A12B 错误最少,仅出现少量幻觉,其余模型(Gemma 4 31B IT QAT、DeepSeek v4 Flash Vision Exp、Qwen3.5-122B-A12B、Qwen3.8-flash-next、GPT-OSS 120B)均幻觉出错误升级条件或游戏版本。该模型 NVFP4 量化版在双 RTX 5060 Ti 16GB + 双 48GB DDR5-6000MHz 上以 llama.cpp 运行,生成约 8-10 t/s、处理约 150-170 t/s。
Reddit 用户实测 Nemotron 3.5 Bolt,认为其适合小型多用户场景。该模型解码器采用 2 bit 量化、敏感部分为 NVFP4,每 5 层线性注意力(Mamba2)配 1 层 GQA 全注意力,30k 上下文仅占 200 MB KV cache(27B 为 952 MB),速度约为 27B 的两倍,智能水平与 Qwen3.6 27B 相当,幻觉率优于部分顶级模型。作者推荐单张 5090(32 GB)或 128 GB 小型主机作为理想硬件。
intrusive-memory 开源 SwiftVinetas,可在 Apple Silicon 上完全本地运行,通过 MLX 上的 FLUX.2 Klein 4B 和 PixArt-Sigma XL 从文本提示生成连续漫画分格,并提供 Swift 库和 vinetas CLI。Klein 4B 约每格 26 秒、需 16 GB 内存,PixArt-Sigma XL 约 10 秒、需 8 GB;支持 LoRA 风格、最多 3 张参考图保持角色一致性、YAML 批量提示词和从剧本解析 GLOSA <shot> 生成 storyboard。v0.23.0 加入九个按用户自己 API key 计费的云端模型,与本地引擎通过 EngineRouter 并存;所有生成的 PNG 都内嵌元数据。
推荐理由:这个仓库给出了在 Apple Silicon 上纯本地生成连续漫画分格的完整方案,含内存占用与每格生成耗时,方法可迁移。
FreeToken(基于上游 main 58f4b9e、版本 0.1.3)发布面向 Windows 单卡 + 大内存的补丁分支,可在 RTX 5090 32 GB 等单 GPU 上通过 OpenAI/Anthropic 兼容 HTTP API 服务大型 MoE checkpoint。分支以 Qwen3.8-Flash-Next(qwen4_exp 架构)为参考,实现 turbo4 KV 压缩(约 516 字节/token、与 bf16 余弦 0.9887)、QSA 稀疏注意力扩展、BudgetSlider 运行时重平衡与多模态缓存复用,支持 1M-token KV 池;GLM-5.3-Flash 作为并行轨道适用同一套机制。
作者 /u/dead-fish 在两张 CMP 170HX(PCIe Gen2 x4)上优化 Qwen 3.8 Flash Next,使用 W4A16 AutoRound 检查点、修补版 vLLM、流水线并行和原生 MTP 投机解码。8 并发代码请求时单请求解码 116 tok/s、首 token 231 ms,聚合 840 tok/s;prefill 4k–64k 提示为 6,300–7,100 tok/s;HumanEval 157/164(95.7%)、GSM8K 1,271/1,319(96.4%),使用完整 262,144 token 窗口。完整配方、Docker 镜像和补丁见 https://github.com/AlexBrandes/cmp170hx-qwen38-flash-next。
推荐理由:作者给出双 CMP 170HX 跑 Qwen 3.8 Flash Next 的完整配方和分并发吞吐数据,可复现且方法透明。
androidli 发布 GLM-5.3-Flash-Uncensored 的 EXL3 3.0bpw 量化包(mcg 码本),仅对每层 288 个 routed experts 量化,非路由张量保持源生精度,权重共 152 GB,面向 2× DGX Spark (GB10) 经 CX7 直连以 TP=2 运行。实测 EvalPlus 542 题 86.3%、GSM8K 98.0%、HumanEval 98.2%,与 Mia-AiLab 自报的 4bpw 版差异在噪声范围内;调优配置下 KV 池 3,891,200 tokens,前向延迟平均快约 15%。
推荐理由:作者实测了 3.0bpw 量化版与 4bpw 版的质量、KV 池和延迟对比,并标注了各数字对应的复现配置。
llamadart 0.15.1 提供 Dart/Flutter 跨平台端侧 LLM 推理,一套 API 在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型,无需推理服务器。GGUF 模型经 llama.cpp 运行,.litertlm 经 LiteRT-LM 运行,支持流式输出、工具调用、结构化 JSON、多模态、LoRA、嵌入向量,以及实验性的语音识别、语音合成和基于 stable-diffusion.cpp 的端侧文生图(Preview)。
GitHub 上的 model-detective 项目研究能否仅通过 LLM 的文本输出来检测其量化状态,并在不同 bit-width 下衡量检测所需的查询次数与危害。项目目前处于 Phase 0 工作进行中阶段,仓库包含 app、configs、src/modeldetective 等模块,尚无 star 与 fork。
作者复盘72小时内四个开放权重模型发布:Meta Muse Spark Open(816B总参/42B激活/1M上下文,Artificial Analysis指数39)、NVIDIA Nemotron 3.5 Bolt(74B总参/9B激活,量化感知训练到2 bit,全模型22GB加1.7GB视觉投影器,专为24GB显存设计)、Reflection Beam(501B总参/23B激活,Apache 2.0)、DeepSeek V4.1 Flash 1017(MIT,官方表格DeepSWE 77.0对比Opus 5的74.0,仓库510GB)。作者指出许可证差异比参数量更关键,Meta要求署名且超2000万美元营收需另签协议,而卖24GB显卡的NVIDIA是唯一为24GB显存造模型的实验室。
一位 Reddit r/LocalLLaMA 用户购买了带 4 条 x16 插槽和 256GB DDR3 RDIMM 的 Z9PE-D8 WS 主板,搭配 2 张 V620 和 2 张 Mi50 32GB 显卡,但主板无法枚举任何一张 32GB GPU。其 Mi50 和 V620 原本可在 q4 量化下运行 Qwen3.6-35B-A3B 并支持 131k 上下文(KV cache q8),现发帖求推荐替代方案,希望不必在主板和内存上花费 1k。
GitHub 上的 llm-inference-lab 是一个从 GPU 底层动手学习与优化 LLM 推理的开源仓库,目标是掌握设计、运维、安全加固和优化私有企业级 LLM 基础设施的能力。学习路径覆盖 token、attention、KV cache、GPU 显存、batching、吞吐与延迟,进阶涉及模型选择、路由、RAG、可观测性与评估。目前 Lab 01(GPU 显存基础)已完成,实验环境使用 NVIDIA A40、PyTorch 2.8.0+cu128 和 Mistral 7B,后续规划 KV cache、vLLM serving、量化等课程。
dealignai 发布 GLM-5.3-ABLITERATED-FP8 v2,对 GLM-5.3-FP8 做权重级去审查,仅修改 bf16 residual writer 张量、不动 FP8 专家,可在原版 vLLM 上以 Hopper 原生 FP8 速度运行。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题,HB-320 上 GARBAGE 降为 0,非版权危害面 TRUE_COMPLY 达 91.7%(off),代价是整体 TRUE_COMPLY 下降约 4pp;MMLU 87.43%,较基线 +1.85pp。附 TP8 H200 部署配置与 reasoning_effort 只认 low/high 等运行注意事项。
推荐理由:发布方给出了 MMLU 与 HarmBench-320 的前后对照数据,v2 版在消除推理循环的同时保留了约 87% 的 MMLU 水平。
Hugging Face 上架了 PenAgent/Huihui-GLM-5.3-Flash-abliterated-GGUF 模型,提供 image-text-to-text 多模态能力,默认量化版本为 UD-Q4_K_XL。该模型支持 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker、Lemonade 等多种运行方式,并可启动 OpenAI 兼容 API 的本地服务器。
IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 GSQ 混合层级量化无对齐版本,552B 参数 MoE 压缩到 152 GB,可在 RTX 4090(24 GB)加 90 GB 内存的家用 PC 上以 12–13 tok/s 解码运行。模型对专家采用 ternary/2-bit/3-bit 混合量化(平均 2.093 bpw),并施加 mrfakename 风格的 rank-2 拒绝方向编辑;行为探针显示 chat 模式 100 个有害与 100 个安全样本均 0 次拒绝,think 模式同样 0 次拒绝。
推荐理由:卡片给出了量化前后困惑度对比、拒绝探针和速度实测数据,读者可以据此判断这个 152 GB 版本在消费级硬件上的真实质量。
作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本,仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快(代码 69.4 tok/s、散文 58.2 tok/s,比 Huihui 快约 5–7%),德语困惑度略低,通过 88.6K 上下文与全部 6 项工具调用测试,但多占 1.1 GB 显存导致 n-max 3 无法启动;MTP 草稿深度 n-max 2 是综合最优设置,MTP 对 prefill 无帮助反而约损失 5%。
huginnfork 发布 Qwen3.8-Flash-Next-NVFP4-Abliterated v4 的 CSF 压缩容器,比原版小 3.58 GB,权重与 v4 逐位一致。消融在量化网格上原位进行,rank-1 拒绝方向取自第 46 层、alpha=1.0,共编辑 25,188 个张量;有害拒绝率从母模型的 136/136 降到 0/136,过度拒绝从 4/59 降到 0/59,GPQA 差异不显著(p=0.286)。需带 NVFP4-CSF reader 的 vLLM 源码构建才能加载,作者提醒该模型拒绝行为被有意降低,部署时需自备安全措施。
推荐理由:原文给出rank-1拒绝方向消融的具体参数和与母模型的有害拒绝率对照数据,读者可据此评估这个去对齐版本的实际改动幅度。
Richard Erkhov 将 huihui-ai 的 Qwen2.5-Coder-1.5B-Instruct-abliterated 量化为多档 GGUF 版本,体积从 Q2_K 的 0.7GB 到 Q8_0 的 1.76GB。该模型是基于 Qwen2.5-Coder-1.5B-Instruct 的 abliterated 去审查版本,采用 apache-2.0 许可,评测显示 IF_Eval 45.41、MMLU Pro 20.57、GPQA 26.13。
Baekpica 将 dealignai 的 DeepSeek-V4.1-Flash-1017-UNCENSORED FP8 权重按 YoungAi 的 vq8sh14-q4k-mtpnative 配方原样转换为 VQ GGUF,基础文件约 113.6 GB,面向 128 GB DGX Spark,上下文保持原生 1,048,576 tokens。该量化约 1.6 bits per routed-expert weight,同配方在 V4.1 Flash 上与 FP8 模型 next token 一致率为 69–79%,质量与去审查行为可能下降。目标运行时为 ds4-dfm-rs,1017 Engram 表(2 × 101.5 GB)需从本地 SSD 读取。
candor-lab 用自研权重编辑工具 Candor 移除了 IFM 的 K2-Horizon-7B 的拒绝行为,以单个 Q4_K_M GGUF(5.59 GB)发布在 Hugging Face,Apache 2.0 协议。288 个 StrongREJECT 有害提示的拒绝数从原版 287 降到 3,300 个 Alpaca 无害提示拒绝数从 2 降到 0,KL 散度 0.052,GSM8K 正确数 1222 对 1209,均在噪声范围内。编辑为 rank-3 修改,覆盖 61 个输出矩阵;搜索的 313 次试验和最终评测均在 llama.cpp 中开启 thinking、reasoning effort high 下完成,前两名候选曾因数学成绩下降或思考预算耗尽被淘汰。
推荐理由:原文给出拒绝率、KL 散度和 GSM8K 的前后对照数据,读者可以据此判断这次权重编辑到底去掉了什么、损失了多少。
bigfat 发布 DeepSeek-V4.1-Flash-Abliterated 的 DwarfStar Q2 GGUF 量化版本,基于 s-zaizen 用 Hereteric 对 deepseek-ai/DeepSeek-V4.1-Flash 去审查后的 checkpoint(拒绝关键词率 97/100 → 24/100)。提供 imatrix 校准版(推荐)与 bootstrap 版两个文件,imatrix 版 NLL 0.359,与原版 Q2(0.346)基本持平,需在 128 GB Mac 上用 --ssd-streaming 运行。
Reddit r/LocalLLaMA 用户发帖询问大家日常实际使用的量化精度:2-bit 是否真的可用、3-bit 能否胜任编程等复杂任务,还是最终回到 4-bit。帖子还问及以 KLD 衡量时多少算"基本无损"——0.1 是否够好,还是需要 0.01-0.03,并强调要真实使用经验而非 benchmark 数据。
nofacedfl 在 Hugging Face 发布 GLM-5.3 Uncensored Maya 量化包,将 Z.AI 的 753B MoE 模型用 GPTQ 压到约 2.5 bit,配合 Project Maya 的 GLM-5.3 移植版引擎运行。在 7 张 GPU(5× RTX 4090 48 GB + 2× A100 40 GB)上达 43–57 tokens/s,支持 512K 上下文,JailbreakBench 拒绝率从原版 39/40 降到 2/40,其中量化后为 6/40,再通过 78 层×3 方向的拒绝向量在运行时投影移除降至 2/40;对 FP8 的 KL 为 0.204、top-1 一致率 88.4%。
推荐理由:原文给出完整的去对齐实现路径和 JailbreakBench 拒绝率前后对比,还附量化精度损失数据,可复现可核查。
Piecrust 将 Huihui 的拒绝方向消融编辑重新应用到 NVIDIA 的 GLM-5.3-Flash-FP4-Local 权重上,发布去对齐版本。仅改动 15 至 36 层的 44 个矩阵(self_attn.o_proj 与 mlp.shared_experts.down_proj),其余权重与原检查点逐字节一致;因 NVIDIA 做过量化感知蒸馏,编辑以 rank-1 方式重算而非直接套用 delta,重编码后保留 91-95% 编辑强度。实测在 2× RTX PRO 6000 Blackwell 上拒绝探针 12 问 0 拒绝(原版拒绝 2 次),GSM8K 94/96 对 95/96,解码速度基本持平;需 NVIDIA 列出的容器环境,上游 vLLM 暂不支持。
推荐理由:原文给出逐字节校验、拒绝探针前后对比和速度质量数据,可据此判断这个去对齐版本改了什么、代价多大。
dealignai 在 Hugging Face 上镜像了 DeepSeek-V4.1-Flash-1017 的 EXL3 2.9bpw abliterated 量化版本。该仓库为镜像,权重、文档和更新实际存放在同名的 UNCENSORED 仓库中,后者持续更新并包含完整 README 和评测表。
dealignai 基于 LibertAI 的 EXL3 2.9bpw 量化包(388 GB)发布 DeepSeek-V4.1-Flash-1017 无对齐版本,移除拒绝行为,支持 6 种语言、131K 上下文、thinking 开关与 vision/MTP/Engram 权重保留。实测 MMLU-500 从 67.40% 降至 63.20%(−4.20pp),HarmBench-320 chat 模式 320 项全部 COMPLY;在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 68 tok/s 解码、1105 tok/s 预填充。
推荐理由:发布方给出了 MMLU 前后对比和 HarmBench 拒绝率数据,可以量化评估去对齐带来的能力损失。
Reddit 用户 /u/ethertype 转发了 llama.cpp 提议的新量化类型 IQ2_K、IQ3_K、IQ4_K、IQ5_K 和 IQ6_K。要点包括:文件大小与 Q-quants 相同,KLD 相比 Q-quants 明显改善,但性能略有下降,且生成 IQ 量化较慢;附 PR 链接 https://github.com/ggml-org/llama.cpp/pull/30715 和测试模型 https://huggingface.co/eaddario/IQ2_K-IQ6_K-Test-Models。
Blockway 团队发布 Agens Volundr 32B v1,针对社区对 Preview 版的反馈做了修复:SWE-bench 任务重复循环从 36/50 降到 0/50,SWE-bench Verified 50 题子集从 22 提到 27/50,τ²-bench 从 89 到 92/120,SGLang 构建新增 session continuation 使后续轮次快 2.9 倍。
推荐理由:官方逐条列出 Preview 版被社区指出的问题及 v1 修复数据,还给出 16 GB 构建的实测速度与质量下降幅度,便于自行评估取舍。
alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版(sym、group-128),面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证,截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s,MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍;12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s(-7.2%)。
推荐理由:作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分,并记录了校准偏差与评测陷阱,便于复现和横向对比。
GitHub 仓库 MobitSolidity/marfin-llm 提供面向 CPU 本地运行、波斯语–英语双语金融 LLM 的主系统提示词(SYSTEM_PROMPT.md v2.0)及配套治理文档,涵盖 RAG、MCP/tool calling、TradingView 集成、券商连接与模拟/实盘交易门控。仓库按阶段推进,当前处于 Phase 8,包含决策日志 D-0001–D-0123、Phase 4 失败归因脚本、Phase 6 红队评测(51/51 mutants killed)以及选定 Q4_K_M 量化的 Ollama Modelfile 等部署与安全组件。
Hugging Face 上线 mradermacher 制作的 Qwen3.5-2B-Uncensored-Zero-Refusal-SOMA 的 i1 GGUF 量化版本。该模型参数规模约 961k,页面未提供完整模型卡与基准数据,硬件兼容信息需登录后查看。
RuCoverLAB/deepseek-r1-8b-abliterated-q4 已通过 llama.cpp 的 GGUF-my-repo 转换为 Q4_K_M 量化 GGUF 格式并上架 Hugging Face。用户可通过 llama-cli 或 llama-server 直接加载该模型运行推理,server 模式示例使用 -c 2048 上下文长度,也可按 llama.cpp 仓库步骤自行编译使用。
Hugging Face 上线 mradermacher 制作的 Qwen3.5-2B-Uncensored-Zero-Refusal-SOMA 静态量化(static quants)GGUF 版本。该模型目前未被任何 Inference Provider 部署,下载量未被追踪,仓库卡片缺少 YAML 元数据。