DeepSeek-V4.1-Flash-1017-Abliterated 的 ik-llama GGUF 量化版上线 Hugging Face
Hugging Face 用户 ji-farthing 发布 DeepSeek-V4.1-Flash-1017-Abliterated 的 ik-llama GGUF 量化仓库。该仓库公开可访问，但用户需登录并同意分享 Hugging Face 信息、接受相关条件后才能下载模型文件。
#量化
新闻、仓库与研究，按时间排列。
Hugging Face · 新模型：abliteratedAI 评分2121 Hugging Face · 新模型：abliteratedAI 评分2525 mradermacher 发布 Qwen3.5-27B-abliterated-ko-i1 GGUF 量化版本
mradermacher 在 Hugging Face 上提供 Qwen3.5-27B-abliterated-ko-i1 的 GGUF 量化模型（如 Q2_K）。该模型可通过 llama.cpp 本地运行或启动 OpenAI 兼容服务器，并支持在 Ollama、Docker Model Runner、LM Studio、Jan、Pi、Lemonade、Hermes Agent 及 OpenClaw 等工具中使用。
Reddit · r/LocalLLaMA精选AI 评分6161 作者推出计入 KV cache 的 LLM 显存计算器
/u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。
推荐理由：针对常见显存计算器只算权重忽略 KV cache 的痛点，按上下文长度和缓存精度补全估算并给出 GPU 配置建议。
Hugging Face · 新模型：uncensoredAI 评分2222 OpenIntelligenceNet 发布 Spark-X2.6-4B-Uncensored-GGUF 量化模型
Spark-X2.6-4B-Uncensored-GGUF 上架 Hugging Face，提供 Q4_K_M 量化版本，可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接在终端运行推理。该模型还支持通过 Ollama、Docker Model Runner、Lemonade 以及 Pi、Hermes、OpenClaw 等 Agent 工具加载使用。
Hugging Face · 新模型：uncensored同新闻AI 评分7070 dealinai 发布 GLM-5.3-Flash 无审查 FP8 权重，HarmBench-320 零拒绝且 MMLU 反超基线
dealinai 以 CRACK 方式对 GLM-5.3-Flash 做权重级去审查并发布 FP8 版本（320B 总参数、18B 激活、1M 上下文），直接在张量中移除拒绝行为，不用 SFT、DPO、LoRA 或模板技巧。HarmBench-320 上 reasoning-OFF 和 max 档 320/320 全通过、0 拒绝（low 档保留部分拒绝），MMLU 87.33% 高于基线 86.74%；H200 TP4 原生 FP8 解码 163 tok/s，开启 MTP 投机解码达 211 tok/s、接受率 75.9%。
同一新闻，精选展示《GLM-5.3-Flash UNCENSORED FP8 发布，权重级去对齐且 MMLU 反超基座》
Hugging Face · 新模型：abliteratedAI 评分2020 mradermacher 发布 Qwen3.5-27B-abliterated-ko-GGUF 量化模型
mradermacher 在 Hugging Face 上提供 Qwen3.5-27B-abliterated-ko 的 GGUF 量化版本。用户可通过 llama.cpp 直接推理或启动本地 OpenAI 兼容服务器，示例采用 Q4_K_S 量化档，并支持 LM Studio、Jan、Ollama、Docker Model Runner、Lemonade、Pi、Hermes Agent 及 OpenClaw 等工具加载运行。
Reddit · r/LocalLLaMAAI 评分1515 双卡 3080 12GB 跑 flash next：对比 3090 24GB 的取舍讨论
一位 Reddit r/LocalLLaMA 用户询问用双 3080 12GB 运行 iq4 flash next 是否可行。双卡合计 24GB 显存、带宽与双 3090 相同，价格 900-1000 欧元，但比 3090 少 24GB VRAM；作者猜测速度可能只慢 15-20%，并指出双 3090 仍依赖 RAM，希望有经验者分享。
Hugging Face · 新模型：uncensored同新闻AI 评分6666 FLUX 3 Image Klein 提示词扩展器无对齐版发布，英文拒绝率从 63% 降到 0%
AtomicChat 基于 BFL 的 FLUX 3 Image Klein 提示词扩展器（9B Qwen3.5 微调）投影移除拒绝方向，发布 llama.cpp 可用的 GGUF 权重及 3MB LoRA 版本。作为聊天模型，held-out 提示词上英文拒绝率从 63% 降至 0%，俄语从 29% 降至 1%，MMLU 从 74.15% 微降至 73.95%，工具调用与长文本检索不受影响；作为 upsampler 时在 35 条敏感请求中比原版多保留 2 条内容，但 Klein 图像模型本身不画这两类，出图无可见去审查效果。
同一新闻，精选展示《AtomicChat 发布 FLUX 3 Image Klein 提示词扩展器无拒绝 GGUF 版》
GitHub · 灵魂体仓库AI 评分5050 fanyifan090409-dev/mobile-llm-engine：基于 Qwen3 的手机本地大模型推理引擎开源
GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。
GitHub · 灵魂体仓库精选AI 评分7676 BigMoeOnEdge 开源：从闪存流式加载超大 MoE 模型到手机和笔记本
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
推荐理由：仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明，便于判断流式加载 MoE 的实际可用程度。
Reddit · r/LocalLLaMAAI 评分5252 
8 GB VRAM + 32 GB RAM 跑 Qwen 3.8 Flash Next：Strata 配置实测 PP 最高约 900+ t/s、TG 30-45 t/s
/u/BleynSpecnaz 在 RTX 5060 Laptop（8 GB VRAM）、32 GB DDR5 和 1 TB SSD 上用 Strata 跑通 Qwen 3.8 Flash Next Gyro S 量化版，Chat 配置下 262K 上下文 PP 800-970 t/s、TG 30-40 t/s，131K 下 PP 930-1,040 t/s。
Hugging Face · 新模型：abliteratedAI 评分3434 Huihui-Qwen3.8-27B-abliterated-GGUF 发布：Qwen3.8-27B 去审查版本
huihui-ai 基于 Qwen/Qwen3.8-27B 通过 abliteration 技术移除拒绝行为，发布无审查版 Huihui-Qwen3.8-27B-abliterated-GGUF。该版本仅对第 22 至 52 层（0 起始索引）做消融，其余层保持不变，并提供 Q2_K_L 至 Q8_0_L 等多种量化格式，可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行，支持 -c 262144。模型安全过滤大幅降低，建议用于研究测试环境。
Reddit · r/LocalLLaMAAI 评分4747 
boro64 发布 Ternary Nemotron 30B-A3B GGUF：12 GB GPU 跑 368K 上下文
Reddit r/LocalLLaMA 用户 boro64 发布 Ternary Nemotron 30B-A3B 的 GGUF 量化模型，这是一款 1.58-bit 三值 30B-A3B MoE 模型，可在 12 GB GPU 上运行 368K 上下文。实测解码速度 172 tok/s、prefill 超 7000 tok/s，同一文件兼容原版 llama.cpp（b11555+、b11796 验证）和 PrismML fork / Bonsai（b10793 验证）。作者称这是继 maple-preview 后第二个支持原版 llama.cpp 的三值 MoE 模型，并征集 CPU-only 和约 10 GB 小显存的测试数据。
Hugging Face · 新模型：uncensoredAI 评分5050 Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP GGUF 发布
HauhauCS 发布 Qwen3.8-27B 无审查 Aggressive 变体的 GGUF 量化版本，0/465 拒答，直接作答且几乎无前导语。该版本附带 HauhauCS FastMTP 32K 加速 sidecar，在 Q8_K_P 下相比禁用 MTP 最高达 3.02x 文档 TG 和 1.93x 推理 TG，比标准内嵌 MTP 高 35.2% 和 21.1%。模型保留文本、推理、agentic、图像与视频能力，原生 262,144-token 上下文，可扩展至 1,000,000，兼容 llama.cpp 等标准 GGUF 运行时。
Hugging Face · 新模型：uncensoredAI 评分3838 Gptsn/Llama-3.2-3B-Instruct-uncensored-GGUF 量化版本发布
基于 unsloth/Llama-3.2-3B-Instruct 的去审查微调模型推出 GGUF 量化版本，abliteration 后 KL 散度仅 0.0265，测试中 100 次拒绝仅 4 次，并保留多语言能力。提供 Q4_K_M（2.02GB）、Q5_K_M（2.32GB）、Q8_0（3.42GB）和 f16（6.43GB）四种量化，可在 LM Studio 或 Ollama 中加载使用。
GitHub · 3D 生成新仓库AI 评分2525 sysofwan 开源 HifzGuide：古兰经跟读校验应用 Muraja 的模型与数据工具库
sysofwan 在 GitHub 发布 HifzGuide 仓库，为 iOS 实时古兰经跟读校验应用 Muraja 提供数据与工具，采用 AGPL v3.0 许可。预构建资源以 GitHub Releases 分发，包含 6 段 Wav2Vec2-BERT CoreML 模型（6-bit 调色板量化，约 443 MB）、604 个 QCF2 页面字体、约 48 MB 的 quran.db 等。工具链含基于 Muaalem 音素头的 LoRA 微调与 Tadabur 质量过滤流水线，训练环境为 Linux + CUDA，CoreML 导出在 macOS/Apple Silicon 完成。
Hugging Face · 新模型：abliteratedAI 评分2626 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S GGUF 量化版发布
Hugging Face 社区发布 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S，这是基于 OBLITERATUS/feyospace-s1-obliterated 的 GGUF 量化版，面向本地网络安全研究、代码分析与工具辅助调查。该构建采用 UD-Q4_K_S 混合精度布局、面向安全的 importance-matrix 校准，并保留 MTP 头以支持投机解码；上游模型约 28B 参数、Qwen3.5 架构、Apache-2.0 许可，最大上下文 262,144 tokens。该卡未提供此量化版的 benchmark 结果，最终张量清单与质量保留情况尚待验证。
Hugging Face · 新模型：abliteratedAI 评分3636 Huihui-Kolibri-1-BF16-abliterated-GGUF：Aleph-Alpha Kolibri-1-BF16 的无审查版
huihui-ai 基于 Aleph-Alpha/Kolibri-1-BF16 制作了 abliterated 无审查版本，全程用 llama.cpp 的 GGUF 完成，不依赖 Transformers。已用 llama.cpp 重新量化并上传 Q2、Q3、Q4、Q5、Q6、Q8 和 BF16 版本。原版 llama.cpp 暂不支持 kolibri1 架构，需应用仓库内提供的补丁并检出 commit 836d571 后编译。
Reddit · r/LocalLLaMAAI 评分2929 为 RTX Spark N1X 调优 Qwen3.8-Flash-Next-W4A16-AutoRound-hybrid
一位用户在 N1X 128GB（88GB VRAM）Windows on Arm 设备上，通过 WSL3/Ubuntu-26.04 调优 Qwen3.8-Flash-Next-W4A16-AutoRound-hybrid 模型并取得满意结果。虽然生成速度（tk/s）不算最快，但面向智能体的并发表现好于预期。
Hugging Face · 新模型：uncensoredAI 评分3636 Ornith-1.5-122B-UNCENSORED NVFP4 版本发布，可单卡 RTX 5090 运行 Infernix 格式
dealignai 在 Hugging Face 发布 Ornith-1.5-122B-UNCENSORED 的 NVFP4-Infernix 格式导出，这是去 refusals 版本的量化模型，基于 Qwen3.5-122B-A10B 架构（48 层、256 个路由专家每层取 top 8），附带 MTP 与 DFlash2 drafter。模型经逐字校验与 checkpoint 无失配，可在单张 RTX 5090（32 GB）上运行，约需 70 GiB 主机内存和 76 GB 磁盘空间，速度仍待优化测定。
Hugging Face · 新模型：uncensoredAI 评分4848 Qwen3.8-Flash-Next-Uncensored 发布 UD-Q4_K_XL 量化版（GGUF）
Hugging Face 用户发布 Qwen3.8-Flash-Next 越狱版（orcarouter/Qwen3.8-Flash-Next-Uncensored）的 UD-Q4_K_XL 风格量化，复刻官方 Unsloth 类型表，主干 5.03 BPW、总计 108.39 GiB，附带 MTP draft head（Q8_0）与视觉塔（BF16），原生上下文 262,144，Apache-2.0。在 AMD Strix Halo 上以 Gufo 与 Halogen 实测 decode 32~40 tok/s，MTP 推测解码正常；缺 MTP head 会静默关闭推测解码，吞吐掉 30%+。
Reddit · r/LocalLLaMAAI 评分4848 ThousandML 平台推出 4-bit QLoRA 训练，采用自研 CQ 量化
开发者推出 ThousandML 平台，用自研免校准量化 CQ 4-bit 做 QLoRA 微调以降低 GPU 成本。在 Qwen3.8-27B 的 Alpaca 微调对比中（单张 NVIDIA A40 48 GB，LoRA r=32、500 步），CQ 最终验证损失 1.0315 优于 Unsloth NF4 的 1.2484，且峰值显存略低，但每步耗时 27.60 s 远慢于 NF4 的 3.20 s，速度仍在优化中。已发布 thousandml/Qwen3.8-27B-CQ-4bit 等多个 CQ 4-bit 底座模型及复现脚本。
Hugging Face · 新模型：abliteratedAI 评分1818 nchapman 发布 Huihui-Qwen3.5-0.8B-abliterated-W4A16-GPTQ 量化模型
nchapman 在 Hugging Face 上发布 Huihui-Qwen3.5-0.8B-abliterated-W4A16-GPTQ，这是一个基于 Qwen3.5 0.8B 的 abliterated 多模态 GPTQ 量化模型，支持 image-text-to-text 任务。模型可通过 Transformers、vLLM、SGLang 加载部署，并提供 OpenAI 兼容 API 与 Docker 运行方式。
Hugging Face · 新模型：abliteratedAI 评分2424 Huihui-Qwen3.5-2B-abliterated-W4A16-GPTQ 量化模型上线 Hugging Face
Hugging Face 上架 nchapman 发布的 Huihui-Qwen3.5-2B-abliterated-W4A16-GPTQ，这是一个 2B 参数、W4A16 GPTQ 量化的 abliterated 多模态模型，支持图像-文本到文本任务。文档给出 Transformers、vLLM、SGLang 及 Docker 的部署示例，并支持通过 OpenAI 兼容 API 调用。
Hugging Face · 新模型：uncensoredAI 评分7575 BoldingBuilds 发布 GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化并实测去对齐效果
BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored（320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文）的 imatrix GGUF 量化，含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档，并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040（OrcaRouter FP8 为 0.120，base 为 0.930），HumanEval pass@1 0.927；作者指出空输出会计为服从，提醒评测时必须同时报告空输出数，文件已适配 mainline llama.cpp 与 LM Studio 模板。
Hugging Face · 新模型：uncensoredAI 评分1616 mradermacher 发布 Minecraftism-4B-Thinking-Uncensored 的 i1-GGUF 量化版本
Hugging Face 用户 mradermacher 上架 Minecraftism-4B-Thinking-Uncensored 的 i1-GGUF 量化模型仓库。模型采用 GGUF 格式，页面提供了下载统计与硬件兼容性信息，用户需登录后可添加自己的硬件配置。
GitHub · 去对齐工具与仓库精选AI 评分6060 
Shivanim042003 开源 llm-inference 推理服务栈并实测对比 vLLM
作者开源 llm-inference，一个面向可测量的 LLM 服务栈，包含从零实现的 continuous batching 引擎、OpenAI 兼容服务器、开环负载生成器和自动生成报告的实验集。在 T4 上对 Qwen/Qwen2.5-0.5B-Instruct 实测，continuous-32 达 6 req/s SLO 容量，为 vLLM（12 req/s）的 50%，静态 KV 槽位加 CUDA graphs 后升至 10 req/s 达 vLLM 下界 83%；附逐 token 正确性测试、精度（fp16/int8/nf4）对比与复现脚本，仓库 MIT 协议。
推荐理由：作者自建推理服务栈并与 vLLM 同卡对比，给出 SLO、CUDA graphs 和前缀缓存的消融数据，可复现。
Hugging Face · 新模型：abliteratedAI 评分2626 Huihui-Qwen3.5-4B-abliterated-W4A16-GPTQ 上架 Hugging Face
nchapman 在 Hugging Face 发布 Huihui-Qwen3.5-4B-abliterated-W4A16-GPTQ，这是一个 abliterated 的 4B 多模态 GPTQ 量化模型，支持 image-text-to-text 任务。页面给出 Transformers、vLLM、SGLang、Docker Model Runner 等多种部署方式，均可通过 OpenAI 兼容 API 调用。
Hugging Face · 新模型：uncensoredAI 评分1818 MishraNepali/OrcaSAQ-2-Cyber-27B-Uncensored-GGUF_Q2_K 模型上线 Hugging Face
MishraNepali 发布 OrcaSAQ-2-Cyber-27B-Uncensored 的 GGUF Q2_K 量化版本，可在 Hugging Face 获取。该模型支持通过 llama.cpp、vLLM、Ollama、Docker Model Runner 等多种工具本地运行，并可启动 OpenAI 兼容 API 服务器供 LM Studio、Jan、Pi、Hermes、OpenClaw 等客户端调用。
Reddit · r/LocalLLaMAAI 评分2222 如何用 QLoRA 微调 Qwen3.5-9B 处理约 500 GB 多格式原始数据：一位本地部署用户的求助
一位 Reddit r/LocalLLaMA 用户用 8x T4 服务器部署 Qwen 3.5-9B Q5_K_XL，实现 87k 上下文、44 个 slot、单用户 35-40 tps，现想用 QLoRA 微调约 500 GB 的图像、扫描件、PDF、Word/Excel 数据。他持有 Mi50、V620、3060 等多块显卡但多台主板存在启动兼容问题，纠结于 3060 组合还是单价约 700 美元的单卡 R9700，并询问 unsloth 是否支持 Intel GPU。
Hugging Face · 新模型：abliterated精选AI 评分6060 KaedeTai 发布 occamy-1.0-abliterated 的 MLX 4-bit 量化版并移植 MTP 草稿头
KaedeTai 将 SC117 制作的 abliterated 版 Occamy-1.0 从 BF16 GGUF 反向转回 HF 布局并量化为 MLX 4-bit，约 20 GB。仓库装回 Accio-Lab 原版的 vision tower，并从 KaedeTai/Ornith-1.5-35B-A3B-BigBang-MTP-zh-mlx-4bit 原样移植 MTP 草稿头；该头在 Occamy 上草稿接受率达 65.6%（每周期 2.13 个 token），高于其原本干的 Ornith 主干的 64.9%。作者用逐张量逆变换脚本还原 llama.cpp 转换改动，42 个对照张量中 40 个与未去对齐基座逐位一致，其余两个正是消融所改的矩阵。
推荐理由：作者给出了逐张量校验和同机对照的 TMMLU+ 分数，可以核对这套 GGUF 转 MLX 加移植 MTP 头的转换质量与速度收益。
Hugging Face · 新模型：abliteratedAI 评分2626 Qwen2.5-7B-Instruct-abliterated-64k 发布：元数据修复版 GGUF
R0U5 在 Hugging Face 发布 Qwen2.5-7B-Instruct-abliterated-64k，这是基于 huihui-ai 消融模型与 mradermacher GGUF 量化的元数据修复版，非新增消融。仓库将 context_length 重新声明为 65536 并添加 YaRN rope scaling 元数据（factor 2.0），以满足 Hermes Agent 64,000 token 最低上下文要求，权重与上游量化逐位一致。经 llama.cpp 验证 12 个拒绝测试提示 0 拒绝，Q4_K_M 版本 4.68 GB。
Reddit · r/LocalLLaMA精选AI 评分6161 
RTX PRO 4000 Blackwell SFF 120W 超频实测：Qwen3.8 27B 生成提速 67%
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
Reddit · r/LocalLLaMA精选AI 评分7070 Strata 调参实战：RTX 4090 跑 Qwen3.8-Flash-Next IQ3_S 达 2076 PP 与 95-105 tok/s 解码
作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参，附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%；同时给出负面结果，--expert-cache 按 MiB 而非槽位设置（填满显存时 −72%）、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。
推荐理由：作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位，附完整可用配置。
Hugging Face · 新模型：abliteratedAI 评分2020 Hugging Face 上架 abliterated 量化模型 llm-qwen3.8-flash-next-abliterated-iq4xs
abliterated 版模型 yuanyeyuanye/llm-qwen3.8-flash-next-abliterated-iq4xs（UD-IQ4_XS 量化）现可通过 llama.cpp 加载，支持 llama serve 启动兼容 OpenAI 的本地服务器与 llama cli 终端推理。模型也可经 Ollama、Docker、Lemonade 拉取运行，并能接入 Pi、Hermes、OpenClaw 等工具，覆盖 macOS、Linux 与 Windows 平台。
Hugging Face · 新模型：uncensored精选AI 评分6060 dealignai 发布 Nanbeige4.3-33B 的 UNCENSORED GGUF 量化版本
dealignai 在 Hugging Face 发布 Nanbeige4.3-33B 的 UNCensored GGUF 版本，移除基础模型的拒绝行为，提供 Q6_K（25.3 GB）、Q4_K_M（18.7 GB）、IQ2_XXS（8.7 GB）三种量化，均附带基于 1M token 校准内容的 imatrix，保留原生 think on/off 与 512K 上下文。与同量化基础版对比，MMLU chat 下降 Q6_K −1.74pp、Q4_K_M −1.09pp、IQ2_XXS −4.53pp；6 提示多轮合规测试三个量化均为 6/6 通过、0 次拒绝。
推荐理由：原文给出三种量化的 MMLU 前后对照和多轮拒绝率实测，读者可据此评估去掉拒绝行为的能力代价。
Reddit · r/LocalLLaMAAI 评分1515 拥有 140TB 存储和 640GB A100 服务器，该下载哪些模型
一位 r/LocalLLaMA 用户拥有 140TB 存储和搭载 640GB A100 GPU 的服务器，在 Hugging Face 被接管后打算下载最重要的模型，已计划包括 GLM5.3 (Flash)(abliterated) 和 DS4 Flash 等，并询问还需保存哪些模型和量化版本以备将来使用，也想涉足图像和视频模型。
Reddit · r/LocalLLaMAAI 评分1616 拥有 140TB 存储和 640GB A100 服务器，该下载哪些模型
一位 r/LocalLLaMA 用户拥有 140TB 存储和搭载 640GB A100 GPU 的服务器，在 Hugging Face 被接管后打算下载最重要的模型，已计划包括 GLM5.3 (Flash)(abliterated) 和 DS4 Flash 等，并询问还需保存哪些模型和量化版本以备将来使用，也想涉足图像和视频模型。
Reddit · r/LocalLLaMAAI 评分2222 
Strata 与 DeepSeek Flash-V4.1-1017 IQ2_XS 在四张 R9700 上的运行测试
用户在 Epyc 7402P、256GB DDR4 ECC 3200 八通道内存平台上测试了四张 R9700 运行 Strata 和 DeepSeek Flash-V4.1-1017 IQ2_XS，发现受 R9700 内存带宽偏慢影响 prefill 环节最耗时，且系统内存占用偏低。Radiance 曾将 Flash Next 在 R9700 上的 prefill 和 tok/s 性能提升 3-4x，Niko 表示该优化将很快进入 Strata。
Reddit · r/LocalLLaMAAI 评分1616 Swift 1.5 Qwen Flash Next IQ3XXS（GSQ RCO）Abliterated 版能否只下载变化的权重？
一位 r/LocalLLaMA 用户在运行 Swift 1.5 Qwen Flash Next 的 GSQ RCO IQ3XXS 量化版本，但因模型偶尔拒答，想再准备一个 Abliterated 版本，仅在少数场景下使用。由于存储空间只剩不到 1TB，他询问能否只下载两个版本之间变化的权重并合并，避免完整双份下载。