Qwen4 会是 Intel Optane 上的理想选择吗？
Reddit r/LocalLLaMA 上有讨论猜测 Qwen4 是否适合搭配 Intel Optane 使用。文中提到 qwen3.8 flash next 针对小显存大内存场景优化，Strata 则优化了向 SSD 的 offloading，并探讨 Optane 能否成为受 DDR4 高价困扰的 homelab 的解决方案。
#量化
新闻、仓库与研究，按时间排列。
Reddit · r/LocalLLaMAAI 评分1818 Reddit · r/LocalLLaMAAI 评分2525 
IFM/Jais-3 登陆 r/LocalLLaMA
Reddit r/LocalLLaMA 上出现关于 IFM/Jais-3 的讨论帖。原帖仅提供链接，正文未给出该模型的参数规模、benchmark 成绩、上下文长度或开源/闭源等具体信息。
Reddit · r/LocalLLaMAAI 评分5454 Qwen3.8 27B 16GB 显存 KV 量化实测：21 个模型 9 种量化共 189 组基准
Reddit 用户 /u/Fancy-Snow7 对可装入 16GB 显存的 Qwen3.8 27B 量化组合计算 KLD 与困惑度，覆盖 21 个模型、9 种 KV 量化共 189 组基准。结论是 q5_1/q5_1 几乎总是优于 q8_0/q4_0 或 q4_0/q8_0，而后两者差异很小；模型量化升一档跑 q4_0/q4_0 在 KLD 上几乎总优于低一档配 f16/f16，建议先选最高可用模型量化，再视余量提高 KV 量化。作者提醒该结论适用于较低量化，从 q6 升到 q8 时提高 KV 量化收益可能更大，且不适用于 Gemma 等需 f16 KV 的模型；Bonsai 和 swift 量化因属微调，KLD 差异显著，计算意义不大。完整基准数据见评论区。
Hugging Face · 新模型：uncensoredAI 评分2222 mradermacher 发布 Qwen3.5-4B-Claude-3xMerge-Jackrong-UNCENSORED-heretic 的 i1-GGUF 量化版本
Hugging Face 上架了 mradermacher 制作的 Qwen3.5-4B-Claude-3xMerge-Jackrong-UNCENSORED-heretic 的 i1-GGUF 量化版本。该模型基于 Qwen3.5-4B，为去审查（uncensored）合并模型，仓库页面未提供详细模型卡信息。
Reddit · r/LocalLLaMAAI 评分1212 无 NVLink 的多 GPU 环境下 Strata 值得用吗？Titan RTX + RTX 3090 异构组合实测讨论
一位 Reddit 用户在 r/LocalLLaMA 询问 Strata 在无 NVLink 的异构多 GPU 上是否值得使用。其配置为 Titan RTX 与 RTX 3090（均 24GB），单张 3090 运行 qwen3.8-27b 在 300k 上下文下达到 32 tok/s，Titan RTX 基本闲置；另有约 48GB 空闲系统内存。他想知道多 GPU 是否会大幅降低 prefill 速度，还是单卡加系统内存更快。
Hugging Face · 新模型：uncensoredAI 评分1818 
mradermacher 发布 Qwen3.5-4B-Claude-3xMerge-Jackrong-UNCENSORED-heretic 的 GGUF 静态量化版本
mradermacher 在 Hugging Face 上发布 Qwen3.5-4B-Claude-3xMerge-Jackrong-UNCENSORED-heretic 的 GGUF 静态量化版本，并提供 mmproj-Q8_0（0.5GB）与 mmproj-f16（0.8GB）多模态补充文件。weighted/imatrix 量化暂未提供，用户可通过 Community Discussion 提出请求。
Reddit · r/LocalLLaMAAI 评分5252 
Fish Drama 3 35B3A 文本转语音模型发布，作者实测本地运行效果
Fish 昨日发布文本转语音模型 Drama 3（35B3A MoE），作者当天搭建了演示并实测。该模型在 DGX Spark 上运行良好，4bit 量化版本效果接近原版；可在 Hugging Face Space 试用或下载权重本地运行（https://huggingface.co/spaces/fishaudio/Drama-3）。
GitHub · 去对齐工具与仓库AI 评分3535 hybridquant：面向混合线性注意力 LLM（Qwen3.5、Falcon-H1）的 KV-cache 与循环状态联合量化研究仓库
GitHub 上的 hybridquant 仓库研究混合线性注意力 LLM（Qwen3.5、Falcon-H1）中 KV cache 与循环状态（Gated DeltaNet / Mamba-2）的联合量化，在固定内存预算下比较两者位宽分配及误差交互。它采用 fake quantization 测量 decode 阶段 NLL，对比 RTN 与带 error feedback 的方案，并用噪声匹配对照检验超可加性，每格 20 文档 × 3 seeds 并报告 paired bootstrap 95% CI。
GitHub · 灵魂体仓库AI 评分4848 cognitio-org/mgm-pi：MacBook Pro 本地 LLM 环境与 kernal 智能体配置仓库
cognitio-org 的 mgm-pi 仓库记录了在 MacBook Pro（M4 Pro，48 GB 统一内存）上用 LM Studio 与 MLX 后端运行本地大语言模型的方案，模型为 qwen/qwen3.6-35b-a3b（Qwen 3.6 35B MoE，3B 激活，4-bit MLX，20 GB，256K 上下文），实测 73-82 tok/s、首 token 约 0.3 秒。仓库还包含基于 pi 的 kernal 编程智能体，支持连接 LM Studio、LiteLLM 路由与 OpenRouter、预算追踪、语音输入，并通过 kernal local 将本地模型共享到 Outfitter 账户。
Hugging Face · 新模型：abliteratedAI 评分4242 
DavidAU 发布 Qwen3.8-Flash-Next-Abliterated-Uncensored-Turbo-Brilliance-50x GGUF 量化测试版
DavidAU 的 Qwen3.8-Flash-Next-Turbo-Brilliance-50x 消融版（abliterated/uncensored）GGUF 量化正在测试，模型为 180B 参数、512 专家激活 10 的 MoE，量化升级为 GSQ-RCO。测试显示 IQ3_XXS（3.00 bpw、75.8 GB）达到 BF16 基线任务平均的 99.4%，Q2_0 仅 66.4 GB；速度测试中 46 GB 双 GPU 加内存卸载达 17 t/s，用户可申请访问并在量化发布时收到邮件通知。
Reddit · r/SillyTavernAIAI 评分1818 如何使用 Gemma 4 26B A4B（Orion 1.1 及其他微调版）？
Reddit 用户发帖询问如何用好 Gemma 4 26B A4B（含 Orion 1.1 等微调版）：尽管社区普遍称赞该模型，他使用 iq4xs 量化时却遇到视角混淆、对话不自然、旁白质量差等问题，不确定是设置、量化还是 megumin suite 的问题，希望获得调优建议。
Hugging Face · 新模型：abliterated精选AI 评分6262 LFM2.5-24B-A2B 去对齐 GGUF 版发布，附拒绝率与能力实测
alexwkleung 用 Heretic 对 LiquidAI/LFM2.5-24B-A2B 做方向性消融，改动 926 个权重张量以降低拒绝行为，并转成 GGUF 量化发布。在 44 题独立有害集上，开启思考模式下 stock 版 44/44 拒绝，去对齐版约 34 顺从、9 偏转、1 干净拒绝；GSM8K 配对测试 n=100 两者均 98/100，KL 0.169。作者还发布 5 个量化文件与自算 imatrix，并提醒 LFM Open License 对年收入超 1000 万美元实体限制商用。
推荐理由：作者用独立 44 题有害集和 GSM8K 配对实测验证去对齐效果与推理无损，还给出拒绝率与 KL 的多档取舍点。
Hugging Face · 新模型：abliteratedAI 评分3838 MiniCPM-V-4.7-35B-A3B-abliterated 的 EXL3 3.5bpw 量化版本发布
Hugging Face 用户发布 openbmb/MiniCPM-V-4.7-35B-A3B abliterated 版本的 EXL3 3.5bpw 量化权重，视觉塔与 merger 保留原始 bf16。该 abliterated 版本在 100 条有害提示上拒绝率从 100/100 降至 5/100，KL 散度 0.101。vLLM nightly 0.32.0rc1 配合 DSpark 推测解码，代码约 86 tok/s、数学约 102 tok/s，无 DSpark 为 25.5 tok/s。
Hugging Face · 新模型：uncensoredAI 评分1818 mradermacher 发布 K2-Horizon-MoVA-36B-A4B-uncensored 的 i1-GGUF 量化版本
Hugging Face 上的 mradermacher 仓库发布 K2-Horizon-MoVA-36B-A4B-uncensored 的 i1-GGUF 量化版本，以 GGUF 格式提供该 36B-A4B 模型的去审查版本。仓库页面未提供详细模型说明，下载量数据暂缺。
Reddit · r/LocalLLaMAAI 评分1818 
鸡棚旁小屋里的 AI PC：4 张 CMP 170HX、256GB VRAM 本地跑大模型
一位 r/LocalLLaMA 网友分享了自己放在鸡舍旁小屋的本地 AI PC：从单张解锁至 64GB 的 CMP 170HX 扩展到 4 张共 256GB VRAM，搭配 32 核 Threadripper、TRX40 主板和 256GB DDR4 内存，并加装 3050 用于视频/RDP。因噪音和散热问题从衣柜迁入带空调的独立小屋，目前用两张 170HX 跑 QFN、第三张跑 Qwen3.8-27B，正在下载 GLM 5.3 Flash EXL3 4.65 bpw 测试 4 卡运行，并期待 Qwen4 的表现。
Reddit · r/LocalLLaMAAI 评分2929 LFM2.5-24B-A2B 在 Pi Agent 中表现出色
LiquidAI 的 LFM2.5-24B-A2B 在 Pi Agent 中表现可靠，作者用它替换 Ornith 1.5-35B 后运行良好。在 AMD W7900 上经 llama.cpp（ROCm）实测持续约 95 tps，Q8 量化加 128k 上下文占用 30GB 显存，机械性长任务稳定通过。
Reddit · r/LocalLLaMAAI 评分1818 升级 X299、组装 4×RTX 3090 新机还是卖掉多余显卡？LocalLLaMA 用户求助
一位电气工程学生在 r/LocalLLaMA 征询本地 LLM 硬件升级建议：现有 i7-7800X + X299 + 双 RTX 3090，跑 Strata IQ3_S 约 100 tokens/s，另有五张 3090 待处理。他在升级 i9-10940X（约 $300）、组建 96GB VRAM 第二台机器、或以约 $1,300/张卖掉 Zotac 卡之间权衡。
arXiv · cs.AI精选AI 评分5353 arXiv 论文提出免重训练方法让预训练 Transformer 可按算力预算弹性伸缩
Walter Simoncini 在 arXiv 发布论文，提出免重训练方法把预训练 Transformer 变成可在连续算力预算间自适应的单一模型，核心是对功能单元排序问题做可微松弛，在统一尺度上联合排序每个 MLP 神经元和注意力头。在 22M 到 8B 参数的 27 个视觉与文本 Transformer 编码器上，方法在最高 60% 稀疏度下平滑退化并优于 one-shot 基线；DINOv3 ViT-H+/16 剪枝到 50% 稀疏度移除 427M 参数，ImageNet-1k linear-probing 精度仅降 0.8%；AugReg ViT-B/16 在 60% 稀疏度下于 A100 GPU 上吞吐提升最高 1.80 倍、单查询延迟降低 1.26 倍。
推荐理由：论文给出免重训练的弹性剪枝方法，在27个模型上验证60%稀疏度下的精度与吞吐数据，可复现。
arXiv · cs.CLAI 评分4343 PN-Mix：面向长输出 LLM 推理的 Pair-Norm 引导混合精度 Key Cache 量化
PN-Mix 是一种针对 RoPE 架构 decoder-only LLM 的混合精度 key cache 量化方法，通过 RoPE 通道对的 attention logit 扰动分析识别显著通道对，在 prefill 阶段一次性分配更高精度并在解码全程复用。2.26-bit 平均精度下，其在推理、代码生成和 AIME 基准上达到与 2.32–2.39-bit 先前方法相当或更好的准确率，且可平滑降至 1.5 bits。
GitHub · 灵魂体仓库AI 评分6464 
ModelCloud 开源 GPTQModel 大模型量化与部署平台
ModelCloud 维护的 GPTQModel 是一个可扩展的 LLM 量化、验证与部署平台，支持 GPTQ、AWQ、ParoQuant、GGUF、FP8、EXL3、QQQ 等方法，覆盖 NVIDIA CUDA、AMD ROCm、华为昇腾、Intel XPU 和 CPU，并集成 Transformers、vLLM 和 SGLang。
GitHub · 灵魂体仓库AI 评分3636 pochenai/llm-inference-lab：以实验驱动的 LLM 推理机制学习路线图
GitHub 上的 llm-inference-lab 项目提供一份实验驱动、学习优先的 LLM 推理机制路线图，覆盖从模型文件到分布式推理的性能权衡与验证方法。路线图共 14 天，第 1 天“模型格式与加载”已完成，其余涵盖算子与 kernel 融合、FlashAttention、paged KV cache、量化、投机解码、多 GPU 执行与 prefill/decode 分离等主题，均处于计划状态。
GitHub · 灵魂体仓库AI 评分4848 simple_llm：基于 llama.cpp 的自托管 OpenAI 兼容 LLM 服务
simple_llm 是一个自托管、OpenAI 兼容的 LLM 服务，打包为 Arch Linux Docker 镜像，后端为 llama.cpp 的 llama-server，可在单 GPU 上运行小型本地模型，替换托管 LLM API。支持 CUDA（主）与 Vulkan 两种后端，候选模型为 ≤13B 的 Q8_0 量化版本，如 unsloth/Qwen3.5-9B-GGUF 和 unsloth/gemma-4-12b-it-GGUF，许可证为 GPLv2。
Reddit · r/LocalLLaMA精选AI 评分6868 
三台 4x R9700 本地推理机实测：单机约 $10.7k、共 384GB VRAM，附完整配置与 vLLM 吞吐数据
Reddit 用户 /u/NickReese 分享了三台 4x ASRock Radeon AI PRO R9700（32GB）本地推理机的搭建与实测，单机含税运费约 $10,733.91，采用 $127.17 的二手 EPYC 7452 替代 Threadripper，三台共 384GB VRAM，用于其枪械行业信息业务 USA Arms 的数据抽取。推理栈为 vLLM-Radiance 1.0.387（vLLM 0.30.0、ROCm 7.14），每台跑两个 TP=2 引擎运行 Qwen3.8-27B-FP8，FP8 KV cache 加 MTP 8 draft tokens；16 用户 MT-Bench 聚合 484 tok/s，32K 上下文预填充 6,696 tok/s。
推荐理由：作者给出三台 4x R9700 本地推理机的完整 BOM、vLLM 实测吞吐和 FP8 与 MXFP4 的准确率对比，数据可直接用于自建参考。
Reddit · r/LocalLLaMA精选AI 评分6262 Reddit 用户实测 MI350P 对比 RTX Pro 6000：调优后多档基准全面领先
Reddit 用户 /u/Tx8aker 对 AMD MI350P 与 RTX Pro 6000 (Blackwell) 跑 Qwen3.8-27B 推理对比，称 MI350P 开箱表现极差，经内核与调优优化后性能提升超过 2 倍。在 3k 输入 8 并发、50k 输入 20 并发、200k 单用户三档冷启动测试中，MI350P 输出吞吐分别为 889/130.6/79.8 tok/s，对 RTX Pro 6000 的 596/50.4/45.1 tok/s 达 1.49x/2.59x/1.77x，TTFT 也全面更快；作者指出 MI350P 显存利用率仅解锁 50%，仍有提升空间。
推荐理由：作者实测前先对 MI350P 做了内核调优才跑分，并给出三档输入长度的完整数据，比开箱对比更能反映真实差距。
Hugging Face · 新模型：uncensoredAI 评分2828 JMingo/gemma-4-26B-A4B-it-qat-uncensored-GGUF 模型上线 Hugging Face
JMingo 发布的 gemma-4-26B-A4B-it-qat-uncensored-GGUF 现已可在 Hugging Face 获取，提供 Q4_0 量化版本。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等多种本地部署方式，并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。
Reddit · r/LocalLLaMAAI 评分4646 Strata 性能微调实战：调参后解码速度提升 15%-20%
Strata 部署较新，作者经大量测试分享多项微调参数：--pcie-frac 设为 0.2、--pool-workers 带来 +10% decode、--trim-stage-weights 提升 +8%、--pipeline-windows 设为 6 提升近 15%，双 RTX3060 下通过 "gpu": [1,0] 强制让 PCIe 快的 GPU 做推理再获 +15%。累计后 Qwen Flash Next IQ3_S 从 35 decode 峰值提升到空上下文 60 tps 平均代码生成，满上下文仍比基线快 15%-20%。
Hugging Face · 新模型：uncensoredAI 评分2323 Qwen3.8-Flash-Next-Uncensored oQ5e 量化版上架 Hugging Face，附 FP8 PLE n-gram 表
Hugging Face 用户 zviratko 发布 Qwen3.8-Flash-Next-Uncensored 的 oQ5e 量化权重，面向 oMLX 使用，并将 FP8 PLE n-gram 表移植进来，作者称 PLE 表数据的实际效果未知，属于实验性尝试。该模型在 intelligence benchmarks 上与原量化模型结果基本一致，主观连贯性良好。仓库保留 Qwen Community License 1.0，但源仓库标注的 Apache-2.0 与许可文件不一致，使用前需自行核查。
Reddit · r/LocalLLaMAAI 评分3434 
Radiance 引擎在 2xR9700 上实现 Q4 Qwen-3.8 Flash-Next 176 t/s 解码、6,450 t/s 预填充
网友在双 R9700 + 64GB DDR5 新装 PC 上，用 Deadcode 的 Radiance 推理引擎跑 Q4 量化的 Qwen-3.8 Flash-Next，实测解码 176 t/s、预填充 6,450 t/s。吞吐数据来自 BetterBench 基准测试。
Reddit · r/LocalLLaMAAI 评分3030 单卡 AMD R9700 跑 Qwen3.6-35B 值不值这个价？Reddit 用户实测本地编码工作流
Reddit r/LocalLLaMA 用户用单张 R9700 本地运行 Qwen3.6-35B-A3B-UD-Q6_K，配合 claude cli 和 220k 上下文测试 AWS AIDLC 2.11 工作流，5 个活跃日累计 46 个会话、输入 20.7M token、输出 3.2M token、缓存读取 1.4B token。按 Opus 5.5 标准 API 费率估算等效成本 $426.80，其中缓存读取按未缓存输入价理论上要 $5,600，作者据此评估本地部署的经济性。
Hugging Face · 新模型：uncensoredAI 评分1818 Ornith-1.5-9B-uncensored GGUF 量化版本发布
Ornith-1.5-9B-uncensored 的静态量化 GGUF 版本已在 Hugging Face 上线，提供从 Q2_K（3.9GB）到 f16（18.0GB）的多档量化文件，其中 Q4_K_S、Q4_K_M 标注为快速且推荐，Q8_0 为最佳质量，并附带 mmproj 多模态补充文件。weighted/imatrix 量化版本另行提供，使用方法可参考 TheBloke 的 README 说明。
Hugging Face · 新模型：uncensoredAI 评分3636 
Qwen-Image-2.1-Uncensored 量化版发布，支持 ComfyUI 本地图像生成
Dariusdup 在 Hugging Face 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，其中 Q4_K_M GGUF 为 4.60 GB 并被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤，可直接生成成人及 NSFW 图像；配套 qwen3vl_8b 文本编码器与 VAE 文件，通过 ComfyUI 与 ComfyUI-GGUF 使用，文本编码器可卸载到系统内存以节省 9–17 GB 显存。
Hugging Face · 新模型：uncensoredAI 评分2323 zviratko/Qwen3.8-Flash-Next-Uncensored-plefp8 发布
zviratko 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-plefp8，基于 ddark-il/Qwen3.8-Flash-Next-Uncensored 的量化权重，并移植了 FP8 PLE n-gram 表。作者称该实验性模型在 intelligence benchmark 上与原量化模型结果基本相同，主观上保持连贯，但更小损失的 PLE 表数据效果未知。模型采用 Qwen Community License 1.0，使用前需查看附带许可证。
Reddit · r/LocalLLaMAAI 评分1818 本地 AI 机器的真实价值几何？RTX 5090 推理能力引热议
Reddit r/LocalLLaMA 用户认为 GPU 价格合理，RTX 5090 是强推理机：可跑 Qwen3.8-27b，低量化下可跑 Qwen3.8-Flash-Next，速度达 200-300 tokens/sec，远超云 AI 约 50 tokens/sec。用户称开发者借此可 24/7 并行运行编码智能体，替代每月超 200 美元的 Claude 订阅。
Hugging Face · 新模型：abliteratedAI 评分4646 IsValorum 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated VAL-APEX-I MiniPlus V3 GGUF 量化版
IsValorum 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 VAL-APEX-I MiniPlus V3 GGUF 量化版，文件 14.16 GB、whole-file BPW 4.15、含 866 个审计张量，原生 256K 上下文。该模型经 Coder390 SFT+RLOO 训练并做 abliterated 去审查，社区 NanoBench v0.4.0 评测中在 Oh My Pi (OMP 18.7)、Hermes Agent (v0.21.5)、DeepSeek Harness (0.2.0-rc.2) 三套测试上分别得分 96.7、95.4、90.4，Agentic 任务均为 100/100。
Hugging Face · 新模型：abliteratedAI 评分4040 IsValorum 发布 Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated VAL-APEX-I NanoPlus V3 GGUF 量化版
IsValorum 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 VAL-APEX-I NanoPlus V3 GGUF 量化版，文件 12.18 GB、whole-file BPW 3.57、含 866 个审计张量，原生 256K 上下文。该模型基于 Coder390 微调（多模型 SFT 加 RLOO），采用 EfficientThink 对齐，并经 Huihui-AI 在第 2 至 52 层完成 abliterated 去审查。
Hugging Face · 新模型：abliterated精选AI 评分6363 Xananthium 发布 REDCELL-26B-A4B 消融试验版 W6A8 量化权重
Xananthium 在 Hugging Face 发布 REDCELL-26B-A4B-OSINT-Cyber-Abliterated-Pilot-W6A8-Vision，对 terrorswift 的 REDCELL（Gemma 4 26B-A4B 微调）做 abliterated 权重编辑并导出 W6A8 量化。16 条保留集拒绝标记从 16/16 降到 4/16，能力探针保持 19/20，工具调用、工具失败后改道和简单图像识别均通过；使用 Heretic 的保幅值正交消融加 rank-3 修正，编辑覆盖 30 个注意力输出投影、30 个稠密 MLP down 投影和 3,840 个专家 down 投影，路由器和视觉模块保持 BF16。
推荐理由：作者给出了消融前后的拒绝率对照、能力探针和 KL 数值，还标注了未测项，读者可自行核对这个 W6A8 版本的实际取舍。
Reddit · r/LocalLLaMAAI 评分2020 Strata Coder 实测讨论：EPYC 7532（8通道 DDR4）与 Ryzen 9950X3D（DDR5）谁更重要
一位用户在 r/LocalLLaMA 询问 CPU 架构与内存带宽对 Strata Coder 本地编码性能的影响，计划用同一块 RTX 3090 对比 EPYC 7532（8通道 DDR4-2666，约171 GB/s）与 Ryzen 9 9950X3D（双通道 DDR5-6000，96 GB/s）两台机器，测试对象为 Qwen3.8-Flash-Next Coder（GSQ-RCO IQ1_M），关注 prompt 处理与生成速度、expert-cache 命中率及 IQ1_M 与完整 Flash-Next IQ3_S 的性能差异。
Hugging Face · 新模型：uncensoredAI 评分4040 Gemma-4-E4B-Uncensored-HauhauCS-Aggressive 上架 Hugging Face
HauhauCS 基于 google/gemma-4-e4b-it 发布的 Aggressive 版去审查模型已在 Hugging Face 提供 GGUF 下载，测试中 0/465 次拒绝。模型为 4B 参数、42 层、131K 上下文、原生多模态（文本、图像、视频、音频），全部量化使用 imatrix 生成；K_P 量化比基础量化文件大 5-15%，质量提升约 1-2 个量化级别，兼容 llama.cpp、LM Studio 等 GGUF 运行时，视觉/音频需搭配 mmproj 文件。
GitHub · 去对齐工具与仓库AI 评分5353 AMD LLM Lab 开源：AMD GPU 上的 LLM 推理内存与性能预估平台
VedantJadhav701 开源了 AMD LLM Lab，一个面向 AMD Instinct MI300X 和 Radeon GPU 的 LLM 推理优化研究平台，含模型推荐器、显存适配计算器、社区基准榜单和本地硬件探测。其显存计算覆盖 BF16 到 INT2 精度并计入 KV cache 与运行时开销，附带 57 条以上 MI300X（192 GB HBM3）实测数据，明确区分 MEASURED 与 ML 回归的 ESTIMATED 值，并提供 rocm_bench.py CLI 供用户提交实测结果。项目采用 FastAPI 后端加 Next.js 前端，MIT 许可，非 AMD 官方产品。
Hugging Face · 新模型：abliterated精选AI 评分5252 
MiniCPM-V 4.7 1B 发布 Heretic 去对齐 GGUF 量化版
maternion 在 Hugging Face 发布基于 openbmb/MiniCPM-V-4.7-1B 的去对齐 GGUF 量化版，用 heretic 的方向消融流程从权重中移除拒绝方向。404 次试验后拒绝率为 21/100，KL 散度 0.0122，作者称数值上接近基座模型、保留推理、工具调用与视觉能力。提供 Q4_K_M 到 F16 共 4 档量化（641 MB 至 1.9 GB）及视觉投影 mmproj-F16.gguf，可在 llama.cpp、Ollama、LM Studio 等 GGUF 兼容运行时运行，Ollama 注册表同步发布。
推荐理由：原文给出了拒绝率 21/100 和 KL 散度 0.0122 的实测数据，可据此判断该去对齐版本的去拒答程度与能力保留情况。