Swift 1.5 Qwen Flash Next IQ3XXS（GSQ RCO）Abliterated 版能否只下载变化的权重？
一位 r/LocalLLaMA 用户在运行 Swift 1.5 Qwen Flash Next 的 GSQ RCO IQ3XXS 量化版本，但因模型偶尔拒答，想再准备一个 Abliterated 版本，仅在少数场景下使用。由于存储空间只剩不到 1TB，他询问能否只下载两个版本之间变化的权重并合并，避免完整双份下载。
#量化
新闻、仓库与研究，按时间排列。
Reddit · r/LocalLLaMAAI 评分1616 Hugging Face · 新模型：abliterated精选AI 评分5858 Nanbeige4.3-33B 网络安全去对齐 GGUF 版发布，拒绝率从 80% 降到 8%
FRENCHFAKER 发布首个 abliterated 版 Nanbeige4.3-33B GGUF，用 refusal-direction ablation 移除原始模型对进攻性安全请求的拒绝行为。50 条有害提示词基准上拒绝率从 80%（40/50）降至 8%（4/50），安全/渗透测试类提示词拒绝率约 0%，推理与工具调用保持完整；IQ4_XS 量化约 17 GB，可在单张 24 GB GPU 上以约 33 tok/s 运行，基于 Apache-2.0 许可。
推荐理由：原文给出拒绝率前后对照和逐层消融方法，读者可据此评估这个去对齐版本的可靠程度。
Hugging Face · 新模型：uncensored精选AI 评分5656 Qwen3.8-Flash-Next-Uncensored 2-bit MLX 量化版发布，附 DFlash2 加速与 M1 Max 实测
3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版，目标模型采用 affine 2-bit/group-128 重建，搭配 Inco AI 的 BF16 DFlash2 草稿模型，完整下载 74.048 GB。在 M1 Max 64 GiB 实测中，代码与数学 warm 解码达 37.62 和 33.69 tokens/s，约为基线的 1.70× 和 1.56×，文本仅 1.048×；固定 50 题 GSM8K 子集全部答对且与原生参考一致，进程峰值内存 42.12 GiB。
推荐理由：作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值，并给出 32/48/64 GiB 的可行性判断，便于评估本地部署。
Hugging Face · 新模型：uncensoredAI 评分4848 Qwen3.8-Flash-Next-Uncensored MLX 2/8-bit 优化转换包发布
Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包，基于 360 GB BF16 源检查点，专家投影采用 affine 2-bit/group128，其余投影为 8-bit/group64，文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试（15/18 通过）及文本生成约 23.5 tokens/s 的计时结果；模型采用原生 qwen4_exp 多模态实现，可配合 run_qwen38_unsloth.py 以 16384 上下文运行。
Reddit · r/LocalLLaMA精选AI 评分7373 RTX 3080 20GB 解锁 reBAR 与 P2P，实测 prompt 处理速度提升 70% 以上
/u/nathannguyennng 解锁了 RTX 3080 20GB 的 reBAR 与 P2P，/u/No-Refrigerator-1672 在双卡张量并行下用 vllm 0.32.0 实测验证。8k 到 261900 token 长度的 prompt 预填充速度较原厂提升 71%-115%，其中 P2P 相对仅 gpu_unlock 另有最多约 70% 提升；开启 MTP 后 decode 速度基本在噪声范围内无明显变化。作者提示 3080 用户在长 prompt 场景（含 agentic coding）可关注该解锁，且需双卡均有完整 PCIe 连接才能获得同等收益。
推荐理由：作者实测了 reBAR 与 P2P 解锁在双 RTX 308 20GB 张量并行下的 TTFT 与 ITL 数据，可看清该解锁对长上下文预填充的实际收益边界。
Hugging Face · 新模型：uncensoredAI 评分2222 mradermacher 发布 Minecraftism-4B-Uncensored i1 量化版 GGUF 模型
mradermacher 在 Hugging Face 上发布了 Minecraftism-4B-Uncensored 的 i1 量化 GGUF 版本，模型可在仓库页面直接下载使用。该模型参数规模为 1.92M，仓库卡片暂缺 yaml metadata，硬件兼容性需登录后查看。
GitHub · 去对齐工具与仓库精选AI 评分6464 Goethe 开源：把 Linux + NVIDIA GPU 机器变成 OpenAI/Anthropic 兼容的自托管 LLM API
meshapplied 发布开源工具 Goethe，可将带 NVIDIA GPU 的 Linux 机器变成自托管 API，兼容 OpenAI、Anthropic 和 LiteLLM 客户端，数据留在自有硬件上。模型基于 SGLang 运行，支持 continuous batching、prefix caching 和 CUDA graphs，并内置面向 Blackwell、Hopper、Ada 和 Ampere 的 NVFP4 内核，4-bit 模型显存占用约为全精度四分之一；支持按客户端发 key、限速与撤销，模型重启后自动恢复加载，仓库采用 Apache-2.0 许可，链接 https://github.com/meshapplied/goethe。
推荐理由：原文给出了从安装到共享 API 的完整命令流程，并说明基于 SGLang 加自研 NVFP4 内核的推理方案，便于自建 GPU 推理服务时参考。
GitHub · 灵魂体仓库精选AI 评分6060 
understudy-lm 发布仅用目标模型文本训练的推测解码草稿模型，针对 Qwen3.5-4B 投影加速 1.43x
understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型，无需 logits、隐藏状态或更小的同族模型，草稿一次猜测 4 个 token，由目标模型一步验证，输出不变。发布的草稿针对 Qwen3.5-4B 训练，实测每步接受 1.58 个 token，投影加速 1.43x；在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢（27 到 36 tok/s 对 69 tok/s），需支持 lookahead heads 的运行时才能兑现。
推荐理由：只靠目标模型的文本训练推测解码草稿模型，不用 logits 和隐藏状态，并给出接受的实测与局限说明。
Hugging Face · 新模型：uncensoredAI 评分2424 HAYAT-35B-A3B-Uncensored GGUF 发布：基于 Qwen3.6-35B-A3B 的本地无审查模型
HAYAT 35B-A3B Uncensored (GGUF) 上架 Hugging Face，是 Windows 本地优先 AI 助手 HAYAT 的主模型，权重与 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 完全一致，基于 Qwen3.6-35B-A3B，HAYAT 仅添加含系统指令与采样设置的 Modelfile。
Hugging Face · 新模型：uncensoredAI 评分3838 
Qwen-Image-2.1 Uncensored 量化版本发布，支持 ComfyUI 本地图像生成
Sagarkun 发布 Qwen-Image-2.1 Uncensored 的多格式量化版本，基于 Qwen/Qwen-Image-2.1 原始权重，提供 GGUF、Safetensors 和 MLX 格式，其中 Q4_K_M GGUF 仅 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤，可直接生成成人及敏感图像；文本编码器可卸载至系统内存以节省 9–17 GB VRAM，需搭配 ComfyUI 与 ComfyUI-GGUF 使用，采用 Qwen Research License。
Hugging Face · 新模型：abliteratedAI 评分2424 Qwen3.8-Flash-Next-Abliterated Sushi 3bpw 实验性量化版本发布
sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包，路由专家采用 EXL3 K3 编码，未额外做 abliteration 或微调。完整下载约 79.22 GiB，在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s，慢于 2bpw 版本；校准误差相对 2bpw（相对 Frobenius 误差 0.029 对 0.064）更低，支持 262144 上下文配置上限。
Hugging Face · 新模型：abliteratedAI 评分2424 prithivMLmods/Qwen3.8-27B-abliterated-NVFP4-GGUF 上架 Hugging Face
Qwen3.8-27B-abliterated 的 NVFP4 GGUF 量化版本（27B 参数）已在 Hugging Face 上架，支持 image-text-to-text 多模态输入。文档给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种本地部署与 OpenAI 兼容 API 调用方式。
Hugging Face · 新模型：uncensoredAI 评分3535 
Spark-X2.6-4B-Uncensored GSQ-RCO GGUF 量化版发布
abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版，面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16，GSQ 依 Hessian 灵敏度校准优化每层精度，推荐 IQ3_M（2.28 GB）。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存，支持 llama.cpp 与 Ollama，采用 Apache-2.0 许可。
GitHub · 灵魂体仓库AI 评分4141 hurui200320/llm-ops：本地 LLM 部署管理仓库
hurui200320 在 GitHub 公开的 llm-ops 仓库用于管理 NAS 上的本地 LLM 部署，模型按模型族与变体目录存放 GGUF 文件和 sha256 校验文件。维护脚本以公共容器镜像 ghcr.io/hurui200320/llm-ops-toolbox:latest 发布，内置 check_updates、verify_checksums 和 download_hf 命令。另有 fetch-templates.sh 脚本可单独同步聊天模板，避免为更新模板重新下载 30GB 模型；访问 gated 仓库需设置 HF_TOKEN。
Reddit · r/LocalLLaMAAI 评分1616 KV cache 量化到底有多大影响？LocalLLaMA 用户讨论 Qwen 模型长上下文下的取舍
一位 LocalLLaMA 用户在 r/LocalLLaMA 询问 KV cache 量化的实际影响：其通过 strata 运行 qwen flash next 3.8 iq3xxs，KV cache 用 q8、262k 上下文，想扩到 300-400k 但显存不够，担心 q4 cache 质量下降。评论区多推荐 8k4v 方案，发帖人表示将尝试，否则维持 q8。
Hugging Face · 新模型：abliteratedAI 评分4141 Huihui-DeepSeek-V4.1-Flash-1017-abliterated GGUF 版本发布
huihui-ai 基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 发布 abliterated 去审查版本，完全用 llama.cpp 的 GGUF 完成 abliteration，未依赖 Transformers。仅 abliterate 第 11 至 28 层（0 起始索引）的 18 个 attn_output_b 张量，专家系统未改动；UD 系列来自 unsloth 的 GGUF。模型安全过滤大幅降低，建议用于研究或受控环境，支持 262144 上下文长度。
Reddit · r/LocalLLaMAAI 评分1818 
量化模型文件请尽快备份
Reddit r/LocalLLaMA 用户提醒量化模型制作者和用户尽快备份自己的量化模型文件，并建议有条件的人制作 torrent 分享备份。帖子未说明具体风险原因，也未提及具体模型或版本。
Hugging Face · 新模型：uncensoredAI 评分1818 mradermacher 发布 Minecraftism-4B-Thinking-Uncensored GGUF 量化版本
mradermacher 在 Hugging Face 上发布 Minecraftism-4B-Thinking-Uncensored 的 GGUF static quants 量化模型。该模型未被任何 Inference Provider 部署，下载量暂未被追踪。
GitHub · 灵魂体仓库精选AI 评分6161 janis：面向 MLX 的本地推理 Go 模块发布
guregodevo 发布 janis，一个用 Go 编写的开源权重模型本地推理模块，定位为 MLX 版 Ollama：Apple Silicon 上跑 MLX 后端，其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点（http://127.0.0.1:8090/v1），支持流式 chat completions、tool calls、运行时切换已加载模型，权重从 huggingface.co/mlx-community 拉取，支持 Qwen3、Qwen3.5、Gemma 系列，另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。
推荐理由：作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起，说明了本地部署的工程取舍与用法。
Reddit · r/LocalLLaMA精选AI 评分6262 24GB M5 MacBook Air 上跑 Qwen3.8-Flash-Next Q2 量化，解码达 49 t/s
/u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。
推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。
Hugging Face · 新模型：uncensoredAI 评分3737 
Qwen-Image-2.1 Uncensored 量化版发布，提供 GGUF/Safetensors/MLX 多格式本地部署
l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成，Q4_K_M（4.60 GB）为推荐的 GGUF 量化方案。该版本不含内置安全检查器，可直接生成成人、NSFW 及敏感图像，支持 ComfyUI 与 ComfyUI-GGUF，文本编码器卸载到系统内存可节省 9–17 GB 显存。
Hugging Face · 新模型：uncensoredAI 评分1616 mradermacher 发布 Minecraftism-4B-Uncensored 的 GGUF 量化版本
Hugging Face 用户 mradermacher 上传了 Minecraftism-4B-Uncensored 模型的 GGUF static quants 量化版本。该模型暂无下载量统计，也未被任何 Inference Provider 部署，用户可申请提供推理支持。
Reddit · r/LocalLLaMAAI 评分5151 
llama.cpp PR #29948 融合 FFN gate/up matmuls 与 GLU，DGX Spark 推理提速最高约 10.7%
anujj 向 ggml-org/llama.cpp 提交 PR #29948，在 MMQ 中以交错 gate/up 行的方式融合 FFN gate/up matmuls 与 GLU。
Reddit · r/LocalLLaMAAI 评分2323 关于本地部署运行 DeepSeek 4.1 Flash 的最低预算讨论
一位用户通过 API 测试了 DeepSeek 4.1 Flash，询问本地部署并达到与托管方案相同质量、约 40 tok/s 速度和完整上下文所需的最低预算。用途为代码、逆向工程与安全分析，且希望硬件独立于整机，同硬件下也可尝试 mimo 2.6 或 glm 5.3。
GitHub · 去对齐工具与仓库精选AI 评分5757 
Swedish Embedded 开源 brain：单个 Rust 程序完成模型推理、训练与量化部署
Swedish Embedded AB 开源 brain，用单个 Rust 程序在现有硬件上下载、运行、微调、量化模型，并通过 OpenAI 兼容 API 提供服务，无需 Python、PyTorch 或独立推理运行时。支持 Qwen3、GLM、YOLOv8、FLUX.2 Klein、Qwen3-TTS 等文本、视觉、语音和世界模型，内置 wgpu、vulkan、cuda、cpu 四个后端，可跑在 NVIDIA/AMD/Intel GPU、CPU、Intel NPU 和浏览器中；每个导入模型与参考实现逐步对比测试，训练用有限差分数值校验，后端间做一致性检查，许可证为 Apache-2.0。
推荐理由：一个 Rust 程序覆盖下载、推理、微调、量化和 OpenAI 兼容服务，不依赖 Python 或 PyTorch，并给出后端一致性等自检测试。
GitHub · 去对齐工具与仓库AI 评分4040 max-bitons/LLM-Test：在 NVIDIA GB10 / Blackwell 上用 vLLM 部署 LLM 推理、图像生成与安全压测的开源项目
GitHub 项目 gb100test 在 NVIDIA GB10 / Blackwell GPU 上整合三类服务：通过 vLLM OpenAI 兼容 API 运行 Gemma 4 26B NVFP4、Llama 3.1（默认 8B Instruct NVFP4，上下文 64K）和 Qwen3.5-9B；用 Diffusers 提供支持 SDXL 与 FLUX.2-dev GGUF 的图像生成服务。项目还包含深度 QA 压测、图像生成性能测试及覆盖 10+ 类别的 100 个违禁主题安全边界测试脚本。
GitHub · 灵魂体仓库AI 评分5454 Ternair 发布，一条 pip install 运行 BitNet b1.58 模型并提供 OpenAI 兼容 API
Ternair 是一个纯 Python/PyTorch 的三值权重推理实现，pip install 即可加载 microsoft/bitnet-b1.58-2B-4T 并启动 OpenAI 兼容 HTTP 服务，无需 C++ 构建。2B-4T 模型文件从约 5 GB 压缩到 1.1 GB（packed 存储 1.6 bits/value），CI 验证与 HuggingFace 参考实现输出一致性 Pearson 0.9958、top-1 一致率 85.7%；缺点是 CPU 推理速度约为 FP16 基线的 0.09×，WikiText-2 上 PPL 反而低于 FP16 基线（13.30 vs 23.37）。
GitHub · 灵魂体仓库精选AI 评分5555 Decidra：面向 vllm-sr/d3-turbo 的专用 CUDA 推理引擎
juanqui 发布 Decidra，一个专为 26.1B 混合决策模型 vllm-sr/d3-turbo 打造的 CUDA 推理引擎，HTTP 服务与 CUDA 引擎在单个 Rust 进程内，运行路径无 Python、PyTorch 或 vLLM。状态编码一次后所有问题从缓存分叉，64 问基准比 vLLM-SR 快 2.4–5.2 倍，c8 下最高 5.2 倍吞吐；支持 RTX 4090、H100/H200、RTX PRO 6000，W4A8 视觉包需 24 GB 显存，MIT OR Apache-2.0 双许可，代码在 https://github.com/juanqui/decidra。
推荐理由：原文给出了与 vLLM-SR 同硬件同检查点的完整对比矩阵和校验方法，读者可以按自己的 GPU 档位查找对应延迟与吞吐数据。
GitHub · 灵魂体仓库精选AI 评分6666 phase 开源工具实测本地大模型每 token 能耗，拆分 prefill 与 decode
GitHub 项目 phase 发布，可在本机直接测量本地 LLM 推理的每 token 能耗，分别报告 SoC 芯片功耗与 sys 整板 DC 输入，并扣除空闲基线，三平台后端均无需 sudo。首组数据在 Apple M5 Pro 24 GB 上测得：decode 每 token 能耗是 prefill 的 20 到 35 倍，仅计芯片封装会低估真实成本 2 倍以上。项目附 18 篇研究笔记，涵盖量化格式能耗、投机解码、批处理与长上下文等发现，Apache-2.0 许可，原始 JSON 在 results/ 目录。
推荐理由：工具把 prefill 与 decode 能耗分开实测，并给出芯片级与整板级两组数据，解释了为什么各家边缘模型能耗数字对不上。
Reddit · r/LocalLLaMAAI 评分1010 在 M4 Pro 48GB 上运行 Qwen3.8 27B 的最佳方案是什么？
一位用户在 r/LocalLLaMA 求助如何在 M4 Pro 48GB Mac 上以最佳方式本地运行 Qwen3.8 27B，希望在 tokens/s、首 token 延迟、上下文长度与留出其他任务资源之间取得平衡，并要求速度不低于 10 tps。帖子提到社区对 MTP、MLX 和量化方案看法不一。
Hugging Face · 新模型：abliteratedAI 评分1717 iamherebefore 发布 Qwen2.5-Coder-3B-Instruct-Abliterated-GGUF 模型
Hugging Face 上架了 iamherebefore 的 Qwen2.5-Coder-3B-Instruct-Abliterated-GGUF 模型，基于 huihui-ai 的 Qwen2.5-Coder-3B-Instruct abliterated 版本微调而来。该模型 README 为空，下载量暂未被追踪。
Reddit · r/LocalLLaMA精选AI 评分6565 
Lean-QwenFlash：Qwen3.8-Flash-Next（125B）在 16GB 显存加 8GB 内存下跑出约 20 tok/s
/u/MaxDev0 将 sybil-solutions 的 GLM-5.3 低内存卸载方案移植到更轻量的 Qwen3.8-Flash-Next（125B），通过 NVMe SSD 直接卸载，在 16GB 显存加 8GB 系统内存的 RTX 4090 上实现约 20 tok/s 解码。8k 短上下文为 28–33 tok/s（散文）、19–22 tok/s（代码），prefill 约 1,080 tok/s；262k 满窗口下 20.0 tok/s 解码、约 1,627 tok/s prefill；RTX 3080 Laptop（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s，峰值显存 15.5GB。现有方案（如 Strata）需把 24k 专家全部驻留约 48–64GB 内存。
推荐理由：作者把 GLM 的高效 NVMe 卸载方案移植到 Qwen3.8-Flash-Next，给出多档显存和上下文下的实测速度数据，可复现。
Reddit · r/LocalLLaMA精选AI 评分6363 
零基础用户用 Claude Code 搭建 Strix Halo 本地 LLM 工作站，Qwen3.8-Flash-Next 180B 跑到 46-53 tok/s
一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师，七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB 统一内存，2 TB NVMe）的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s，Qwen3.6-35B-A3B 达 76.5 tok/s，推理栈完全离线运行，夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。
推荐理由：零基础作者用 Claude Code 当系统管理员从零搭起本地推理机，给出完整硬件选型、内核坑和逐项优化前后数据，可迁移到类似自建场景。
Hugging Face · 新模型：abliteratedAI 评分2121 mradermacher 发布 Ornith1.0-9B-3MPER0RR-abliterated-i1-GGUF 量化模型
mradermacher 在 Hugging Face 上提供 Ornith1.0-9B-3MPER0RR-abliterated 模型的 GGUF 量化版本（如 Q2_K）。该模型可通过 llama.cpp 在本地运行 OpenAI 兼容服务器或终端推理，并支持在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等多种工具中使用。
Hugging Face · 新模型：uncensoredAI 评分4949 Qwen3.8-27B-Uncensored 发布 MLX 5.0 bpw 混合精度量化版
Hugging Face 上发布 orcarouter/Qwen3.8-27B-Uncensored 的 MLX 5.0 bpw 仿射量化版，体积 17.38 GB，比 bf16 小 3.2 倍，针对 M5 的 NAX 张量单元调优。模型保留 256 K 上下文、MTP 头与视觉塔，48 个注意力模块经 GPTQ 量化后中位数输出误差降低 32%。以 Apache-2.0 许可开源，需通过 oMLX 运行。
Hugging Face · 新模型：abliteratedAI 评分2525 mradermacher 发布 Ornith1.0-9B-3MPER0RR-abliterated GGUF 量化模型
Hugging Face 用户提供 mradermacher/Ornith1.0-9B-3MPER0RR-abliterated-GGUF 模型（Q4_K_S 量化版），可在 llama.cpp、Ollama、Docker Model Runner 等多种本地工具中运行。文档给出 macOS、Linux、Windows 各平台的安装与启动命令，支持通过 llama serve 启动 OpenAI 兼容本地服务器或直接在终端推理，还覆盖 LM Studio、Pi、Hermes Agent、OpenClaw 等客户端配置方法。
GitHub · 3D 生成新仓库AI 评分4040 emoji-studio：面向新 emoji 概念的开源模型后训练项目
GitHub 开源项目 emoji-studio 探索用后训练生成新 emoji 概念，已完成 SDXL LoRA 试点训练和 72 组盲评，确定选用 step 25 checkpoint。单张 40 GB A100 负载测试中 18 个生成任务全部成功，吞吐 6.73 images/minute，p95 延迟 35.93 秒，总支出约 $1.49。两个模型都能渲染连贯物体但难以生成双手交互，机械物体如自行车仍是已知弱点，项目尚未训练交互 adapter。
Hugging Face · 新模型：abliteratedAI 评分3737 Huihui-Qwen3.8-27B-abliterated-GGUF 发布：Qwen3.8-27B 去审查版本
huihui-ai 发布基于 Qwen/Qwen3.8-27B 的 abliterated 去审查 GGUF 版本，通过 abliteration 技术移除模型拒绝回答的行为，仅消融部分层（如第 22 至 52 层，0 起始索引），MTP 与视觉部分未改动。提供 Q2_K_L 至 Q8_0_L 等多种量化，其中需消融的权重已转为 Q8_0 或 BF16 以提升回复质量，支持 262144 上下文长度，可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行。模型安全过滤大幅降低，建议用于研究测试而非生产环境。
GitHub · 去对齐工具与仓库精选AI 评分6363 zazuss 开源 Jetson Orin 上 LLM 推理实测调优指南 jetson-orin-tuning
GitHub 仓库 zazuss/jetson-orin-tuning 公布了在 Jetson Orin（Nano 8GB、Super、NX、AGX）上做 LLM 推理的实测调优结论，所有数字来自 7.3 GiB Orin Nano 的真实测量。
推荐理由：全部数据来自作者在 7.3 GiB Orin Nano 上的实测，给出了瓶颈诊断表和量化格式、词表、KV 缓存的具体调优结论。
GitHub · 去对齐工具与仓库精选AI 评分6767 zazuss 开源 Jetson Orin 上源码编译 MLC-LLM 并跑通 Qwen3-1.7B 的完整复现记录
作者发布 GitHub 仓库 zazuss/mlc-llm-on-jetson，记录在 Jetson Orin Nano 8GB（L4T R39.2.1 / JetPack 7）上从源码编译 MLC-LLM 并运行 Qwen3-1.7B q4f16_1 的完整流程。因该平台无预编译 aarch64 CUDA wheel，四条分发路线均不可用，只能源码编译。实测空 prompt 下单流 decode 53.7 tok/s，比 llama.cpp 同模型快 32%；但 8K 上下文时 decode 掉到 14.96 tok/s，32K 直接 OOM，归因于 MLC 缺少 KV cache 量化（每 token 固定 112 KB）及 TVM 通用 GEMM 模板的低效 attention kernel。
推荐理由：作者给出从源码编译到跑分的完整记录，并用 tegrastats 数据把长上下文掉速归因到反量化 ALU 瓶颈。