新闻、仓库与研究，按时间排列。
mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored 的 i1-GGUF 量化版本，示例量化为 Q2_K。该模型可通过 llama.cpp 在本地运行，支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理，也可用 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具加载，并可接入 Pi、Hermes、OpenClaw 等 Agent。
RTP-LLM 是阿里巴巴基础模型推理团队开发的 LLM 推理加速引擎，已在淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE 和 Lazada 等业务中广泛使用。2025 年 9 月发布 0.2.0 版本，增强性能并新增功能；2025 年 1 月支持 Prefill/Decode 分离，并在 Yitian ARM CPU 上支持 Qwen 系列模型与 bert 嵌入模型。引擎采用 PagedAttention、FlashAttention、FlashDecoding 等 CUDA kernel，支持 WeightOnly INT8/INT4 量化、自适应 KVCache 量化、Speculative Decoding，以及多机多 GPU 张量并行和单实例多 LoRA 服务。
DavidTimar1 发布开源工具 GPUGate（AGPLv3），在 RunPod 和 Verda 上列出可租 GPU 机器与实时价格，一键租用后用 vLLM（RunPod 上 GGUF 模型用 llama.cpp）启动模型服务，并通过固定本地地址 http://<host>:8719/p/<project>/v1 转发 OpenAI 和 Anthropic API 请求，工具看不到机器和密钥。支持空闲或故障时自动销毁机器、在允许范围内自动迁移到更便宜的机器，并统计 token 与费用。作者声明这是业余项目，无维护承诺，租用会产生真实费用，使用前应先读代码。
lodestones 在 Hugging Face 发布 Kromoss，是对 MOSS-Image-Base 的全参微调（1024 px，704k 训练图，发布 EMA 权重），架构与 MOSS-Image-SFT 相同、可直接替换，主要修复 Base 模型的模糊问题。仓库同时提供 8-steps-dmd-lora.safetensors（8 步、CFG 1、无负分支的 DMD 蒸馏 turbo LoRA）、int8 ConvRot 量化单文件（5.4 GB）、ComfyUI 原生支持与转换脚本，权重采用 Apache 2.0 许可。PartiPrompts（100 提示词，CLIP ViT-L/14）显示 Kromoss + LoRA 得分 27.82，高于 MOSS-Image-Base 的 27.19。
推荐理由：这是官方模型卡，给出了完整采样设置、ComfyUI 与 diffusers 用法以及 PartiPrompts 对比数字，便于直接上手和评估效果。
A0Sh 将 QuixiAI/WizardLM-7B-Uncensored 通过 llama.cpp 的 GGUF-my-repo 转换为 Q2_K 量化 GGUF 格式并发布在 Hugging Face。该模型可用 llama-cli 或 llama-server 直接加载，server 示例使用 -c 2048 上下文长度，并支持通过 LLAMA_CUDA=1 等编译选项在 Nvidia GPU 上运行。
开发者 Indra's Mirror 在 Hugging Face 发布 DeepSeek-V4.1-Flash 的 GSQ 混合量化版（163 GB，152 GiB 专家权重），基于 dealignai 的 abliterated 无拒绝行为检查点，需搭配自研 Xolotl 引擎在 RTX 4090（24 GB）加 90 GB 内存加 NVMe 的单机上运行，512K 上下文。量化采用 ternary/2-bit/3-bit 混合专家格式加 Q8_0 稠密层，总位宽与均匀 2.25-bit 持平，校准代理上输出误差比均匀 Q2_0 低 17%；实测 prefill 约 250 tok/s，DSpark 解码 17-30 tok/s，HumanEval 21/21、工具调用 10/10。
同一新闻，精选展示《DeepSeek-V4.1-Flash GSQ 混合精度量化版发布，单张 RTX 4090 可跑 552B MoE》
一位用户计划以约 €550 购入二手 HP Z640（2x E5-2680 v4、64GB ECC 2400），加装两块 3060 跑 Qwen 3.8 Flash Next（Strata）和 llama.cpp，并兼顾 PyTorch CV 训练、PyBullet RL、LLM LoRA 训练与 MiniMax H3 视频生成。其疑问包括双 3060 能否装入 Z640、双路 CPU 是否影响 llama.cpp 的 MoE offload、M6000 作第三卡是否值得保留，以及 PSU 仅两根 6-pin、HP 限双卡各 150W 时用适配器加功率限制是否可行。
mradermacher 发布 Huihui-Kolibri-1-BF16-abliterated 的 imatrix 与 i1-GGUF 量化版本，提供从 i1-Q2_K（28.7 GB）到 1.0 imatrix 文件等多档量化，并附低质量量化类型对比图。静态量化版本另行提供，模型页可查看完整下载列表。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包，含 S 和 S-small 两种规格，基于 Mirai 的 2-bit trellis 构建，用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次，Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行，S 版解码 82-113 tok/s，支持最高 262144 上下文，需 Linux、CUDA 12.8+ 和约 64 GB 内存。
推荐理由：作者实测了加拒绝向量前后的拒绝数和各档速度内存数据，读者可以据此判断这个去对齐量化包的实际表现。
Hugging Face 上架 mradermacher 的 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic-i1-GGUF 量化模型，基于 Qwen3.5-9B 的去审查（uncensored）合并版本，提供 i1 量化。仓库页面未附模型卡详情，下载量与硬件兼容性信息需登录查看。
mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored 的 GGUF 量化版本，示例量化格式为 Q4_K_S。该模型可通过 llama.cpp 直接运行或启动 OpenAI 兼容本地服务器，并支持在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade、Pi、Hermes Agent、OpenClaw 等工具中使用。
奥地利免费 AI 项目 KIplatz 在 GitHub 开源源代码，包含 Windows 程序与 Linux/Mac 助手（node-agent/）及手机与浏览器应用（app/），采用 GNU AGPL 3.0 许可。程序按设备显存自动选择 Ministral 3 的 14B、8B 或 3B 参数模型，无合适显卡时用 CPU 跑 8B 或 3B，社区服务运行在维也纳的欧盟服务器上。
laffy-999 发布 Open Grammar 插件，在 Obsidian 1.14.4 和 Logseq 0.10.15 内用本地 Ollama 模型提供英语和德语拼写语法建议，不依赖云模型和外部检查服务，仅接受 loopback 地址并拒绝云端模型。默认模型为 qwen3.5:4b，在 63 段合成基准中修复 32/39 处错误且保留全部 24 个对照段落，约需 3 GiB GPU 显存或可回退 CPU 运行；正文还给出十余个候选模型的对比数据和保护链接、代码等笔记语法不被改动的实现细节。
推荐理由：README 附带 12 个候选模型在 63 段合成样本上的实测对比和筛选逻辑，读者可以照着按内存与语言需求选型复现。
面壁智能 MiniCPM-V 团队介绍了支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度（LES）技术。该团队称 LES 首次实现 35B-A3B 规模 MoE 在端侧实时无损运行，iPhone 18 Pro Max 实测解码速度超过 20 token/s。
sysop1122 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored 的 NVFP4 量化版，将 OrcaRouter 的消融 BF16 权重按 Primitive 的 experts-only RTN 方案打包，路由专家为 NVFP4 group 16，51B PLE n-gram 表保持 BF16 以支持 VLLM_PLE_CPU_OFFLOAD。消融沿用 Arditi et al. (2024) 的拒绝方向移除，仅编辑 149 个残差写入张量，未改动视觉塔、MoE 路由和 gate_up_proj；该版本未重跑 AdvBench/HarmBench 评分，仅做了文本、视觉 OCR 和工具调用解析的抽查。
推荐理由：模型卡给出了消融编辑的具体张量清单和 DGX Spark 实测吞吐数据，读者可据此判断去对齐程度与单卡部署成本。
mradermacher 在 Hugging Face 上发布 flux-3-image-klein-prompt-upsampler 的 abliterated GGUF 版本，提供 F16 量化。该模型可通过 llama.cpp 在本地运行，支持 llama serve 启动 OpenAI 兼容服务器或 llama cli 直接推理，也可用 Ollama、Docker Model Runner、Lemonade 等工具加载。
mradermacher 在 Hugging Face 上提供 Huihui-Kolibri-1-BF16-abliterated 的 GGUF 量化版本，示例量化为 Q4_K_S。该模型可通过 llama.cpp 在本地运行，支持启动 OpenAI 兼容服务器或终端直接推理，并可在 Ollama、LM Studio、Jan、Docker Model Runner、Lemonade 等工具中使用。
Hugging Face 上架了基于 Qwen3.6-35B-A3B 的 uncensored-heretic GGUF 量化模型，采用 Q6 量化并保留原生 MTP。该模型目前未部署到任何 Inference Provider，下载量未被统计，README 暂无内容。
mradermacher 在 Hugging Face 上提供 Qwen3.5-9B-Claude-3xMerge-UNCENSORED-heretic 的 GGUF 量化版本，示例量化为 Q4_K_S。该模型可通过 llama.cpp 在本地运行，支持 llama-server 启动 OpenAI 兼容服务器和 llama-cli 直接推理，也可用 Ollama、Docker Model Runner、Lemonade 等工具加载，并可接入 Pi、Hermes、OpenClaw 等智能体工具。
neko-legends 发布 DeepSeek-V4.1-Flash-1017 的 3.5 bpw EXL3 去审查量化包，对 54 个 abliterated 矩阵以 K=6 重新编码，编辑保留率 mean 0.9992，量化误差比 2.9 bpw 包低约 40%。在 4× DGX Spark 上 MMLU-500 chat 达 81.0%、HumanEval-164 pass@1 达 93.29%，但每 rank 需 67.3 GiB 内存，prefill 吞吐比 2.9 bpw 包低 76%，官方建议四卡环境仍用 2.9 bpw 包。
neko-legends 发布 DeepSeek-V4.1-Flash-1017 的无对齐 EXL3 2.9bpw 打包，基于 dealignai 的 abliterated 版本，将 54 个稠密 BF16 矩阵重编码为 EXL3 trellis 以适配 TensorFold Zig TP4 引擎，可在 4× NVIDIA DGX Spark 上运行。评测显示去对齐代价集中在道德判断，moral_scenarios 从 95.5% 降至 40.9%，而 HumanEval chat 成绩 92.68% 反高于官方版；另提供 3.5bpw 兄弟版本，moral_scenarios 略高但解码慢约 10%。
推荐理由：原文给出 MMLU 与 HumanEval 的前后对照，显示去对齐的代价集中在道德判断而非知识或编码能力。
FastVideo 在 Hugging Face 发布 FastH3 Omni 最终版的 ComfyUI 就绪权重，提供 BF16 和 INT8 ConvRot 两种扩散模型，可从提示词与有序图像、视频、音频参考生成视频及同步音频。部署需搭配 qwen3vl_32b 文本编码器和视频、音频 VAE，采样 8 步、guidance 1.0、视频 shift 12.0、音频 shift 3.0，参考输入用 <Picture 1> 等标签；NVFP4 文本编码加速需 Blackwell 硬件。模型由 FastVideo 与 Nuva Lab 合作开发，权重遵循 MiniMax-H3 Community License Agreement。
推荐理由：原文给出完整文件清单、采样参数和不同硬件的部署路径，想本地跑 ComfyUI 视频加音频生成可以直接照做。
GLM-Edge 系列端侧模型发布，包含 GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat 两款对话模型和 GLM-Edge-V-2B、GLM-Edge-V-5B 两款多模态模型，1.5B/2B 面向手机、车机，4B/5B 面向 PC。在高通骁龙 8 Elite 平台上，1.5B 对话与 2B 多模态模型借助 NPU 和混合量化实现每秒 60 tokens 以上解码，配合投机采样峰值超每秒 100 tokens。模型已在 HuggingFace、ModelScope 等平台提供下载，支持 Transformers、vLLM、OpenVINO 推理。
ferrum-infer-rs 发布 Rust LLM 推理引擎，单个二进制内置 OpenAI 兼容服务器，无需 Python 运行时，目标是满足 TTFT、TPOT、ITL 尾延迟 SLO 下最大化输出吞吐。支持 macOS Metal、Windows CUDA sm89、Linux CUDA，支持 Llama、Mistral、Qwen2/Qwen3/Qwen3.5、Gemma 3 等 GGUF 与 SafeTensors 权重。RTX 5090 实测 Qwen3.8-27B GGUF Q4_K_M 32 并发下达 666.24 tok/s，为 llama.cpp 的 152.96%；compressed-tensors INT4 相比 vLLM 0.31 为 80.84%，部分测试格未过延迟 SLO。
推荐理由：作者给出了与 llama.cpp 和 vLLM 在 RTX 5090 上的吞吐对比数据，也坦承部分延迟 SLO 未达标，读者可据此自行评估。
Hugging Face 上架了 mradermacher 制作的 Qwen3.5-4B-MultiDistill-Megamix-8xMerge-UNCENSORED-heretic-i1-GGUF 量化模型。该模型为 GGUF 格式，参数规模 1.8M，页面未提供更多评测数据。
Recursive 发布了面向编码智能体的 MoE 语言模型 Flint，总参数 39.8B、每 token 激活约 2.5B，在 Terminal-Bench 2.1 得 54.9%、SWE-bench Pro v2 得 89.7%、SWE-bench Verified 得 74.2%。模型采用 256 路由专家加共享专家、49 层（2 稠密 + 47 MoE）、262,144 token 上下文，以 Apache 2.0 许可发布，附 BF16 检查点、SGLang 服务套件及面向 NVIDIA 和 Apple Silicon 的量化版本，unsloth 提供 GGUF 格式和运行指南。
推荐理由：官方模型卡给出了架构细节、评测设置和基准分数来源标注，读者可以据此了解这款小激活参数编码智能体模型的实际规格。
mradermacher 在 Hugging Face 上发布 Qwen3.5-4B-MultiDistill-Megamix-8xMerge-UNCENSORED-heretic 的 GGUF 量化版本。该模型基于 Qwen3.5-4B，经多蒸馏合并与去审查处理，仓库页面暂缺 YAML 元数据，硬件兼容性等信息需登录查看。
一位用户在 r/LocalLLaMA 求助预算 $600–900 内升级 AI 服务器，目标是让 Gemma 4 31B Q5_K_M（约 23GB）在 16K 上下文下达到至少 15 t/s。现用 RTX 3060 12GB 混合卸载仅 2.3 t/s，计划加装 RTX 5060 Ti 16GB 组成 28GB VRAM 并把 3060 接到 PCIe 3.0 x1 转接卡，也在考虑双 Tesla P100 16GB 等替代方案。
Hugging Face 上发布 bi0h4z4rd88/Qwen3.8-27B-Uncensored-MLX-6-bit，一个基于 Qwen3.8 的 27B 6-bit MLX 量化无审查模型，支持图像输入。页面给出 mlx-vlm 加载与生成示例，并说明可通过 mlx_lm.server 启动本地 OpenAI 兼容服务器，接入 Pi、Hermes Agent 和 OpenClaw 等工具。
Amir Husain 发布自定义推理引擎 Kindi 0.1.0，可在 NVIDIA Quadro K420（Kepler，1 GB）上以 20-23 tokens/s 运行 2B 参数三值权重模型 Ternary-Bonsai-2-2B，而 llama.cpp 在同卡仅 2.8 tokens/s，约快 7 倍。默认输出与 llama.cpp 逐 token 一致，提供 OpenAI 兼容服务器、fast 短名单输出头（快约 15%，99.4% 与全量头一致）、每 256 token 检查点的精确 prompt 缓存，支持工具调用与 thinking；AGPL-3.0 许可，模型来自 Prism ML（Apache 2.0，基座为 Qwen3.5-2B）。
推荐理由：作者给出与 llama.cpp 逐 token 一致的验证结果和同卡对比数据，读者可以据此评估这个推理引擎在老 GPU 上的实际收益。
Deliverance 是一个 Java 推理引擎，支持文本生成、tokenization、嵌入向量计算和文本分类，可作为嵌入式 API 或 HTTP 服务运行，并支持从 HuggingFace 自动下载模型。它支持 nvidia/Nemotron-Labs-Diffusion-3B 系列，可同时进行自回归和 block-diffusion 风格生成，并提供 KVCache2、实验性 TurboQuant KV 存储等特性。相比 VLLM 的 20GB 镜像和 60GB docker 层，Deliverance 更轻量，适合嵌入式推理场景。
bd4sur 在 GitHub 开源 Transformer 结构的小型语言模型项目 Nano，主要复刻自 Karpathy 的 nanoGPT，提供 Nano-56M、Nano-168M 等模型及 LoRA 插件。其纯 C 语言推理引擎支持 FP32、Q80、Q4K 量化，可离线部署在树莓派、红米 AX5 路由器、ESP32 单片机集群和浏览器 WASM 中，也适配 Qwen2-0.5B 与 Qwen3-0.6B/1.7B/4B。项目同时支持预训练与监督微调，实测单卡 A100 训练 58M 模型 MFU 约 25%。
DavidAU 与 Nightmedia 发布基于 Qwen3.5-9B 的多阶段微调合并去对齐模型 Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic，提供 16bit 源权重及 NEO IMATRIX 常规与 MTP GGUF 量化。作者称该模型在 7 项基准上超过 Qwen3.5-9B 与 Qwen3.5-27B，ARC-C 达 0.649（bf16）；去对齐方面 KL 散度 0.0793，100 次请求中拒绝 6 次（原模型 100 次），支持 256k 上下文与视觉（需另下 mmproj 文件），MTP 量化在 5090 上 Q4_K_S 可超 185 t/s。
推荐理由：作者给出 KL 散度和 100 次请求中 6 次拒绝的实测数据，可对照原模型判断去对齐程度。
mecha-factory 发布 Qwen3.6-35B-A3B-Uncensored（HauhauCS Aggressive）Q4_K_M GGUF 文件，将 unsloth 转换的 MTP 头嫁接到 HauhauCS 的去审查模型上，供 llama.cpp 以 --spec-type draft-mtp 进行投机解码。未做任何重训练或重量化，block_count 从 40 变为 41；Apple Metal 上接受率实测 0.79–0.86，CUDA 上约 0.6。文件按 Apache License 2.0 开源。
NeosQ 基于 OrcaRouter 去审查的 Qwen3.8-Flash-Next（125B-A6B MoE）BF16 权重，用 MTPLX Forge 按 flash-next-optimized-speed 配方制作 4-bit 量化版，总大小 115.3 GB，保留原生 MTP 投机解码头。在 M5 Max 128 GB 上 MTP 投机解码达 85.7 tok/s，为普通解码的 2.07 倍；需 Apple Silicon、macOS 14+ 及 96–128 GB 统一内存，支持 OpenAI/Anthropic 兼容 API，采用 Apache 2.0 许可证。
一位用户在 5090+4090（152GB 总内存）工作站和 128GB 内存的 Strix Halo 上测试 Qwen3.8-Flash-Next 的不同量化版本，发现 ISTA-DASLab 的 GSQ-RCO-GGUF（Q3_S）效果最好，unsloth 较大量化则出现大量 tool calling 问题。Strata 上没有这些问题，且其针对 QFN 调整了 LlamaCpp，但存在一类无法绕过的坏输出错误；Gufo 仅适用于 Strix Halo。作者询问 CUDA 平台还有哪些可选方案。
HaseebKhalid1507 发布 Axon，一个用 Rust 从零编写的 LLM 推理引擎，支持 Qwen2、Qwen3、Llama 3、Gemma 3 的 GGUF 模型在 CPU 和 NVIDIA GPU 上运行，另支持 Qwen3-30B-A3B 架构的 MoE 和 gpt-oss-20b（注意力在 GPU、专家在 CPU）。项目约 76k 行 Rust 和 7k 行 CUDA，不依赖 ggml、BLAS 或构建期 CUDA toolkit，GPU 内核经 NVRTC 运行时编译；每条优化路径与参考路径逐位一致，并用 gguf-py、Hugging Face tokenizer 和 Ollama 三个独立基准校验。
推荐理由：作者用 Rust 从零实现推理引擎，并给出与 llama.cpp 和 ollama 在多款 GPU 上的逐项对比数据，可据此评估其性能主张。
GitHub 项目 obaida7/aws-vllm-serving 提供了一套基于 AWS 的生产级 LLM 服务方案，在 EC2 g4dn.xlarge（NVIDIA T4 GPU）上用 vLLM 自托管推理，支持 Qwen2.5 / Llama，并可回退到 Amazon Bedrock（Llama 3.1 / Claude Haiku）。平台通过 LiteLLM 网关、Redis 限流、PostgreSQL 状态存储及 Prometheus + Grafana 监控组成 Docker Compose 技术栈，用 GitHub Actions CI/CD 和 Terraform 实现 GitOps 自动化部署。
Hugging Face 上发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 的性能测试数据，对比 Native MXFP4、NVFP4 target、EXL3 2.875 与 EXL3 3.5 四种配置在 1-32 并发下的 chat 吞吐与延迟。Native MXFP4 在 32 并发时达 831.66 tokens/second，为各配置中最高；EXL3 3.5 在 32 并发时为 480.84 tokens/second。
Gravelrat 在 Hugging Face 上发布 L3.1-Dark-Reasoning-LewdPlay-evo-Hermes-R1-Uncensored-8B-IQ4_NL-GGUF，为 8B 参数、IQ4_NL 量化的 GGUF 无审查模型。页面给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner、Lemonade 等多种运行方式，其中 llama.cpp、Ollama、Docker 等可直接以 IQ4_NL 量化版本拉取运行，vLLM 与 SGLang 均支持 OpenAI 兼容 API 调用。