新闻、仓库与研究，按时间排列。
sjoe1244 发布了 llmfan46 的 gemma-4-31B-it-uncensored-heretic 的 ExLlamaV3 4.00bpw-h4-vb4 量化版，权重、head、视觉塔和 KV cache 均为 4-bit，在单张 RTX 4090 上实现约 194K token 上下文池（视觉开启），写入速度 45 tok/s（32K prompt 时 41.9 tok/s）。量化 KL mean 0.0262 与 4.00bpw-h6 相同，困惑度 16.687（BF16 源为 16.586）；仅支持 TabbyAPI 或 ExLlamaV3，Apache 2.0 许可，去对齐工作出自 llmfan46。
推荐理由：原文给出了完整的 KL、困惑度、VRAM 和速度实测数据，读者可以据此判断这个 4-bit 量化在一卡上换取超长上下文的代价。
collabosm 是一个免费开源工具，可在用户自己的 Google Colab 账号里租用 A100 GPU 运行 Qwen3.8-27B 或 Qwen3.8-Flash-Next，通过本地页面聊天，按 GPU 运行时间付费，工具本身不收费。A100-80G 跑 Qwen3.8-Flash-Next 每小时约 6.77 compute units（约 $0.68），读写速度约 3,900/97 tokens 每秒；A100-40G 跑 Qwen3.8-27B 每小时约 $0.54，速度约 2,500/50-63 tokens 每秒，支持约 400,000 tokens 上下文和图片输入。
GitHub 开源项目 local-llm-stack 提供一套本地 LLM 运行与测试栈，将 Hermes AI 智能体、LiteLLM 网关（:4000）、llama-swap 模型管理器（:8080）和 llama.cpp 推理引擎串成完整链路，不用 Docker 和云端 API。栈支持 qwen3.5-4b、ministral-3b、ministral-8b、deepseek-r1-7b、qwen3-8b 等模型，测试配置为 Qwen3-8B Q4_K_M 64K context，可通过 chat template 显式控制 thinking/non-thinking 推理模式。
一名有 7 年经验的 Intel ISP/IPU 系统软件工程师制定 30 天 × 8 小时的 LLM 推理工程师转型计划，目标是字节 AML、Moonshot、DeepSeek、MiniMax 等公司，产出 3 个 portfolio 项目、4 篇博客和 1 个 vLLM PR。计划基于 vLLM v0.21.0、DeepSeek V4、Qwen3.8-27B-FP8 与 RTX PRO 6000 Blackwell 96GB（sm_120）单卡环境，分四周覆盖 CUDA 基础、vLLM 源码、Triton kernel、NVFP4 量化与 Mini-vLLM 项目开发。
该仓库发布了一套在 16GB Apple Silicon iMac/Mac mini 上完全本地运行 Hermes Agent 的方案，用 Qwen3 8B Q4_K_M 配 64K 上下文与 8-bit KV cache，无需 API 密钥、无云端。Hermes 硬性要求至少 64000 token 上下文，默认 f16 下 64K 注意力内存达 9.00 GiB 不可用，改用 q8_0 后降至 4.78 GiB，llama-server 总占用约 10.47 GiB，剩余约 5.53 GiB。
推荐理由：给出了16GB统一内存跑64K上下文的实测内存账本和完整部署脚本，方法可直接复用到类似的本地Agent配置。
mradermacher 发布 Pyrz-8B-Instruct-Uncensored 的静态 GGUF 量化版本，提供从 Q2_K（3.1GB）到 f16（15.3GB）等多种规格，其中 Q4_K_M（4.8GB）速度快且被推荐使用。weighted/imatrix 量化版本另行提供，使用方法可参考 TheBloke 的 README。
mradermacher 在 Hugging Face 发布 Pyrz-8B-Instruct-Uncensored-i1-GGUF 量化模型，默认提供 Q4_K_S 版本。该模型可通过 llama.cpp 在本地运行，支持启动 OpenAI 兼容服务器或终端推理，也可配合 Ollama、Docker Model Runner、LM Studio 等工具使用，并给出了在 Pi、Hermes、OpenClaw 等工具中的配置方法。
dealignai 以 CRACK 权重级去审查方式发布 GLM-5.3-Flash UNCENSORED FP8（320B 总参数、18B 激活、1M 上下文），在 reasoning-off 和 max 档 HarmBench-320 上 320/320 全部顺从、0 拒绝，MMLU 87.33% 高于 base 的 86.74%。模型支持视觉与 MTP 投机解码（75.9% 接受率），H200 原生 FP8 解码 163 tok/s。文中还给出部署要点，如 reasoning_effort 只接受 low/high、max 档需 max_tokens ≥ 6000、视频 fps 需低于原帧率等；2026-08-28 修复重复循环问题后需重新下载。
同一新闻，精选展示《GLM-5.3-Flash UNCENSORED FP8 发布，权重级去对齐且 MMLU 反超基座》
webAI 于 9 月 30 日发布 TwIL LM3 Pro，这是一个基于 IBM Granite 4.2 3B 的 3.66B 模型，专门针对形式逻辑任务微调，其逻辑综合分达 55.4，优于 Granite 基座的 43.1，并以不到一半的参数量追平 Qwen3-8B 的 53.4。训练采用 LoRA SFT、checkpoint merging 和针对程序化验证器的 RL。Q4_K_M GGUF 仅 2.09 GiB，可在 CPU 或 4 GB VRAM 上运行，支持 Ollama、LM Studio 和 llama.cpp，但许可证为非商业用途。
C_manager 是一个 Windows 桌面工具，基于 Tauri 2 与 Rust 内嵌 llama.cpp，可扫描 C 盘大文件、用 GGUF 模型或 OpenRouter/OpenAI 兼容接口解释文件用途，并按红黄绿给出保守清理建议。作者用它研究了 Qwen3.5 小模型的量化、微调与 RAG：0.8B 四组实验固定关键词检查为 8/24、5/24、13/24、21/24，Qwen3.5-4B Q4_K_M 的 RAG 组复核为 14/24，仍未达可靠性目标。深度参数修复后 3 层扫描耗时 3.56 秒，但并非“完整扫描提速 28 倍”。
一位用户在 8x NVIDIA T4 的 Asus ESC4000 G3（128GB DDR4 RAM）上寻求比 llama.cpp 更快的 Qwen3.5-9B 部署方案，目标是服务约 10-15 个并发用户。目前 8 个实例运行 Qwen3.5-9B-Q5_K_XL，共 44 个 slot，每 slot 持续生成 25-40 tps，prefill 约 1400 tps。T4 不支持最新 fp8 emulation，用户希望用 vLLM 运行 Qwen3.5-9B-AWQ-INT8 但不愿额外花钱。
Lallapallooza 开源 gpt.rs，一个 Rust-first 研究项目，围绕可移植张量程序 PTIR 构建模型运行时，层通过 portable functionals 记录惰性图，后端自行执行内核，权重以内存映射 checkpoint 的视图加载。
社区开发者 Asahi-Prv 发布了开源桌面工具 i-AI-Studio，用于在 Windows 和 Ubuntu 24.04 上管理 OpenVINO Model Server（OVMS）全生命周期，项目与 Intel 无官方关联。功能涵盖 OVMS 运行时安装与 SHA-256 校验、Hugging Face 或直链模型下载、仅搜索含 .xml+.bin 的 OpenVINO IR 模型、CPU/GPU/NPU 设备选择与 KV-cache 等加载选项、流式聊天、图像生成，以及 OpenAI 兼容 REST 和 gRPC API 服务；支持一键自更新（v1.4.1 起可用）和英文/日文界面，采用 MIT 许可证。
paiml/aprender 是一个纯 Rust 的完整机器学习框架，通过一条 `cargo install` 命令和单个 `apr` 二进制即可覆盖推理、训练、量化、性能剖析与发布全流程，并以 YAML 可证明契约在漂移时使 CI 失败。当前仓库含 81 个 workspace crates、113 个 CLI 命令和 1896 个可证明契约。版本 0.69.1 目前仅提供 Linux x86_64/aarch64 预编译安装，仅支持 CPU，可通过 `--features cuda` 启用 NVIDIA GPU 加速，已验证 Qwen2.5、Qwen3 等多款模型的运行。
这是一份加州州立大学长滩分校 CECS 530 课程研究项目，探讨软硬件协同设计的 LLM 量化能否超越纯软件方案。基于 LLaMA-70B 需 140 GB 显存的背景，分析显示 Oltron（ASIC）加速 1.9 倍、能效提升 1.6 倍，FlightLLM（FPGA）相对 A100 加速 1.2 倍、能效提升 6 倍，而 bitsandbytes 反而慢 0.65 倍，各方案精度损失均小于 1%。
RapidLLM 是一个开源 LLM 推理框架，支持 continuous batching、张量与数据并行、INT8/FP8/INT4 量化权重以及可插拔的 Triton/CUDA kernel。模型注册表覆盖 LLaMA、Qwen2、Qwen3、Qwen3-MoE、LLaVA、Qwen3-VL 和 DeepSeek 系列，内置 Flash Attention3、Chunked Prefill、Prefix Caching、FP8 KV Cache、Fused MoE 等加速特性，并提供兼容 OpenAI 的 API Server。框架需要 Python 3.13 或更新版本，支持 CUDA 与 CPU 设备，安装与测试均通过 uv 完成。
TernixEngine 是一个 C++20/CUDA 内核库，针对 1.58-bit（三值）LLM 推理的核心运算，将 int8 激活与仅含 {-1, 0, +1}、每值 2 bit 的权重相乘，内核全程不解包权重、不做乘法。CPU（AVX2）在 256-bit 寄存器内解码权重，GPU（CUDA）采用 64x64x64 分块与 cp.async 双缓冲流水线，所有内核均与独立整数 GEMM 做逐位校验。项目提供 NumPy 友好的 Python API，采用 Elastic License 2.0，目前仍是内核库，量化器与模型加载器尚为 stub。
GospodinAizen 在 Hugging Face 发布 GLM-5.3-UNCENSORED-EXL3-3.0bpw，是对 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 量化，后者为 zai-org/GLM-5.3 的权重编辑去对齐版本（非微调），编辑记录见 CRACK_SURFERY.。模型为 GlmMoeDsaForCausalLM，753B 总参数、256 路由专家（激活 8 个）加 1 个共享专家，平均码率 3.04 bpw，体积 273 GiB，含可用作投机草稿的 MTP 层；与 FP8 源对比困惑度 3.440 对 3.302。tau2-bench 上 airline 差 -0.070、retail 差 -0.022，均不具统计显著性。
ImposterOnline 的 Pyrz-8B-Instruct-Uncensored-GGUF 已上线 Hugging Face，提供 Q4_K_M 量化版本。该模型可通过 llama.cpp 在 macOS、Linux、Windows 本地运行，也支持 Ollama、Docker、LM Studio 等方式，并能启动本地 OpenAI 兼容服务器供 Pi、Hermes、OpenClaw 等工具调用。
ImposterOnline 在 Hugging Face 上发布无审查编码助手模型 Pyrz-8B-Instruct-Uncensored。HumanEval 评测中该模型 pass@1 达 52.4%。GGUF 量化版本可从 ImposterOnline/Pyruz-8B-Instruct-Uncensored-GGUF 下载。
niakw/NiakVIO-Brain-LLM 是一个独立于 NiakVIO 生产仓库的离线修复诊断层，选用 Qwen2.5-Coder-3B-Instruct（Q4_K_M）经 llama.cpp 本地运行，无需第三方推理 API。在 25 例历史 benchmark 中，causal layer、canonical strategy、mutation 合规等均为 25/25，abstention-policy 合规 24/25，未通过的 1 例由生产端 force_abstain 策略兜底。LLM 仅作有限建议方，沙箱执行、验证与发布权限仍留在 niakw/NiakVIO。
该仓库是 Ubuntu 电脑上本地 AI 实验室的知识库，涵盖模型库、Unsloth Desktop、自编译 CUDA 版 llama.cpp、Hermes Desktop、语音输入与代码 Agent。已验证 Qwen3.5-4B Q4_K_M 经自定义 llama.cpp 启动，UI 显示 68.4 tok/s，Qwen3-ASR-0.6B 可识别俄语语音；ASR 与 Hermes 及 TTS 的集成尚未完成，Aider 0.86.2 已安装。
/u/jesdga95 发布开源（MIT）推理引擎 Basalt，是 Strata 的深度调优分支，仅支持 Qwen3.8 Flash-Next 与 Blackwell 架构。作者在 5090+5060 Ti 上实测 665 tok/s structured、354 prose、64k prefill 7317 tok/s（400W），单 5090 为 585/316；支持最多 8 用户并发（8 流共 623 tok/s）、自研视觉编码器（比 llama.cpp 快最高 3-4 倍）、OpenAI/Anthropic 兼容 API，仅支持 Linux。
推荐理由：作者实测给出了单卡与双卡的吞吐数字和量化选项，可作为 Blackwell 本地推理引擎选型与调优的参考。
noonghunna 发布 benchlocal-cli，一个面向任意 OpenAI 兼容端点运行 LLM 行为评测包的 CLI，采用确定性 verifier 判分而非 LLM-as-judge。v0.9 加入 aider-polyglot-30（基于 Aider-AI/aider 的 benchmark.py，覆盖 cpp/go/java/js/python/rust 共30题），并内置 BenchLocal 的8个 MIT 许可评测包、可选推理套件（HumanEval+、LiveCodeBench v6、GSM-Symbolic、GPQA-Diamond）。
推荐理由：README详述了各评测包、确定性判分器和Docker沙箱机制，可了解如何在CI中给量化模型做可复现的质量门槛。
作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上，用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0（62 GB MoE）做了四轮基准测试，并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。
推荐理由：作者推翻自己两版错误方法论后才得出可信数据，给出单次噪声8倍、cache污染等教训，对想做本地基准测试的人有直接可迁移价值。
xzyozi 发布了 LocalLLM-Feed，一个基于 GitHub Actions 和 GitHub Pages 的本地大模型每日 TL;DR 订阅源，每天从 Hugging Face 抓取 GGUF 模型动态，帮助用户按硬件显存和速度与精度需求筛选模型。后端只提取参数量、量化格式、蒸馏标记等事实，总分由前端根据用户 VRAM 设置在浏览器端动态计算排序；支持一键导出 Bash 环境变量（自动估算 n_gpu_layers）或 Ollama Modelfile。采集条件与打分权重通过 config/ 下的 TOML 配置调整，无数据库和服务器，运行成本为零。演示地址 https://xzyozi.github.io/LocalLLM-Feed/ ，MIT 许可。
/u/zipzak 在 5090 + 192GB Windows 机器上，对 Qwen3.8-Flash-Next Uncensored（abliterated checkpoint）做了 Strata 0.1.41（Q4_K_S）与 Infernix 2026.10.09.2（NVFP4）的同日 A/B 评测。结果为 Infernix 512k 上下文解码 137.0 tok/s、冷预填充 3,497 tok/s，262k 下比 Strata 快约 23%；两者 PPL 统计持平，视觉功能均可用，作者将 Infernix 作为日常主力。
推荐理由：作者在同一硬件与同一推理契约下对两个推理引擎做同日 A/B 实测，给出了解码速度、预填充、质量和冷启动数据，方法可参考。
TensorFold 发布 1.0.4，用 Zig 二进制在 Apple Silicon 和 NVIDIA GPU 上直接读取 checkpoint 并通过 Metal 或 CUDA kernel 提供模型推理服务，无需安装 Python 或 MLX。API 默认监听 127.0.0.1:8080/v1，兼容 OpenAI chat completions、completions、Responses 和 Anthropic Messages；已通过认证的模型包括 Nemotron 3.5 Lightning 30B-A3B、Qwen3.8 Flash Next、GLM-5.3-Flash 等，27B 模型可配 DFlash2 drafter，但目前 prompt 处理速度低于 mlx_lm。
推荐理由：一个不依赖 Python 的本地模型推理引擎，支持 Metal 与 CUDA 和多种模型格式，还提供实验性的权重在线学习功能，适合关注本地部署的读者。
j-llm 在 Hugging Face 发布 orcarouter/Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版，约 19.2 GB，5.13 bits/weight。该量化基于对 uncensored 权重直接测量的逐层 KL 敏感度分配精度，保留 BF16 视觉塔与 MTP head sidecar，262,144 token 上下文；Capability Score 88.86，高于参考版 mlx-community/Qwen3.8-27B-OptiQ-4bit 的 87.98。
推荐理由：原文给出逐层 KL 敏感度测量和 6 项基准对比，读者可评估混合量化相对参考版的质量取舍。
GitHub 上的 smash 是一个单文件 Bash 编码/压缩工具，面向聊天界面、剪贴板、API 等有大小限制的传输通道，可通过 brew 或 curl 安装。其 --ai 模式用本地缩写表结合 xz 把内容压到原大小约 25-40%，无需 API 和网络；--ai-api 模式借 LLM 将内容重写至语义最小，约 5-10%。v5.6 无损引擎加入 jxl 与 Base85 阶段，压不赢源文件时会如实输出数字而不假装变小。
autotrust 在 Hugging Face 发布 zai-org/GLM-5.3-Flash 的非官方精简版 GLM5.3-Flash-E192-DGX-Spark，通过 NAS 每层保留 288 个路由专家中的 192 个、专家用 NVFP4 量化，每 token 仍激活 18B 参数，权重 124 GiB 为家族最小，单张 180 GB Blackwell GPU 可跑，双 DGX Spark 各承担约 62 GiB。
推荐理由：作者用同一套评测跑出 E192/E224/E256 三档在显存、KV 容量和各基准上的差异，便于按硬件选型。
TechnoBaptist 发布的 Qwen-Image-2.1-Turbo-Uncensored-GGUF 模型已在 Hugging Face 上架，提供 Q2_K 量化版本。用户可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio、Pi、Hermes Agent 等工具拉取运行，llama.cpp 支持启动本地 OpenAI 兼容服务器并提供 Web UI。
Reddit 用户 /u/ZestRocket 基于 llmfan46 的 uncensored Heretic 权重，套用 Unsloth 的 UD 配方自行量化出 12/16/24 GB 三个版本，托管在 Hugging Face（codavidgarcia/Qwen3.8-27B-Uncensored-Heretic-MTP-UD-GGUF）。16 GB 的 UD-IQ4_XS 在 RTX 4080 上开 MTP 实测代码 55 tok/s、散文 50 tok/s（关 MTP 仅 29/29），并以 Q8_0 为基准对比了各量化的 KLD 质量。作者还发现 2 个草稿 token 优于 3 个、显存溢出会让速度骤降（开 Chrome 掉到 0.2 tok/s），并附上配方提取与基准测试脚本。
同一新闻，精选展示《Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布，为 12/16/24 GB 显卡保留原生 MTP 头》
开源项目 TT_LLM 将 HuggingFace 因果语言模型中的每个 nn.Linear 替换为 Tensor-Train 分解层，核由预训练权重经 SVD 或 TT-SVD 初始化。它支持均匀压缩与基于激活重要性的定向压缩，后者用校准提示词和 Frobenius 范数为各层打分，只压缩最不重要的层（如最不重要的 10%）。项目提供 pytest 测试与 Colab 笔记本，可通过 `pip install -e .` 安装。
/u/Edenar 在 r/LocalLLaMA 分享了一套本地 Agent 部署：用 $500 购入的 CMP 170HX 经 cmpunlocker 解锁到 64GB 显存，通过 USB4 eGPU dock（pcie2x4）接上 Framework Desktop 128GB。Strix Halo 上跑 qwen 3.8 flash next（约 1600-1800 tok/s pp、60 tok/s tg）作主 Agent，CMP 170HX 并发跑 2 个 qwen 3.8 27b（w8a16 量化、各约 200k 上下文）作子 Agent，实际 4 小时会话聚合 1747 tok/s pp、100 tok/s tg。
推荐理由：作者给出完整硬件配置、量化方案和实测吞吐数据，可当作低功耗多卡本地 Agent 部署的参考样本。
mincon 在 Hugging Face 发布 Qwen3.8-27B 的 RVN 双重精炼 ARA 消融版本（GGUF），在 trohrbaugh 的 heretic-ara 基础上追加两次全权重 ARA 处理。独立实测显示有害提示词拒绝率从 3/100 降至 0–1/100，相对 base 模型的 KL 损伤从 0.0535 降至 0.0085；仓库提供 multilingual、MTP、vision 等 GGUF 文件家族并附各量化档的显存建议与 llama.cpp 推理速度实测。
Mr-J-369 在 GitHub 发布 Fancy-Ai，一个完全离线运行在 Android 设备上的本地 AI 生态，采用 Apache 2.0 协议开源。它通过 llama.cpp 与 LiteRT 本地运行 GGUF 语言模型，Aura 引擎离线生成 Stable Diffusion 1.5、SDXL、FLUX.2 Klein 图像，并集成 Whisper、Zipformer 语音识别与 Kokoro 等 TTS、MiniLM 语义记忆、模拟社交网络角色世界及 PRoot 沙箱 Linux 终端，支持 CPU NEON、Adreno/Mali GPU 和骁龙 Hexagon NPU 加速。
推荐理由：完整给出了一个全离线 Android AI 生态的模块架构与后端选型，想了解本地 LLM、扩散和语音如何在手机上落地可以参考。
/u/Brief-Tap-6616 发布 LlamAmpere 更新，主要面向 12GB Ampere 显卡用户，实测 Qwen3.8 27B 支持 205k-230k ctx（11GB，YaRN 下约 340K），并新增 Staged + Journaled KVaRN 变体，KLD 较论文忠实版和竞争版降低约 40%。
推荐理由：作者给出了具体 KLD 数字、ctx 长度和多张卡的实测吞吐，12GB 显存用户可以据此评估这套方案是否够用。
Luce-Org 在 GitHub 开源了 Lucebox 推理引擎，主打异构机器与消费级 GPU 上的投机推理，含 DFlash、PFlash、KVFlash、Megakernel 等自定义 kernel 优化。README 给出大量实测数据，如 Qwen 3.8 27B 在 R9700 上用 DFlash2 达 208.1 tok/s，Laguna XS 2.1 33B 在 RTX 3090 上 256K 预填充从 411 s 降至 67.3 s；支持 ROCm/CUDA 后端、Docker 快速部署和 OpenAI 兼容 API，附 Claude Code、Codex 等客户端启动脚本。项目以 Apache 2.0 许可发布。
推荐理由：仓库为每种模型和硬件组合都给出了实测推理数据并附权重链接，想在自己消费级 GPU 上做投机推理部署的话可以直接对照复现。
codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化，采用 Unsloth 逐张量配方，MTP 头（blk.64）在各档保持 q6_K/q8_0，使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍，RTX 4080 上开启 MTP 后代码生成 55 tok/s，约为关闭时的 1.9 倍；拒绝率数据来自 llmfan46 的 Heretic v2（3/100 拒绝），本仓库未复测。
推荐理由：作者对每档量化都实测了 KLD、top-1 命中率和解码速度，并与同权重其他量化逐项对比，数据可直接用于选型。