新闻、仓库与研究，按时间排列。
lium-localmaxxing 是一款 Windows 工具，可在租用的 Lium GPU 上用一条脚本自动复现 Lium LocalMaxxing 排行榜结果，共 7 个 boards、20 项验证测试，完整验证约 45–60 分钟。它自动使用 vLLM 和 llama.cpp 两种引擎配方，实时显示每百万 token 的生成成本和 GPU 利用率，结果导出为 CSV 和 PDF 报告，无需编程经验。
GitHub 开源 starter 项目 Mehta-Amit-Codes/finetuning-deployment-pipeline，用 Hugging Face PEFT/TRL 对开源模型（默认 Qwen/Qwen2.5-1.5B-Instruct）做 LoRA/QLoRA 微调，通过 FastAPI 提供 /generate、/compare 等接口，并用 Streamlit 对比 base 与微调模型。评测采用成对比较和 bootstrap 95% 置信区间，xAI（Grok）API 仅作可选评分 judge，并可按 /admin/eval-score 低于 rollback.min_score 时回退到 base 模型。
santosardr 在 GitHub 开源 RIS-Kernel，一个模型无关的稀疏注意力推理引擎，可在无加速的普通 CPU（16–128 GB RAM）上运行 64k+ token 的长上下文推理，无需修改模型权重。在 Qwen2-1.5B-Instruct 上 32,768 token 受控评测中，1% 密度、70 seeds 的 RIS-Stochastic 达到 75.00% 准确率，超过原生稠密注意力的 71.88%；65,536 token 时稠密注意力会显存溢出，RIS 相对零上下文基线（51.56%）最多提升 14.06 个百分点。GPU 环境下 40k token 峰值显存从 36.2 GB 降至约 9.4 GB。
推荐理由：仓库给出了在无加速 CPU 上跑 64k+ 上下文的实测精度与内存数据，读者可以据此评估稀疏注意力方案的可用性。
一位 r/LocalLLaMA 用户下单了 Epyc 7443（24 核 48 线程）、H12SSL-NT-B 主板和 256GB 2666MHz 内存，并搭配四块 GPU（3090、5070 Ti、2×5060 Ti）共 72GB VRAM。升级将把四块 GPU 的 PCIe 带宽翻倍，内存带宽从 96GB/s 提至约 170GB/s 理论值（实测预期约 110GB/s），总显存加内存达 328GB，可运行 GLM5.3-flash 及 Qwen3.8-flash-next 的大量化版本。
GitHub 上的 fastInfer 是一个处于早期开发阶段的实验性 LLM 推理运行时，核心方向是自定义 Triton GPU 内核和可复现的性能测量。目前仅实现了 PyTorch 矩阵乘法参考实现、CPU 正确性测试、CUDA-event 基准和环境报告脚本，首个 Triton 内核与 serving 组件尚未实现，也未发布任何 GPU 性能结果。基准默认对 1×256 与 256×256 矩阵做 float16 乘法，包含 10 次 warmup 和 30 次计时重复，要求 Python 3.10+。
开发者 vladimirrott 在 GitHub 发布 mojo-dllm，用 Mojo 语言实现的推理栈在 CPU 上运行扩散语言模型 LLaDA-8B 与 Dream-7B，无需 Python 和 GPU，从量化 GGUF 文件加载。
推荐理由：作者用同一台 CPU 上与 llama.cpp、diffuse-cpp 的对照数据和 CI 强制的可复现基准，让读者能核实 Mojo 实现的真实性能。
dagoalguez 发布 quipullm 4.2.x 早期版本，一个自托管 LLM 服务器，推理引擎用 WebGPU（WGSL + JavaScript）从头编写并运行在浏览器窗口内，后端为纯 Python 标准库，无需 pip、npm、二进制或 Docker。它读取标准 GGUF 文件，提供 OpenAI 兼容 API 和聊天页面，每个架构与 llama.cpp 逐数值比对验证（logit 相对误差低于 2e-3）。实测 Intel UHD 核显上 LFM2 350M 为 44.3 tok/s、Gemma 3 4B 为 5.3 tok/s；AMD、Apple 等硬件未测，无 TLS，且一次只服务一个请求。
推荐理由：一个从零用 WebGPU 写的浏览器内推理引擎，验证方法和已测硬件的局限都写得很坦白，适合研究本地部署的人参考。
Hugging Face 用户 robertbschuette 发布了 Qwen-Image-2.1 的 Uncensored GGUF 量化版本，提供从 BF16（14.23 GB）到 Q4_0（4.15 GB）等多种量化文件，推荐 Q4_K_M（4.60 GB）作为体积与质量的最佳平衡。该版本移除内置安全检查与内容过滤，可直接生成 NSFW 等敏感图像。模型可在 ComfyUI 中配合 qwen3vl_8b 文本编码器与 VAE 使用，文本编码器可卸载至系统内存，节省 9–17 GB 显存。
一位拥有 RTX 4090 和 64 GB DDR4 内存的用户表示，小量化版的 QFN 能装下但效果不佳，已换回 Qwen3.8。他正在考虑购买华为 Atlas Duo，可额外获得比系统内存快一倍的 96 GB 内存和比 CPU 更快的 AI 加速器，发帖询问是否有人尝试过这一方案。
GitHub 仓库 dev-gopi/llm-engine 是一个基于 PyTorch 的配置驱动语言与媒体模型引擎，定位为教育性和实验性项目，不附带预训练权重。其活跃 GPU 配置为 40K 词表、16 层、约 81.3M 参数的模型，另含约 13.96B 参数激活、97.28B 的 MoE 规划配置和 1B/7B/30B 目标。功能覆盖 tokenizer 训练与安全词表扩展、预训练、SFT、恢复训练、DPO、评估、RAG、网页搜索、图像与音视频 latent diffusion，以及 OpenAI 兼容 API。
作者开源了独立于 NanoKV 的 LLM GPU 算子项目 llm-gpu-kernels，包含 BF16 MoE grouped GEMM 局部融合与四段KV GQA prefill attention，硬件为 RTX 3080 Laptop 16 GiB（SM86）。attention 短query冻结选择在合成验证矩阵中相对完整 FA2 链路 Graph 耗时几何平均减少 22.09%，最坏慢 2.17%；M24 对 W4A16 packed gate/up 的布局机制对照中六个固定 case 相对同量化 vLLM 低 21.17%。项目按 M0–M24 分阶段报告，记录了失败实验、适用形状边界与回退策略，作者明确说明为单 GPU 原型，不构成 expert-parallel 或 serving 经验。
推荐理由：作者用逐阶段报告和固定输入复测记录了 MoE 与 attention 算子在 RTX 3080 上的实测收益和明确边界，可迁移到类似单GPU原型工作。
GitHub 项目 devdownin/SpectraLLM 发布，宣称在单一应用内将 PDF、DOCX 等文档经混合检索问答后微调为本地模型，100% 本地运行、无云端 API。流程包括摄入、问答（关键词+向量混合搜索、reranking、ReAct 多跳推理）、QLoRA/DPO 微调和单文件 GGUF 导出，可配合 llama.cpp、Ollama 等运行。默认模型下载约 4.8 GB，需 Docker Engine 25+ 与 16 GB 内存，GPU 可选，AGPL-3.0 协议。
推荐理由：把文档摄入、混合 RAG、QLoRA 微调和 GGUF 导出整合成一个本地 Docker 项目，对想私有化部署知识库的人有可参考的完整流程。
一位 Reddit r/LocalLLaMA 用户测试发现，Qwen3.8 Flash Next iq3 xxs 在“纯 HTML/CSS/JS/SVG 写太阳系 3D 仿真”任务上反复失败，还耗尽 120k 上下文限制，而 27B iq3 xxs 能一次成功。在 agentic coding 任务中 Flash Next 思考面广但实现常失败、需多次跟进，token 消耗大；27B 则更简单但能用。
Hugging Face 上架了 NeuralNet-Hub 发布的 Qwen3.8-27B-Uncensored-NVFP4 模型仓库。该模型 README 为空，未提供任何说明；目前尚无下载量统计，也没有被任何 Inference Provider 部署提供推理服务。
GitHub 上的 QKV-Core 是一款帮助在低内存设备上部署大语言模型的工具。它采用自适应混合量化技术，可处理 7B 参数等大模型，并针对 GTX 1050 等低显存设备优化，利用 Numba 实现快速推理。该工具支持 Windows、macOS 和 Linux，要求 NVIDIA GPU、至少 4 GB 内存、Python 3.8+ 和 CUDA 11.0+，可从 Releases 页面下载。
HyperNix-pip 发布 0.72.6 系列更新，这是一个面向新旧设备的 AI 模型端到端训练工具包，最初用于将 HyperNix.1 转换为 GGUF。新版引入每日轮换的 v2.1 密钥、保护隐私的 Conceal 模式、OpenTUI 上的十面板监控工具 tvtop-pro/tvtop-max，并修复 GGUF 导出使 llama.cpp 可正常打开。0.72.7 将 Python 最低版本提升至 3.12 并支持 3.15；工具跨 Linux、macOS、Windows 平台。
local-inference-lab 在 GitHub 开源了 RTX PRO 6000 Blackwell / SM120 系统的 LLM 运行 Wiki，覆盖 GLM-5.3-Flash、DeepSeek V4/V4.1、Qwen3.8、Kimi-K2.7-Code 等模型。内容包含统一的 Docker 启动指南、vLLM 与 SGLang 精确 runbook、NVFP4/MXFP8 量化说明、KLD 质量检查、TP4/TP8 吞吐实测、PCIe 拓扑调试与历史版本复现存档。
GitHub 仓库 open-ai-ecosystem 是一个开源 AI 模型枢纽与编排平台，提供自然语言语义搜索发现模型，并支持 PyTorch、TensorFlow、JAX、ONNX 跨框架编排。平台可自动解决依赖与版本冲突，集成 OpenAI API、Anthropic Claude API、Ollama 等本地运行时，支持 Docker 与 Kubernetes 部署，并提供社区驱动的性能基准测试与训练数据溯源验证。
loopai-hq 发布推理引擎 Pulsar 1.1.4（前身 fastkernel），用于在 Apple Silicon Mac 上本地运行 Qwen3.8-27B 和 Qwen3.6-35B-A3B，基于 Apache-2.0 的 Splash 1.3.0 构建。
推荐理由：原文给出同一台 M5 Max 上与 lithos-metal、Splash、MLX-LM、llama.cpp 的逐项 tok/s 对照和测量方法，速度结论可以直接核对。
一个在 Google Colab 中构建的端到端机器学习管线，使用 OpenAI Whisper 转写 .mp4/.wav 音频，再将文本送入经 Unsloth 动态 4-bit 量化的 Mistral-7B，实现低显存占用、具备上下文感知的逻辑推理。
Janas 是一个用 C 写、无外部依赖的 AI 工具族，其首个组件 Janas-LLM 让普通电脑（有无 GPU 均可）运行大型混合专家模型：权重留在磁盘，按 token 所需从 NVMe SSD 流式读取专家，常驻专家留在内存，80B 参数模型可在 32GB 内存的笔记本上运行。项目由 Maurizio "camauri" Cammalleri 编写，目前处于早期开发阶段，格式与 API 可能随时变动，且对内存和磁盘压力较大。已支持 Qwen3 系列 MoE 与稠密模型、Qwen3-Next、Gemma 4 等的 Q4_K_M 等多种 GGUF 量化格式转换，附终端聊天 janas-chat、MCP 客户端与服务器、OpenAI 兼容 HTTP API 和 janas-bench。
dima6312 在 Hugging Face 上发布 ajgazin 的 Swift-1.5-Qwen3.8-27B Uncensored（UkisAI Swift 1.5 的 abliterated 版）的 MLX oQ4e 量化，体积 17.0 GB、4.9 bits per weight，仅做量化未改其他内容，并保留 MTP 头以支持 oMLX 中的自推测解码。在 M4 Pro 48GB 上实测：编码任务 21/24、工具调用 27/30、100 条提示词拒绝 11 次（原模型为 97 次），解码 39.8 tok/s，MTP 接受率 87.5%；模型沿用 Swift Open License v1.0，年收入超 100 万美元的组织商用需 UkisAI 的企业授权。
推荐理由：作者用统一的拒绝率测试对比了量化版与原模型，还保留了 MTP 头并给出解码速度，量化质量有实测数据可查。
GitHub 项目 turboquant 可将 LLM 的 KV cache 压缩 5–7 倍，精度损失接近零，从而支持更长上下文并降低 GPU 占用。
ModelScope 社区的 ms-swift 是一个大模型与多模态大模型微调及部署框架，支持 600+ 纯文本大模型和 400+ 多模态大模型的训练、推理、评估、量化与部署全流程。框架集成 Megatron 并行技术（TP、PP、CP、EP）和 GRPO、DAPO、GSPO 等 GRPO 系列强化学习算法，内置 150+ 数据集，支持 LoRA、QLoRA 等轻量化微调，7B 模型量化训练仅需 9GB 资源。近期更新包括支持 Xing4.0-29B-A4B、DeepSeek-V4.1-Flash 及 Day-0 支持 Qwen3.8-Flash-Next。
Huihui-ai 发布 Qwen/Qwen3.8-27B 的 abliterated 去审查版 GGUF 量化模型，多次更新新增 UD、UD-DW、GSQ-RCO、Ternary、Swift 等系列，其中部分版本仅消融第 22 至 52 层（0 起始索引）。模型提供 Q2_K_L 至 Q8_0_L 等量化格式，支持上下文长度 262144，可通过最新版 ollama（huihui_ai/Qwen3.8-abliterated）或 llama.cpp 运行。官方提示安全过滤已显著降低，建议仅用于研究和测试环境。
muterornament/Huihui-GLM-5.3-Flash-abliterated-GGUF 现已在 Hugging Face 上提供，是一个图像-文本到文本的 abliterated GGUF 模型，支持 UD-Q4_K_XL 等量化版本。用户可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker、LM Studio 等多种工具运行，llama.cpp 和 vLLM/SGLang 均提供 OpenAI 兼容 API，支持文本与图像输入。
dealignai 以 CRACK 方法发布 GLM-5.3 (753B, ~18B 激活) 的权重级去审查版本 GLM-5.3-ABLITERATED-NVFP4，宣称不用微调、LoRA 或越狱提示，直接在张量中移除拒绝行为，面向授权渗透测试与安全研究。HarmBench 实测 high/max 模式下 156 条提示 0 拒绝，off 模式拒绝率 7.3%（多为版权类）；MMLU 84.11%，较 base 的 85.58% 降约 1.5pp。模型给出 vLLM 部署命令，NVFP4 版在 GB10 上 KV 池达 35 GiB/rank，可支撑 TP8 下 512K 实用上下文。
推荐理由：原文给出 HarmBench 拒绝率和 MMLU 前后对比数据，读者可以据此判断这个权重级去对齐版本的实际效果与能力损失。
GitHub 用户 vishalgwu 开源了 LLMOps 面试准备仓库，涵盖 12 个模块，从基础架构、数据工程、量化与 PEFT，到 vLLM 推理引擎、RAG 评估、安全护栏和基于 LangGraph 与 MCP 的 Agent 运维。仓库还包含 CRISP-LM 系统设计框架、决策树（RAG vs 微调、LoRA vs 全量微调）以及 35 道快速问答。
john-rocky 的开源项目 hf-to-litertlm 提供 convert.py 一条命令，把 Hugging Face 开放权重的 LLM 和 VLM 转成可在 Android、iOS、macOS、Windows、Linux 上运行的 .litertlm bundle。已发布 69 个转换，每个都带 litertlm_manifest. 实测解码速度和一键复现脚本，覆盖 Qwen3.5、LFM2.5、granite、Falcon-H1 等约 2,670 个 Hub 衍生模型；转换器对 gated、remote-code、预量化仓库以结构化 JSON 拒绝，导出后经 8 题质量门禁（6/8 通过线）把关。
rffanlab/llm_eval 仓库公开可复跑的本地与云端模型工作能力评测，首期对比本地 Ryzen AI Max+ 395 运行 Qwen3.8 Flash Next 与阿里云 Token Plan qwen3.8-flash。2026-10-07 完成 10 类题、32 个主试验会话＋8 个诊断；2026-10-08 在同一台机器上对比 Halogen 0.9.1/W4B、0.17.2 默认 v2 与 Swift 1.5，完成 10 个题型、48 个主会话，硬验收分别为 15/16、13/16、10/16，Swift 调度器三次 13/13、耗时中位 35.60 秒。仓库仅用 Python 3.10+ 标准库，超时与题量限制表明结论只针对被测任务与当次配置。
1CatAI 在 GitHub 发布 1Cat-vLLM-Gaudi，一个维护的 vLLM-Gaudi 硬件插件工程分支，重点优化 Gaudi2 上的 Qwen、DeepSeek、MiniMax 模型推理，覆盖 TPC/MME 算子、Graph + Compile、Native Replay、TP2 与 TP2 × PP2 多卡执行。README 给出 Qwen3.8-27B-FP8 对照记录：输入 2,048 tokens 时 Gaudi2 单请求首字 0.4036 s、Decode 57.17 tokens/s，较 A800 单卡首字缩短 47.8%、Decode 提升 17.5%；32 并发时 Decode 总吞吐 958.44 tokens/s，仍比 A800 低 3.3%。
推荐理由：这个 vLLM-Gaudi 分支把 A800 与 Gaudi2 的逐档并发对照数据连同测量口径一起公开，读者可以核对每项优化的适用范围与局限。
muterornament 发布了 dealignai/GLM-5.3-UNCENSORED-FP8 的 EXL3 3.0bpw 量化版本，上游是 zai-org/GLM-5.3 的权重编辑（无微调）变体，模型为 GlmMoeDsaForCausalLM 架构，总参数 753B，256 个路由专家（激活 8 个）加 1 个共享专家，体积 273 GiB。作者用 wikitext-2 给出量化对 FP8 源的 KL 散度与困惑度对比（困惑度 3.440 对 3.302），并在 tau2-bench 上与 Z.ai FP8 原版对比，airline 和 retail 两域差异均无统计显著性。
gopiprakan 发布了 GLM-5.3-UNCENSORED-FP8 的 EXL3 量化版本（平均 3.04 bpw，273 GiB），上游是 dealignai 对 zai-org/GLM-5.3 做权重编辑得到的无微调变体，编辑记录保存在 CRACK_SURVEY. 同目录的 CRACK_SURGERY.。量化版在 wikitext-2 上相对 FP8 源的 KL 散度为 0.089/0.097，perplexity 3.440 对 3.302；tau2-bench 实测中 airline 和 retail 两域与原版 GLM-5.3 FP8 的差异分别为 -0.070 和 -0.022，样本量下不具统计显著性。
Reddit 用户 /u/jjusko20 发布 Qwen3.5-2B-RCOL 动态低比特量化（IQ1_M、IQ2_M、IQ3_M），基于对 ISTALab RCO 算法的修改，可在严格 VRAM 预算下量化模型，且无需将 FP16 教师模型载入显存。作者称在 1 比特和 2 比特范围看到显著 KLD 改进，并在与标准 llama.cpp imatrix 量化相同 wikitext 校准、双保留集测试下给出 KLD 对比表，IQ1_M 散度大幅下降；GGUF 文件在 https://huggingface.co/trubisky/Qwen3.5-2B-RCOL，后续计划应用于家族更大模型。
r/LocalLLaMA 用户发帖力挺 NVFP4 量化格式，称其精度与 bf16、FP8 相当，甚至不逊于 Q8，并质疑批评者拿不出实际数字反驳。发帖人认为没有谁比 Nvidia 更懂定价，欢迎用数据证明其观点错误。
localllm-advisor 发布开源仓库，提供本地 LLM 选型工具：按 GPU/CPU 推荐模型并生成 Ollama 命令，或按模型反推 GPU 配置与预算。工具收录 206 款 GPU、78 款 CPU 和 891+ 模型，含 6 档量化等级、物理公式估算 tok/s、云端替代方案、企业级 GPU 集群测算与 TCO 分析，核心功能 100% 客户端运行、无数据收集，站点已上线 localllm-advisor.com，代码以 MIT 许可开放。
hotdogs 在 Hugging Face 发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-PQ2_0-MTP，基于 BoldingBuilds 的去拒绝 v2 版，以 0.4 scale 合并 Swift 去对齐与 ThinkingCap 省 token 推理两个 SVD-LoRA。模型采用 PQ2_0 三元量化（约2.13 bits/weight），27.3B 参数仅约 7.6 GB，支持 262,144 token 上下文、视觉输入和 MTP 投机解码。仅能通过 PrismML 的 llama.cpp fork 加载，主线程 llama.cpp、Ollama 和 LM Studio 均不支持。
推荐理由：原文给出abliteration的张数、MMLU损失和各LoRA保留能量，合并构建的局限与适用范围都写得很透明。
mradermacher 在 Hugging Face 发布 Ostrich-27B-261008-Qwen3.8-Abliterated 的静态 GGUF 量化版本。提供多种量化格式，其中 Q4_K_S 为 15.9 GB、速度快且被推荐，另含 mmproj-Q8_0（0.7 GB）与 mmproj-f16（1.0 GB）多模态补充文件；weighted/imatrix 量化暂未提供，用户可通过 Community Discussion 申请。
RAMP（Recurrent Adaptive Mixed Precision）是一种针对循环深度语言模型长上下文 prefill 的自适应混合精度方法。研究发现循环深度早期引入的量化误差会被后续更多循环步骤衰减，因此对低精度计算前置、末端恢复高精度。在最长 4K 上下文上，RAMP 在 NVIDIA H100 上实现最高 1.16x 端到端首次 prefill 加速，延迟降低 13.9%，同时保持接近全精度的质量。
murai1998 在 GitHub 发布 LocalLLM，一个完全本地运行的开源 AI 助手平台，基于 Gemma 4 12B（GGUF，llama.cpp 推理），支持多模态聊天、文档 OCR、语音转文字、实时语音翻译和 LangGraph 工具调用智能体。项目采用单一 FastAPI 网关暴露 OpenAI 兼容 API，支持 CUDA 与 Apple Silicon GPU 加速，48 GB Apple Silicon Mac 可换用 Gemma 4 31B 或 Qwen3.8-27B 预设（M5 Pro 上约 13–15 tok/s）；唯一非本地功能是可选的 Gemini 3.5 Live Translate 对比引擎，需自备 API key。
推荐理由：README 详细给出了网关架构、量化配置和多智能体设计，想自建本地 AI 平台的读者可以参考其单网关和提供方抽象做法。