新闻、仓库与研究，按时间排列。
该仓库实现了 LLM 推理的内核级优化技术，结合 GPU 内核工程与量化方法的数值分析。flash_attention 模块用 Triton 实现 FlashAttention 分块算法的融合因果注意力内核，并在 A100 PCIe 上给出序列长度 256 到 4096 的 roofline 分析；quantization 模块对 Llama-3.2-1B 的 INT8 量化误差做谱分析，涵盖修正舍入的 RTN 量化、per-channel 缩放及误差矩阵的 SVD 分解；cuda_filters 模块提供高斯、双边、中值滤波的 CUDA 实现，共享内存版本将冗余 HBM 读取从每像素最多 WINDOW² 次降至一次。
一位 Reddit r/LocalLLaMA 用户求助：其双 Xeon（AVX1）+ DDR3 + 3060、P100、3050 的异构系统上，Strata 引擎的 GLM 5.3 Flash 各个 fork（含 GSQ-CRO 量化与 unsloth Q4）均无法运行，希望有人帮忙或推动 Strata 官方支持 GLM 5.3 Flash。
mradermacher 在 Hugging Face 上提供 Ostrich-27B-261008-Qwen3.8-Abliterated-i1-GGUF 模型，支持 Q2_K 等量化格式。用户可通过 llama.cpp 本地部署，兼容 LM Studio、Ollama、Pi、Docker Model Runner、Lemonade 等工具，并提供 OpenAI 兼容的本地服务器。
AtomicChat 发布的 Qwen-Image-2.1-Turbo-Uncensored-GGUF 现已上架 Hugging Face。该模型提供 Q2_K 量化版本，可通过 llama.cpp 一条命令启动本地 OpenAI 兼容服务器并带 Web UI，示例命令为 `llama serve -hf AtomicChat/Qwen-Image-2.1-Turbo-Uncensored-GGUF:Q2_K`。页面同时给出在 Ollama、Docker、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中的接入方法。
H2O.ai 发布开源权重模型 H2O-Lightning-4B（Apache-2.0），面向 decisions API 式推理：输入状态加类型化问题，单次前向返回校准概率，不生成 token。基于 Qwen3.5-4B 微调，JevBench 综合分 72.5，高于 Jev 1.13 的 71.5，为当前开源模型第一；在 H100 上单次决策约 30 ms，可本地部署无按次费用。12B 与 31B 版本即将推出，演示视频与权重见 Hugging Face h2oai/h2o-lightning-4b。
ModelFit 网站上线，汇总 Kimi K3、Gemma 4、DeepSeek V4、Qwen 3.8、GLM-5、Llama 3.1 等 110+ 热门本地 LLM 的 GGUF 实测文件体积与显存内存需求。所有数字直接取自 Hugging Face 上的真实 GGUF 文件而非公式估算，KV cache 按 config. 精确计算，并对 DeepSeek/Kimi 架构使用 MLA 分支公式，避免 GQA 朴素算法高估 5–50 倍。网站每日自动重建，新模型上榜约 24 小时内生成页面，数据以 CC BY 4.0 开放并提供 JSON API。
推荐理由：这个网站直接从 Hugging Face GGUF 文件实测体积并精确计算 KV cache，还解释了主流估算公式为何偏差可达数倍，方法可复用。
GitHub 上的 Portable-Offline-LLM 项目可让用户在 Windows 上从 USB 闪存盘运行本地 AI 助手，无需安装、无需联网、无需管理员权限。应用使用 GGUF 格式模型（如 Qwen3），聊天数据保留在本地设备上，可在多台 Windows 电脑上离线使用。适合在共享或受限电脑上进行隐私写作、离线工作等场景。
开源仓库 local-llm 提供基于 llama.cpp 和 Qwen3 GGUF 的纯 CPU 本地推理方案，直接在 GitHub Actions 中运行。用户可在 Actions 页选择 local-llm 工作流并点击 Run workflow 启动。
L-Forster 发布开源项目 OpenJet，一个自托管的本地 AI 编码智能体，可连接 Ollama、LM Studio、llama.cpp 或自动按硬件配置 GGUF 模型，支持文件编辑、审批式 shell 命令、MCP 工具、持久会话和 Python SDK 嵌入。RTX 3090 上 Qwen3.8-27B Q4_K_M 经 MTP 达 70 tok/s，配合 megakernel 引擎推理模式约 1.5 倍解码提速；Slipstream 模式用云端模型规划、本地模型执行，目标编排器 token 占比 20%。核心采用 AGPL-3.0 许可。
推荐理由：本地编码智能体把模型运行时、agent 循环和硬件配置整合成一键部署，还给出 RTX 3090 上的实测 tok/s 数据可对照。
作者发布 nuclis，一个用 Zig 编写、Metal 后端的 Apple Silicon 本地推理引擎，附小型编码 Agent（仓库 https://github.com/tildaslashalef/nuclis）。每层实现先对照固定版本的 llama.cpp 校验，再优化；在 M4 Pro 实测 Qwen3.8-27B 解码比参考快 1.04–1.15 倍，投机解码默认开启最高提速 1.85 倍，另含 Laya 决策模型、clef-flash 与 EmbeddingGemma 2 支持。项目处于 0.x 实验阶段，文档中的数字均为实测值，代码大量借助 AI 编写但过程在 AGENTS.md 中可查。
推荐理由：作者用固定的 llama.cpp 版本逐层校验并给出同机实测数据，读者能直接看到这个 Zig 推理引擎在各模型上与参考实现的差距。
一位 Reddit 用户公布了在 SillyTavern 上搭建本地、无审查 RP 引擎的计划，目标是让模型像 GPT 4o-5.1 那样对话。他从聊天记录提取了 7000 多条样本生成 JSONL 训练文档，计划在 RunPod 和 Unsloth 上用 LoRA 或 QLoRA 微调 HuggingFace 上的 abliterated 版 Gemma 4 26B-A4B，成本约 $13、耗时 8 小时。之后转为量化 GGUF，用 llama.cpp 运行，并通过 Tailscale 和 Termux 从手机连接使用。
/u/zyxciss 在 llama.cpp 中实现可选功能 --moe-direct-io，用 RTX 3060 12GB + 16GB DDR4 将 68GB 的 Qwen 3.8 Flash Next（125B MoE，512 专家）GSQ-RCO IQ2_XS 从原版 1.41–2.12 tok/s 提升到热缓存下 20–21 tok/s，部分运行达 24+ tok/s，输出与原版 bit-exact。方法靠预测下一 token 所需专家并预取，不剪枝专家；原版 mmap 模式每 token 有 1140–1565 次重大页错误、208–312 MB/token 的 SSD 读取，新方案页错误约 0。
推荐理由：作者给出同一硬件下 llama.cpp 原版与自研 --moe-direct-io 的逐项速度和页错误对比，且强调输出 bit-exact，方法与数据可直接对照复现。
GitHub 上的 UtopikLab/llm-rig 仓库收录了 192.168.1.0/24 子网 Homelab 的本地 LLM 与图像工具 POC 配置。推理节点采用 2× Tesla P40（R740xd），以 llama.cpp + Ollama 运行 GGUF INT8/Q4_K_M 模型；因 P40 FP16 性能差，ComfyUI 图像生成建议用 RTX 3080 或 CPU。仓库按 POC 分文件夹，各含独立 README 与安装脚本，仅覆盖本地推理/图像栈，不含其余三个 Homelab 节点。
agustindiazcano 为 AMD AI Challenge 发布 monorepo，首个项目是用 Qwen2-VL-2B-Instruct 构建的 VLM OCR 流水线，在 AMD ROCm 硬件上从噪声、模糊、低光等恶劣图像中提取车牌与交通标志文字。方案满足 48 GB VRAM 和每张图 30 秒推理的限制，采用 bfloat16 精度、预分配张量与 Regex 后处理等优化，基于 Docker 和 rocm/pytorch 基础镜像运行。RAG 引擎等后续阶段仍在开发中。
alexwkleung 发布 JetBrains/Mellum2.1-12B-A2.5B-Thinking 的 abliterated GGUF 版本，用 Heretic 消融 662 个 tensor，拒绝率在 enable_thinking 为 false 时从 43/44 降至 14/44，GSM8K 89/100 无明显回归。作者还发现 Heretic 1.4 在 Transformers 5 的融合 MoE 模块上会静默跳过专家层，此构建将融合专家拆回独立 Linear 后再消融，提供 Q4_K_M 到 Q8_0 共四档量化文件与 sha256 校验值。
推荐理由：卡片给出消融修改的 tensor 清单和拒绝率前后对照，还包括 Heretic 在 MoE 融合模块上静默失败的具体坑与修复方法。
AtomicChat 在 Hugging Face 上发布 Qwen-Image-2.1-Turbo-Abliterated-Uncensored-GGUF 模型，提供 Q4_K_M 量化版本。文档给出 llama.cpp、Ollama、Docker Model Runner、Lemonade 等多种本地运行方式，包括启动 OpenAI 兼容服务器和终端直接推理的命令，并覆盖 Pi、Hermes Agent、OpenClaw 等工具的配置方法。
huihui-ai 基于 microsoft/Phi-4-multimodal-instruct 制作的去审查版 Phi-4-multimodal-instruct-abliterated 已上传 Hugging Face，采用 abliteration 技术移除模型的拒绝行为，且仅处理了文本部分、未处理图像部分。模型可用 Hugging Face transformers 库加载，支持 flash_attention_2 与 bfloat16。
IsValorum 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-MTP 的 VAL-APEX-I MiniPlus V3 GGUF 量化版，文件大小 14.28 GB，whole-file BPW 为 3.93，WikiText-2 PPL 为 6.6669，比 GSQ-RCO IQ3_S 基线降低 5.70%。该模型基于 UkisAI 的 Swift-1.5 推理微调，内置 Multi-Token Prediction 投机解码头（blk.64.*，844M 参数），可在 llama.cpp 中直接加速推理，无需外部 draft 模型；同时保留高精度视觉编码器（mmproj-Q8_0.gguf），并维持法、西、德、中多语言语法完整性。
UkisAI 的 Swift-1.5-Qwen3.8-27B-Uncensored-MTP 推出 VAL-APEX-I NanoPlus V3 GGUF 量化版，文件仅 11.08 GB、整文件 BPW 2.85，WikiText-2 PPL 为 6.9102，比基线 GSQ-RCO IQ3_S 低 2.26%。模型基于 Qwen3.8-27B 的 27B MoE 推理微调，内置 Multi-Token Prediction 头（blk.64.*，15 个 tensors）可在 llama.cpp 中直接投机解码，并保留 mmproj-Q8_0.gguf 视觉编码器与法、西、德、中多语言语法完整性。
3hs4n 在 Hugging Face 发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的紧凑版 MLX 权重，将 27 个视觉 MLP expansion 层从 FP16 量化为原生 MLX affine 2-bit/group-128，权重文件从 8.60 GB 降至 8.37 GB，节省约 230 MB（2.68%）。全部 2,057 个语言张量逐字节不变，思考模板与 tool-call 格式保留，上下文上限 262,144 tokens。已在 LM Studio 0.4.26+4 验证通过，但推理质量未经 benchmark，视觉量化为有损。
LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本，该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏（QAD）checkpoint，训练用于恢复 Q4_0 量化损失的精度；各 GGUF 内置 general.sampling.* 元数据，llama.cpp 默认应用推荐采样参数（--temp 0.1 --top-k 50 --repeat-penalty 1.05）。
推荐理由：官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失，并给出 llama.cpp 的推荐采样参数，便于本地部署复现。
ajgazin 在 Hugging Face 上发布 Swift-1.5-Qwen3.8-27B-Uncensored 的 NInfer NVFP4 量化版本（swift15_qwen3_8_27b_uncensored_nvfp4.ninfer），面向 Blackwell（sm_120a）NInfer 引擎。文件包含 text、vision、MTP 和 DFlash2 组件，64 层经校准的 NVFP4 MLP，其余为 FP8，单文件约 22.78 GB。在 32 GB GPU 上驻留权重约 18.1 GiB（无投机解码）至 20.5 GiB（DFlash2），支持 --max-context 32768，采用 Swift Open License v1.0 许可。
GitHub 仓库 yifeihu0926/llm-learn 发布 DeepSeek V4 / V4.1 模型学习文档，按完整架构、特殊 Block、具体算子的层级展开，覆盖投影、归一化、mHC、Attention、Indexer/selector、MoE、量化、缓存、通信等内容。
GitHub 上的 headroom 项目是一个 AI 智能体，可针对目标 GPU 和工作负载评估 LLM 的 8-bit 与 4-bit 压缩，检查内存余量、质量与延迟。当质量下降时会进行微调，并计算需要多少次请求才能收回压缩、测试与微调所消耗的能源。
DevelopingDad 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 DGX Spark 部署包，封装 OrcaRouter 现有量化权重， checkpoint 约 183.5 GB，未做微调或重量化。包内含自动挂载运行时补丁的启动器，基于 ARM64 vLLM 0.30.0 提供 OpenAI 兼容 API，最大上下文 131,072 tokens，需 DGX Spark/GB10 与 128 GB 统一内存。K1b 配置实测单客户端 prose 吞吐 37.29 tok/s，较此前配置提升 48.9%，52/52 请求全部完成、无 OOM。
Hugging Face 上架 GGUF 格式模型 Swift-1.5-Qwen3.8-27B-Uncensored-MTP-VAL-APEX-I-MiniPlus-V2.1。该模型暂无 model card，参数规模标注为 0.5B，架构为 clip，尚未被任何 Inference Provider 部署。
QuantForge 是一个面向本地 LLM 的自动化实验工具，可将 FP16 checkpoint 批量量化为带质量指标的 GGUF 量化集，并与 llama.cpp 配合使用。它支持 Q4_0 到 Q8_0、Q2_K 到 Q6_K 及 IQ1_S 到 IQ4_NL 等量化格式，提供 imatrix 校准语料预设、基于 FP16 基线的 delta perplexity 评测、Pareto 权衡分析 SVG 图表和硬件自动调优。工具以 Typer CLI 和 FastAPI 仪表盘双界面提供，可直接拉取模型并将量化套件发布到 Hugging Face Hub。
ModelPort 是一个处于早期开发阶段的开源项目（Apache-2.0 协议），目标是让 PyTorch 或 Hugging Face 模型用 Python 的 modelport CLI 一次准备后，在 Flutter 端一行 Dart 代码即可在设备上运行，v0.1.0 尚未发布。其 CLI 负责模型导出、验证并生成 modelport.json 清单，Dart 端通过 ONNX Runtime、ExecuTorch、llama.cpp 三个适配器处理下载、缓存、预处理与推理。规划支持图像分类、目标检测和文本生成，示例包括 mobilenet_v3_small 和 qwen2.5-0.5b-instruct。
GitHub 上的 epittman23/local-llm 是一个个人 AI 助手项目，通过 OpenRouter 调用云端开源权重模型，并使用 Open WebUI 的永久硬分叉（固定在 v0.11.3、vendor 进仓库）作为聊天界面。项目将原 SvelteKit 前端替换为 Astro + React 前端，聊天与 RAG 数据存于 Postgres+pgvector，后端以 uvicorn 运行在 127.0.0.1:4000。它需 Linux（2026-10-09 起为原生 Fedora 44）、Docker、Bun、Node ≥ 22.12 和 uv，并内置 Benchmarks 页面用于本地推理的测试与调优。
sathya801 在 Hugging Face 发布 NeuralDaredevil-8B-abliterated 的 Q5_K_M GGUF 量化版本，使用 llama.cpp 的 ggml.ai GGUF-my-repo 空间从 mlabonne 的原模型转换而来。用户可通过 llama-cli 或 llama-server 直接加载该模型，也可在 Llama.cpp 中自行编译并推理，server 模式示例使用 -c 2048 上下文。模型细节可参考原始模型卡。
AINode 在 GitHub 开源，一条命令即可在 NVIDIA GB10（DGX Spark、ASUS GX10）或任意 NVIDIA GPU 主机上安装自托管 AI 平台，提供浏览器内推理、微调、量化和 OpenAI 兼容 API，支持 UDP 自动发现组网和跨节点 tensor parallel。README 附带作者在自有 4 节点 487 GB VRAM 集群上的实测记录，包括 Qwen3-235B-A22B TP=4 16.5 tok/s、DeepSeek V4 Flash TP=2 34.5 tok/s 等吞吐与编码 harness 数据，并明确列出尚未验证的项目如 TP=4 当前路径和 Ornith 1.5 视觉。
Hugging Face 上线 Ternary Bonsai 2 27B Uncensored Heretic v2 的社区 MLX 2-bit 转换版，Safetensors 权重约 8.60 GB（含视觉塔），配置上下文上限 262,144 tokens，采用 Apache 2.0 许可。权重来自 Heretic v2 PQ2_0 模型，无损重打包为 affine 2-bit/group-128 存储且未做额外量化或训练。该模型需在 Apple Silicon Mac 上用 mlx-vlm 0.7.2 及支持 prism_hadamard_qwen35 架构的加载器运行，并提供 OpenAI 兼容 API。
Reddit r/LocalLLaMA 用户基于 81KB FP32 的 MacroStory 模型，用本地 Qwen3.8、自适应量化与 QAT 压缩出仅 24KB 的单文件 HTML-LLM，可生成连贯故事，手机上速度可超 60 tokens/秒。模型本体压到 20KB 时 KLD 为 0.01，最终方案 KLD 为 0.04，偶现重复句子。作者还提供了未打包 HTML 与本地 Python 推理文件。
Reddit 用户实测 JetBrains 的 Mellum2.1-12B-A2.5B（Q8）搭配 Pi 和 llama-server，五个 one-shot 测试结果参差：Flappy Bird 能完成但画面简陋，Browser OS、Minecraft 等表现不佳。模型工具调用和 agentic 行为出色，能发现并修复自己的编辑错误，还成功完成修改现有项目代码等任务。在 8GB VRAM + 32GB RAM 笔记本上以 131K 上下文跑出约 40 t/s。
arXiv 论文提出 ReplaySSM，将 SSM 状态表示为检查点加近期 SSM 输入缓冲区，跳过大部分步骤的状态写入，使混合模型的主要状态内存流量约减半。已在 vLLM 中为 Mamba-2 和 Gated DeltaNet 实现，batch size 256 下较调优后的 vLLM 基线加速 1.20–1.47×，在两个 120B 级模型上吞吐量约为 vLLM 投机解码的 1.8×，并支持低成本投机回滚与分离精度的检查点以降低精度损失。
研究者提出 DualQuant，一种双尺度、免校准的后训练量化框架，通过最小化权重重建 MSE 得到逐通道激活 rescaling，无需校准数据即可完成 W4A4 量化，并首次正式支持 MX 与 NV block 格式。在 Llama 和 Qwen 模型的 WikiText-2、C4 及零样本任务上，其精度达到或超过基于校准的 SmoothQuant。Llama-3.1-8B 在 RTX 4090 上的实测推理相比 BF16 最高实现 2.61x 内存节省和 2.46x 吞吐加速。
GitHub 上的 local-llm-bench-lab（v0.11.0）发布，用一个 YAML 文件描述模型、llama.cpp 设置和变化参数，自动编译、下载模型、跑完所有组合并存入 SQLite，最后给出胜出配置和对应的 llama-server 部署命令。工具优先为 Raspberry Pi 5 设计，也可在任意 Linux PC 包括 WSL2 上运行，测量速度、延迟、质量与并发，每个结果记录 llama.cpp commit、模型 sha256、完整 flags 和机器信息，附带置信区间、运行间冷却和不稳定标记，并可选用 lm-evaluation-harness 与 LLM judge。
推荐理由：工具用单个 YAML 定义实验矩阵并自动记录 llama.cpp commit、模型 sha256 与硬件信息，可迁移到自己的本地模型对比流程。
SharpAI 开源了 SwiftLM，一个原生 Swift 编写、面向 Apple Silicon 的 MLX 模型推理服务器，提供严格 OpenAI 兼容 API，无需 Python 运行时，编译为单一二进制文件。项目内置 TurboQuant KV 缓存压缩（约 3.6 bits/坐标，较 FP16 压缩约 3.5 倍）、NVMe SSD 专家流式加载（Qwen3.5-122B 上提速约 10 倍）、投机解码与 MTP，支持 VLM 和音频模型，并附 iOS 端 SwiftBuddy 应用。
OptiQuant 是一个可复现的量化流水线，用于在 12 GB 消费级 GPU 上对 7–8B 级开源 LLM 进行量化基准测试，研究吞吐量、延迟、内存与精度之间的 Pareto 前沿。目前已实现用 llama-bench 测 GGUF 模型（含多次重复的 prefill/decode 吞吐）、结果写入 SQLite 并归档原始 JSON；计划中加入自动化量化扫描（Q8_0 → IQ4_XS）、困惑度与 lm-evaluation-harness 精度评估、vLLM 运行时对比（AWQ/GPTQ）及 Pareto 前沿仪表盘。项目处于早期开发阶段，基于 RTX 5070 Ti Laptop GPU（12 GB）和 CUDA 12.8 开发。
OpenIntelligenceNet/Granite-4.1-3B-Uncensored-GGUF 模型在 Hugging Face 发布，提供 GGUF 量化版本（如 Q4_K_M）。页面给出通过 llama.cpp、Ollama、Docker Model Runner、Lemonade 等工具本地运行该模型的安装与推理命令，也可接入 Pi、Hermes Agent、OpenClaw 等 Agent，支持启动 OpenAI 兼容的本地服务器。