新闻、仓库与研究，按时间排列。
作者将 HauhauCS 发布的无审查 Qwen3.8-27B（GGUF 格式）转换为自研 C++/CUDA 推理引擎 NInfer 的格式，在单张 4090 上跑出 262K 全原生上下文、约 130 tok/s 解码速度（MTP3，70.8% 接受率）、9K 提示词下 3,591 tok/s 预填充，Perplexity 与官方产物差距在 1.3% 以内，视觉和工具调用仍可用，采用 E8 4Bit 量化。转换器与说明见 https://github.com/T-Crypt/ninfer-4090/pull/4，仓库为 ninfer。
推荐理由：作者给出转换前后速度、上下文和困惑度的对照数字，读者可据此评估自研推理格式在量化去对齐模型上的可用性。
gpupool 是一个基于 llama.cpp 的控制平面，能把分散在多台机器上的空闲 VRAM 池化，按层拆分模型跨 GPU 和服务器部署，并对外提供单个 OpenAI 兼容 URL。它支持多模型优先级与抢占、KV cache 量化共享、投机解码、Hugging Face 到 GGUF 的内置转换，估计器与已发布的 Q4_K_M GGUF 文件体积误差在 4% 以内；文档提醒 RPC 端口无认证，需在私网或 VPN 内使用。
推荐理由：gpupool 把多台机器的空闲 VRAM 池化成一个 OpenAI 兼容端点，文档给出具体放置方案和显存估算精度，便于评估能否复用自家零散 GPU。
作者在 GitHub 发布 autoclaim-adjudicator，一个车险物理损失理赔的确定性多智能体工作流，由代码控制流程和金额、LLM 负责判断与文案，独立校验并只用免费额度模型（Groq、Google AI Studio、Ollama 本地模型）。锁定测试 300 条理赔中 55.3% 自动决定、其中 97.6% 正确；欺诈两段式筛查以 10% 审查率拦截 78.3% 真实欺诈（ROC-AUC 0.860/0.955）；用 Qwen3-4B QLoRA 微调本地 judge 后捕获率 30% 升至 95%。作者提醒多数理赔为模拟数据，judge 和微调结果来自合成测试用例，详见 limitations.md。
推荐理由：作者给出了车险理赔 harness 的完整实测数据与消融结果，可看到确定性代码与 LLM 分工在具体业务里的落地方式。
Cactus Compute 发布面向手机、可穿戴、机器人、智能家居和微控制器的端侧基础模型 Needle 3，整个模型是单个 8-29 MB 二进制文件，权重和各平台引擎已在 Hugging Face 开放。模型基于 Laddered Simple Attention Network，2 到 20 层每档深度都是可部署模型，在移动端工具调用上以牺牲通用对话能力换取超过 10 倍体积模型的表现，并支持结构化抽取、文本嵌入和同容器的语音转写模型 Whistle（16.9 MB，支持 7 种语言）。提供 needle finetune 本地 LoRA 微调与平台微调两种方式，DroidCall 微调使 4 层以上的子网络在 29M 参数起通过 DeepSeek V4 Flash。
推荐理由：Cactus 官方开源了面向微型设备的 Needle 3，并给出与 Whisper、DeepSeek 等模型的基准对比和完整微调部署路径，适合本地部署场景参考。
hotdogs 在 Hugging Face 上发布 Ternary-Bonsai-2-27B-Abliterated-swift-cap-pq2_0-gguf，提供 Q2_0 量化格式的 GGUF 权重。该模型可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接推理，也支持 Docker、Ollama、LM Studio、Jan、Pi、Lemonade、Hermes Agent、OpenClaw 等工具加载运行。
groxaxo 在 Hugging Face 发布 ThinkingCap-Qwen3.8-27B-abliterated 的 UD-Q4_K_XL GGUF 量化版，共 866 个张量，直接从 BF16 checkpoint 转换并采用 Unsloth 的张量布局与 imatrix。附带独立 MTP draft、视觉 mmproj 和 chat_template.jinja，支持 llama.cpp 的 --spec-type draft-mtp 投机解码、enable_thinking 以及 low/medium/xhigh 推理力度。模型采用 PolyForm Small Business License 1.0.0，仓库声明不提供新的质量基准。
Maximilian228 在 Hugging Face 发布了 huihui-ai 消融版 Qwen3.8-Flash-Next 的 NVFP4 量化包，全部路由专家用 GPTQ（而非 RTN）从 BF16 检查点量化，可在单张 RTX 20-50 显卡（12 GB 以上显存、64 GB 以上内存）上通过 Strata NVFP4 运行 125B 混合 MoE。在留出 token 上，GPTQ 的加权相对误差为 RTN 的 33.5%，48 层全部优于 RTN；实测 182.8 tok/s 解码、2810 tok/s prefill，解码成本与 RTN 持平。
推荐理由：原文给出完整的 GPTQ 量化方法和 48 层误差对比数据，读者可以据此评估 NVFP4 消融模型的精度与部署成本。
wlejon 在 GitHub 发布 brolm，一个纯 C++20 的语言与文本模型推理库，是 brodiffusion 的文本侧对应物，基于 brotensor 和 bromath 构建。它支持编码器嵌入与解码器生成，内置 CLIP、T5、Qwen3、Qwen3.5-VL、Qwen3-VL、Mistral 3.1、Gemma-2、Whisper、NLLB-200 等模型组件，后端覆盖 CPU（FP32）、CUDA、Metal 和 Vulkan（FP16/BF16），可直接加载 safetensors 与 GGUF 权重（量化权重需 GPU 后端）。MIT 协议，Pre-1.0 版本，CI 只覆盖 CPU 构建且自包含测试通过，绿色构建不表示模型输出正确。
推荐理由：README 讲清了纯 C++20 推理库的组件构成、支持的模型族与 GGUF 量化加载方式，并说明 CI 绿色并不代表模型输出正确。
Maximilian228 在 Hugging Face 发布 OrcaRouter Qwen3.8-Flash-Next-Uncensored 的 NVFP4 (GPTQ) 量化包，供 Strata NVFP4 引擎在单张 12 GB 以上 VRAM 的 RTX 20-50 显卡加 64 GB 内存上运行这个 125B 混合 MoE 模型。模型为 abliterated 去对齐微调，权重中移除了拒绝方向，不拒绝有害请求。作者用 GPTQ 从 BF16 checkpoint 重量化全部路由专家， held-out 误差为 ModelOpt RTN 量化的 33.4%，48 层全部低于 RTN，解码速度与 ModelOpt 包基本持平（约 185.6 对 191.6 tok/s）。
推荐理由：作者给出完整的 GPTQ 重量化方法和逐层误差对比，NVFP4 去对齐版相对 ModelOpt 量化把误差降到约三分之一。
作者更新其 LoRA over GGUF 系列，现可在 40 GiB 显存内无 CPU offloading 地训练 Qwen3.8-Flash-Next（125B-A6B + 51B engram），engram 置于磁盘不拖慢训练。在 Strix Halo 上以 2048 上下文块达到 9.5 s/it（200 token/s），距已实现的 >1600 token/s PP 还有优化空间；transformers 5.18 起已合并对现代 GGUF 的初步支持，作者还预告 torch-ggml-ops 仓库中的 GGTensile 在 MMQ 内核上做汇编级优化，多数场景已快于 HIP。代码见 https://github.com/woct0rdho/transformers5-qwen3.5-recipe
推荐理由：作者给出了在 40 GiB 显存内训练 Qwen3.8-Flash-Next 的方法与实测速度，读者可复现这套 LoRA over GGUF 训练流程。
cezarc1 在 GitHub 发布 decodebench，基准测试真实推理栈上的 LLM 解码速度，核心结论是 NVFP4 在小批次下更快。在 vLLM v0.31.0、1× NVIDIA B200、Qwen3-32B（W4A4）上，batch 1/8/32 时 NVFP4 解码吞吐比 MXFP4 高 7.1%/7.5%/4.2%，batch 64–512 时两者差距在 ±2% 以内；大 GEMM 场景 NVFP4 高出约 9% TFLOPS。实验采用预注册假设与判定规则，固定 vLLM、FlashInfer 0.7.0.post1、PyTorch 2.13.0 等版本，并公开原始数据、RESULTS.md 与 fp4bench 工具供复现。
推荐理由：这个基准用预注册协议在真实 vLLM 栈上对比 NVFP4 与 MXFP4 的解码性能，并公开全部原始数据与复现流程，方法设计值得借鉴。
Reddit 用户 /u/Distinct-Pie2389 发布了名为 llm-tune 的 Agent 技能，用于为自己的硬件寻找本地 LLM 的最佳运行设置。支持 Dense、MoE、hybrid MoE/Mamba 架构，覆盖 NVIDIA、AMD、Intel Arc 与 Apple Silicon（MLX），支持 llama.cpp、Ollama、vLLM 引擎，可调量化、上下文/KV cache、GPU offloading、MTP、采样、推理和 agent harness 设置，并测量 VRAM/RAM 占用、tokens/sec、context recall 和输出质量。目前仅在 RTX 4090 上实测，作者征集更多 GPU 环境的反馈和基准结果。
SparseDecoding 是一种面向 LLM 解码阶段的剪枝框架，通过用密集模型自回归生成时（排除 prefill）收集的激活构建校准矩阵，解决自然序列与生成序列之间的分布偏移问题，并配合带 bitmask 索引的优化 N:M 稀疏矩阵-向量核。在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B 上，该方法在长文本生成基准上持续优于固定文本校准，在 A100 GPU 上实现最高 1.48x 的端到端解码加速。
Datawhale 团队基于 Stanford CS336 (Spring 2026) 推出中文本土化课程 diy-llm，在线阅读地址为 https://datawhalechina.github.io/diy-llm/。课程共 16 章，覆盖分词器、MoE、GPU 高性能编程、分布式训练、Scaling Laws、数据工程、RLVR、多模态等内容，配套 6 个作业（手搓大模型、Triton 实现 FlashAttention-2、数据处理、GRPO 对齐、模型评估等），并加入 Qwen、DeepSeek 等国产模型案例。文档提供中英双语与 PDF 下载，采用 CC BY-NC-SA 4.0 许可。
推荐理由：斯坦福 CS336 的中文本土化课程，16 章配 6 个作业，覆盖从 tokenizer 到 RLVR 的完整 LLM 构建链条，适合想系统上手的学习者。
Nirmitdagli 发布开源仓库 llm-serving-bench，用可重复的测试框架在相同硬件、模型、提示词和显存预算下对比 LLM 推理引擎。指标覆盖 TTFT、TPOT、端到端延迟、总吞吐和 GPU 峰值显存，支持 vLLM、SGLang 和 TensorRT-LLM，以及 fp16 与 AWQ int4 量化模型。方法上采用 1/4/16/64 并发的闭环压测，固定输出 128 token、输入裁剪到 512 token、随机提示词禁用前缀缓存，并用 mock 服务器和 pytest 做无 GPU 测试。
推荐理由：README 交代了固定输入输出长度、禁用前缀缓存等公平性设置，读者可据此判断各推理引擎跑分结果是否可比。
Brewference 是一个纯 Java 编写的 transformer 推理引擎，可加载并运行部分 GGUF 模型，不依赖原生代码或 JNI。项目已迁移到 Java 22+，仅支持 CPU 推理，实用模型规模约 7B 及以下，新增对 Qwen 3.5 4B 和 Bonsai 27B 等模型的支持。作者将其定位为学习资源和概念验证，并表示已失去兴趣，近期不再更新。
DPJX04 在 GitHub 发布 llm_panel，把 vllm bench serve --save-result 输出的 JSON 结果文件转成浏览器内可读的对比表格与图表，双击 index.html 即可使用、无需安装。面板支持多文件与多种 JSON 格式混入、读取 vLLM 日志补全模型权重与 KV cache 等信息，提供 Overview、Compare models、Model detail、Accuracy、Vector DB 等视图；内置 52 题的 Starter 测试集可在浏览器内对模型服务做准确率测试，另支持 VectorDBBench 结果对比，数据保存在浏览器本地并可导出工作区或 CSV。
推荐理由：原文完整说明了面板的功能、数据格式与指标口径，读者可据此评估是否适合整理自己的 vLLM 基准结果。
GitHub 上的 roleplay-slim 项目发布 v0.4，提供 Python 库和 OpenAI Chat Completions 兼容代理，用于压缩持久角色机器人的对话历史，同时保证人格前缀逐字节不变以维持 provider 前缀缓存命中。基准显示 500 轮对话从 37,176 tokens 压到 19,545 tokens（省 47.4%），默认规则压缩省 16.5%，可自带 summarizer 进一步省 92% 以上；安装包小于 5 MB，支持 DeepSeek 等前缀缓存 provider，本地代理运行在 127.0.0.1:8791，无需改代码。
推荐理由：作者用基准数据说明只压缩对话历史、不碰人格前缀的做法，读者可以照此判断它能否用在自己的长对话机器人上。
Intel 研究团队提出 RMSE，用于揭示并缓解学习型 PTQ（后训练量化）在顺序量化中的优化不均衡问题：重建损失幅度在不同量化阶段差异巨大，导致 MSE 产生不均衡的梯度更新。RMSE 通过隐式梯度归一化打破这种损失依赖耦合，使各阶段优化更均衡。技术报告已发布在 arXiv，代码和量化模型 checkpoint 即将开源。
Underdog 在 Hugging Face 发布 Underdog-Saluki-27B-1.0，基于 Qwen3.8-27B 的 GGUF 量化版，仅 7.89GB（全尺寸 54GB），可在标准 llama.cpp 上运行。Underdog Bench 上工具调用 88/120，超过全尺寸模型的 84；并行工具调用 42 对 35，9 项基准平均保留 96%。竞赛数学保留约 82% 到 85%，弱点在字母级指令谜题，部分并行调用回复有小格式错误；可选 0.6 到 0.9GB 的 mmproj 文件添加视觉能力，Apache 2.0 许可。
推荐理由：原文给出与全尺寸模型同 harness 的工具调用和基准对比数据，读者可以据此判断这个 8GB 量化版本到底保住了多少能力。
immiq 发布 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated 的 Orinfer E8P Q2A8 量化部署包，专为 Jetson AGX Orin 64GB 设计，源模型通过 abliteration 减少拒答。模型支持文本、多图、thinking、prefix caching 和原生 MTP（最多 7 drafts），上下文容量 262,144 tokens，只读权重约 51.4 GB。在 Jetson AGX Orin 64GB 实测中，文本预填充 8,192 tokens 达 809 tokens/s，Python 代码生成解码速度 53.84 tokens/s，权重采用 Qwen Community License 1.0 许可。
研究者提出 ReCal（Recovery-Aware Calibration），一种即插即用的剪枝前校准调整方法，用于提升剪枝推理模型在线策略蒸馏（OPD）的恢复效果。ReCal 利用未剪枝 teacher 与剪枝 probe 之间的 forward KL，识别被剪枝破坏的 teacher 支持预测并重加权校准统计量。在多个模型和剪枝方法上，ReCal 在 OPD 后数学推理最高带来 16.7 个百分点的 AIME 提升，多数代码生成对比中也有改进。
HauhauCS 基于 Qwen3.6-35B-A3B 发布无审查 Aggressive 版本，测得 0/465 拒答，数据集与能力无改动。模型为 MoE 架构，总参数 35B、每 token 激活约 3B，原生支持 262K 上下文和文本、图像、视频多模态，并提供 Q8_K_P 到 IQ2_M 多档 GGUF 量化（含 K_P 自定义量化），兼容 llama.cpp、LM Studio 等 GGUF 运行时。
LemonSeed Studio 0.5.8 发布，这是一款在 iPad 上通过 Thunderbolt 外接 AMD GPU 做端侧推理的编辑器/IDE，内嵌 Linux amdgpu + amdkfd 驱动并运行 LemonSeed Engine。作者给出 Qwen3.8-27B Q4 配 DFlash2 草稿模型的实测数据：R9700 在 iPadOS/macOS/Linux 下解码达 158.5/159.4/144.6 tok/s，Strix Halo 为 64.4 tok/s；4K prefill 分别为 1,636/1,634/1,418/517 tok/s。
推荐理由：作者实测了同一引擎在 iPadOS、macOS 和 Linux 三种平台下的解码与 prefill 吞吐数据，可作为本地推理性能迁移的参考。
mradermacher 在 Hugging Face 上发布 Gemma-3-Uncensored_v2-merged-GGUF 模型，提供 Q4_K_M 量化版本。用户可通过 llama.cpp 在 macOS、Linux、Windows 上以 `llama serve -hf` 启动本地 OpenAI 兼容服务器（含 Web UI），或用 `llama cli` 在终端直接推理。该模型也支持预编译二进制、源码编译和 Docker 运行。
mradermacher 在 Hugging Face 上发布了 Gemma-3-Uncensored_v2-merged-i1 的 GGUF 量化版本。该模型页面下载量数据未显示，仓库卡片缺少 YAML 元数据。
jakeatx 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-2.3bpw-MTP GGUF 量化版，基于 UkisAI 的 Swift 1.5（构建于 Qwen3.8-27B）的 uncensored BF16 checkpoint 重编码为约 2.3 bits per weight，含 MTP 草稿层，面向 12 GB 显卡约 200K 上下文。
推荐理由：发布者给出了拒绝率降低说明、KL 散度和 LiveCodeBench 实测对比，读者可以据此判断这个 2.3 bpw 极致量化在 12 GB 显卡上的实际表现。
1CatAI 宣布 1Cat-vLLM 更名为 1Cat-LLM，将 NVIDIA Volta / SM70 / Tesla V100 作为一等优化目标，最新发布为 2026 年 10 月 3 日的 v1.5.1。4× V100-SXM2-32GB 上 Qwen3.8-27B-NVFP4 + DFlash2 演示约 260 tok/s，v1.5.1 相比 v1.5.0 在 32K 单请求解码从 49.04 提到 201.18 tok/s；长上下文 Attention 有效算力从 17.92 提升到约 60.8、最高 71 TFLOP/s。新 GGUF 支持带来更多社区量化模型选择，仓库含 MBPP/HumanEval、GSM8K 等质量门与完整基准契约。
推荐理由：同一代 V100 上靠软件栈重写把长上下文 Attention 有效算力从 17.92 提到约 60.8 TFLOP/s，对仍在用旧卡的部署者有直接参考价值。
vieenrose 发布 PULSAR-ASM 仓库，在 Raspberry Pi 4 上用单个静态 AArch64 汇编二进制推理 Gemma-3 检查点（270m 约 6.8 tok/s，1B 约 1.8 tok/s），并在 DGX Spark 上以 C + NEON 纯 CPU 端口运行 Ternary-Bonsai 三元权重模型（27B PTQ1_0 约 7.9 tok/s，8B 约 28 tok/s）。仓库给出与 transformers 及参考服务器逐 token 一致的贪心对齐验证、固定种子下逐字节可复现的输出、从 GGUF/safetensors 头读取维度的单二进制设计，另含 K2-Horizon-0.9B 的纯汇编端口及其会议纪要微调版本演示。
推荐理由：纯汇编与 NEON 移植在 Pi 和 DGX Spark 上跑通多个开源模型，并给出与参考实现逐 token 对齐的验证细节。
takano32 开源 pyodide-llm 项目（2026年9月前名为 pyodide-llama-py），用 Pyodide（编译为 WebAssembly 的 Python）在浏览器中运行语言模型，模型代码用 Python 写，不向服务器发送任何数据。默认模型 tiny-lm 为 29M 参数、33 MB 下载，支持日英文，在 Chromium 中约 280 tokens/s；还可一键使用 llm-jp-3-150m（171 MB）。
Dankpaws 将 grimlee 的 abliterated 版 Swift 1.5 Qwen3.8-27B 转换为 EXL3 4.25bpw 量化格式，面向双 RTX 5060 Ti 16 GB 硬件，支持三路并发、每路 115,200 tokens 上下文，包含原生 MTP 和视觉权重。作者在 PCIe 拓扑受限的测试机上实测了单请求 66.1 tok/s、三短请求 41.9-43.3 tok/s 等吞吐数据，并明确说明未做额外微调或新的 abliteration，也未与 BF16 做成对评测；许可上同时适用 Swift Open License v1.0 和 Apache License 2.0。
推荐理由：原文给出了完整的量化参数、实测吞吐和内存数据，读者可以按自己的双卡配置复现这套 EXL3 本地部署。
navikt 发布 mlx-workspace 仓库，用 MLX 在 Apple Silicon Mac 上本地运行 LLM，通过 mlx_lm.server 提供 OpenAI 兼容接口，供 opencode、aider 和 Copilot CLI 调用，用于回答 nav-pilot alpha 的一个问题：哪个本地模型足以承接原本消耗 Copilot 付费请求的常规编码操作。默认模型为 Qwen3.6-35B-A3B OptiQ 4bit（多文件机械性编辑 35/35 验证通过），Qwen3.8-27B 两个量化版本作为 opt-in 提供；仓库还包含基准脚本、VRAM wired limit 调节和上下文压缩配置，nav-pilot 通过 manifest/models. 拉取模型清单。
推荐理由：原文给出可复现的本地 MLX 基准与选型证据，读者可以照着判断哪个本地模型能接住常规编码操作。
作者修改 MLX 的 QMM 实现，把量化权重从 FP16 暂存改为 FP8，在 Apple Silicon M6 上启用 2 倍速 FP8 矩阵路径，Qwen3-8B 预填充提升约 40%，Qwen3.8-27B 提升约 50%；4-bit affine 权重暂存为 int8 的方案在 M5 及之后也可用。Decode 受带宽限制差异不大，建议保留默认 FP16 暂存。最坏情况困惑度增加低于 1%，代码在实验性 fork（https://github.com/precisit/mlx/tree/staged-8bit-qmm），FP8 改进需 M6 与 macOS 27 及 deployment-target-27 构建。作者披露博客来自其任职的 Precisit。
推荐理由：作者自己改 MLX 的量化矩阵路径并给出实测加速与困惑度数据，方法细节和代码都可复现。
onnx-community 发布 WithinUsAI/Gemma3-Prompt.Coder.it.Uncensored-270m 的 ONNX 版本，可通过 Transformers.js 的 text-generation 管线使用。该模型基于 google/gemma-3-270m-it，用 mergekit 以 SLERP 方法合并 4 个模型而成，是无审查的提示词扩展模型。其安全过滤被大幅削弱，可能生成敏感内容，官方建议仅用于研究或受控环境，不适合生产环境使用。
该 Ollama 分支为 NVIDIA 旧款与现役 GPU（Maxwell 到 Blackwell）提供运行时和 Docker 构建，已验证基础为 Ollama v0.40.0（llama.cpp b11351），GitHub Actions 已产出基于 v0.40.1 的镜像 cuda12-maxwell-0.40.1。
推荐理由：README 附上逐机型实测吞吐、调优参数与兼容性边界，便于读者评估旧显卡跑大模型的具体可行配置。
Reddit 用户 sachasayan 为 Apple Silicon 本地推理制作了六个 Qwen3.5 MLX 4-bit 包，覆盖 2B、4B、9B 三个规模，各有原版和 Huihui abliterated 版本，均为去除视觉的纯文本模型，2B 版仅 1GB。模型已发布在 Hugging Face，作者已在写作软件 Minstrel 中用于摘要和上下文决策任务。
btbtyler09 发布 mi100-llm-testing 仓库，记录 4×AMD Instinct MI100（gfx908）在 vLLM 上的部署方法与性能数据，并提供预构建镜像 btbtyler09/vllm-rocm-gfx908。MI100 缺少 FP8/FP4 硬件且不兼容 Composable Kernel，仓库通过 AITER 的 Triton 内核与自定义补丁跑通推理，最新 v0.28 镜像上 Qwen3.8-Flash-Next（180B MoE，GPTQ-4bit）带 MTP 投机解码单用户达 166.9 tok/s，GSM8K 489/500；仓库还给出 100–290W 功耗曲线、UA 与 TRITON_ATTN 后端对比及各模型逐档测试报告。
推荐理由：作者实测让官方不支持的 MI100 跑通 vLLM，给出镜像、参数和逐档性能功耗数据，方法可直接迁移。
Reddit 用户整理 llama.cpp Vulkan 后端的 76 款 GPU 基准数据（数据来自 Performance of llama.cpp with Vulkan #10879），结合 2026 年二手价格排出性价比 Top 20 与最不值 10 款。测试以 Llama 2 7B Q4_0 为基线，结果显示 Nvidia P102-100 约 $45 综合成本约 $0.1569/t/s 居首，AMD Instinct MI50 约 $120 可达 tg128 超过 100 t/s，宽位宽老卡和 HBM2 卡在解码性价比上明显优于窄位宽新卡；Tesla P40 同时出现在最佳与最差榜单中。
推荐理由：作者把 llama.cpp Vulkan 基准数据与 2026 二手价格结合算出性价比排名，还列出最不值榜单，可直接用于预算装机选卡。
GitHub 上的 llm-inference-system 仓库提供一套大语言模型全生命周期工程平台，架构对标 LLaMA 3、DeepSeek-V3/R1 和 Qwen 2.5，覆盖 SFT（Full/LoRA/QLoRA）、DPO、在线 RL GRPO、分布式通信与高吞吐推理服务。基准实验基于 Qwen2.5-0.5B（494M 参数、24 层、151,936 词表），其零显存 DPO 通过禁用 adapter 复用冻结基座权重，省去参考模型复制；推理侧对比 PyTorch Eager、vLLM、Hugging Face TGI 和 llama.cpp。
javimosch 发布 machin-anvil（由 machin-colibri 更名），一个用小众语言 machin（MFL）从零编写的 LLM 推理引擎，零依赖编译为单一二进制文件。在 Intel i5-13400T 上以 int8 运行 Llama-3.2-1B-Instruct 达约 21 tok/s，比参考 C 实现 llama2.c 的 runq 快 4 倍且逐 token 一致，mmap 冷加载 43 ms。
推荐理由：用一种小众语言从零写成的零依赖推理引擎，给出与参考 C 实现逐 token 对比的实测数据，是理解 CPU 推理性能边界的一个具体样本。