按兴趣浏览，循来源深入。
Embedl 团队发布 Qwen3.8-27B 在 Jetson Thor 上的 INT4 部署方案，batch 1 下解码 39.6 tok/s、端到端 23.6 tok/s、峰值显存 24.8 GiB。方案采用自研量化（误差约为标准 AWQ 的一半）、FlashHead 加速 262k 词表输出层、MTP 投机解码，底层为 TensorRT Edge-LLM 0.10.1；准确率与 FP16 对照为 GSM8K 96.4 对 96.1、IFEval 83.5 对 81.9、MMLU-Pro 79.1 对 79.5，并称快于 Jetson AI Lab 报告的 llama.cpp Q4_K_M + MTP 约 35 tok/s。
推荐理由：作者给出与 FP16 逐项对照的准确率和实测吞吐，并说明量化与投机解码的具体做法，便于复现比较。
GoLeM 在 GitHub 发布，这是一个让 MoE 大模型专家权重保持休眠在磁盘、使用时才逐级调入内存和 VRAM 的推理服务器，保证每个被选中专家的矩阵乘法都在 GPU 上执行。目标模型为 GLM-5.3-Flash，DeepSeek-V4.1-Flash 为实验性支持；在 RX 7900 XTX（24 GiB）+ 93 GiB DDR5 + 4TB NVMe 上，UD-Q4_K_XL 量化 262144 上下文冷/热 prefill 11.1s/13.4s，生成 2.42/2.12 token/s。
推荐理由：原文给出了 MoE 专家按需从 SSD 流式调入 VRAM 的完整实现与实测数据，读者可按硬件配置评估自己的本地部署可行性。
Praecise 在 GitHub 发布 praecise-engine，一个位于应用与推理后端之间的加速层，通过推测解码、硬件感知调优和统一服务接口加速 token 生成，首个支持的后端是 llama.cpp。实测显示 n-gram 自推测在结构化文本上带来 1.5 到 3.5 倍提升（SQL 3.5x），对散文无收益；托管后端（vLLM、SGLang、TensorRT-LLM、transformers）因掌握解码循环而无法被插入推测解码。项目还包含 praecise-host 沙箱化多引擎托管、job 引擎、视频感知管线等组件，整体采用 Apache-2.0 许可。
推荐理由：原文给出实测数据说明推测解码在结构化文本上值1.5到3.5倍、在散文上无收益，并解释了托管后端为什么在结构上无法做推测解码。
Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF，2-bit 版在体积缩小 45% 的同时保留 91.5% top 1 精度，可在 150GB 内存上本地运行。1-bit 版约 89.9%，4-bit UD-Q4_K_XL 达 98.0%；作者称其为同尺寸最强开源模型之一，并提供 Hugging Face 权重链接与本地运行指南。
推荐理由：给出了各量化档位的具体精度数字和内存门槛，读者可直接对照自己的硬件条件选择合适的版本。
XTer123 基于 Heretic 的拒绝方向消融方法，将 Nanbeige4.3-33B 去对齐并量化为 Q5_K_M GGUF，无微调与新训练数据，104 个可消融矩阵中仅改 59 个，抽查张量与基座逐位一致。在其 100 条提示词测试集上，基座模型拒绝 98 次，该版本拒绝 26 次，KL 散度为 0.0224；聊天模板未改动，支持 262144 token 上下文配 4-bit KV cache，附带 rank-3 delta adapter 可重建权重，License 为 Apache-2.0。
推荐理由：原文给出拒绝方向消融方法与 98 比 26 的拒绝率对比和 KL 散度数据，可据此判断这个去对齐版本改动幅度。
anbow1 开源了针对本地大语言模型的编码评测仓库 llm-code-eval，含 base、hard、practical、tools、scene 五套测试，覆盖 Three.js/TypeScript、Python、日常改码、工具调用和大型图形任务。实测显示 RTX 5090 上六个设置在 base 套件得 100%，Qwen3.8-27B GSQ-RCO IQ3_XXS MTP 在 RTX 4080 上以 99.2% 排总榜第一；DeepSeek-V4.1-Flash 全部运行得 100%，192 GB 内存把速度从 11 提到 24-26 tok/s；GLM-5.3-Flash 在 h_p3_line_diff 上 7 次中 6 次超时。
推荐理由：原文给出五套本地模型编码测试的实测数据，按最高分与多轮均值双排序，读者可据此判断量化档位和推理档位对结果的影响。
/u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。
推荐理由：针对常见显存计算器只算权重忽略 KV cache 的痛点，按上下文长度和缓存精度补全估算并给出 GPU 配置建议。
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
推荐理由：仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明，便于判断流式加载 MoE 的实际可用程度。
作者开源 llm-inference，一个面向可测量的 LLM 服务栈，包含从零实现的 continuous batching 引擎、OpenAI 兼容服务器、开环负载生成器和自动生成报告的实验集。在 T4 上对 Qwen/Qwen2.5-0.5B-Instruct 实测，continuous-32 达 6 req/s SLO 容量，为 vLLM（12 req/s）的 50%，静态 KV 槽位加 CUDA graphs 后升至 10 req/s 达 vLLM 下界 83%；附逐 token 正确性测试、精度（fp16/int8/nf4）对比与复现脚本，仓库 MIT 协议。
推荐理由：作者自建推理服务栈并与 vLLM 同卡对比，给出 SLO、CUDA graphs 和前缀缓存的消融数据，可复现。
KaedeTai 将 SC117 制作的 abliterated 版 Occamy-1.0 从 BF16 GGUF 反向转回 HF 布局并量化为 MLX 4-bit，约 20 GB。仓库装回 Accio-Lab 原版的 vision tower，并从 KaedeTai/Ornith-1.5-35B-A3B-BigBang-MTP-zh-mlx-4bit 原样移植 MTP 草稿头；该头在 Occamy 上草稿接受率达 65.6%（每周期 2.13 个 token），高于其原本干的 Ornith 主干的 64.9%。作者用逐张量逆变换脚本还原 llama.cpp 转换改动，42 个对照张量中 40 个与未去对齐基座逐位一致，其余两个正是消融所改的矩阵。
推荐理由：作者给出了逐张量校验和同机对照的 TMMLU+ 分数，可以核对这套 GGUF 转 MLX 加移植 MTP 头的转换质量与速度收益。
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参，附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%；同时给出负面结果，--expert-cache 按 MiB 而非槽位设置（填满显存时 −72%）、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。
推荐理由：作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位，附完整可用配置。
dealignai 在 Hugging Face 发布 Nanbeige4.3-33B 的 UNCensored GGUF 版本，移除基础模型的拒绝行为，提供 Q6_K（25.3 GB）、Q4_K_M（18.7 GB）、IQ2_XXS（8.7 GB）三种量化，均附带基于 1M token 校准内容的 imatrix，保留原生 think on/off 与 512K 上下文。与同量化基础版对比，MMLU chat 下降 Q6_K −1.74pp、Q4_K_M −1.09pp、IQ2_XXS −4.53pp；6 提示多轮合规测试三个量化均为 6/6 通过、0 次拒绝。
推荐理由：原文给出三种量化的 MMLU 前后对照和多轮拒绝率实测，读者可据此评估去掉拒绝行为的能力代价。
FRENCHFAKER 发布首个 abliterated 版 Nanbeige4.3-33B GGUF，用 refusal-direction ablation 移除原始模型对进攻性安全请求的拒绝行为。50 条有害提示词基准上拒绝率从 80%（40/50）降至 8%（4/50），安全/渗透测试类提示词拒绝率约 0%，推理与工具调用保持完整；IQ4_XS 量化约 17 GB，可在单张 24 GB GPU 上以约 33 tok/s 运行，基于 Apache-2.0 许可。
推荐理由：原文给出拒绝率前后对照和逐层消融方法，读者可据此评估这个去对齐版本的可靠程度。
3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版，目标模型采用 affine 2-bit/group-128 重建，搭配 Inco AI 的 BF16 DFlash2 草稿模型，完整下载 74.048 GB。在 M1 Max 64 GiB 实测中，代码与数学 warm 解码达 37.62 和 33.69 tokens/s，约为基线的 1.70× 和 1.56×，文本仅 1.048×；固定 50 题 GSM8K 子集全部答对且与原生参考一致，进程峰值内存 42.12 GiB。
推荐理由：作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值，并给出 32/48/64 GiB 的可行性判断，便于评估本地部署。
/u/nathannguyennng 解锁了 RTX 3080 20GB 的 reBAR 与 P2P，/u/No-Refrigerator-1672 在双卡张量并行下用 vllm 0.32.0 实测验证。8k 到 261900 token 长度的 prompt 预填充速度较原厂提升 71%-115%，其中 P2P 相对仅 gpu_unlock 另有最多约 70% 提升；开启 MTP 后 decode 速度基本在噪声范围内无明显变化。作者提示 3080 用户在长 prompt 场景（含 agentic coding）可关注该解锁，且需双卡均有完整 PCIe 连接才能获得同等收益。
推荐理由：作者实测了 reBAR 与 P2P 解锁在双 RTX 308 20GB 张量并行下的 TTFT 与 ITL 数据，可看清该解锁对长上下文预填充的实际收益边界。
meshapplied 发布开源工具 Goethe，可将带 NVIDIA GPU 的 Linux 机器变成自托管 API，兼容 OpenAI、Anthropic 和 LiteLLM 客户端，数据留在自有硬件上。模型基于 SGLang 运行，支持 continuous batching、prefix caching 和 CUDA graphs，并内置面向 Blackwell、Hopper、Ada 和 Ampere 的 NVFP4 内核，4-bit 模型显存占用约为全精度四分之一；支持按客户端发 key、限速与撤销，模型重启后自动恢复加载，仓库采用 Apache-2.0 许可，链接 https://github.com/meshapplied/goethe。
推荐理由：原文给出了从安装到共享 API 的完整命令流程，并说明基于 SGLang 加自研 NVFP4 内核的推理方案，便于自建 GPU 推理服务时参考。
understudy-lm 项目发布了仅从目标 LLM 的文本输出训练的推测解码草稿模型，无需 logits、隐藏状态或更小的同族模型，草稿一次猜测 4 个 token，由目标模型一步验证，输出不变。发布的草稿针对 Qwen3.5-4B 训练，实测每步接受 1.58 个 token，投影加速 1.43x；在 llama.cpp 下因需逐 token 起草并恢复状态反而更慢（27 到 36 tok/s 对 69 tok/s），需支持 lookahead heads 的运行时才能兑现。
推荐理由：只靠目标模型的文本训练推测解码草稿模型，不用 logits 和隐藏状态，并给出接受的实测与局限说明。
guregodevo 发布 janis，一个用 Go 编写的开源权重模型本地推理模块，定位为 MLX 版 Ollama：Apple Silicon 上跑 MLX 后端，其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点（http://127.0.0.1:8090/v1），支持流式 chat completions、tool calls、运行时切换已加载模型，权重从 huggingface.co/mlx-community 拉取，支持 Qwen3、Qwen3.5、Gemma 系列，另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。
推荐理由：作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起，说明了本地部署的工程取舍与用法。
/u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。
推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。