按兴趣浏览，循来源深入。
一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师，七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB 统一内存，2 TB NVMe）的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s，Qwen3.6-35B-A3B 达 76.5 tok/s，推理栈完全离线运行，夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。
推荐理由：零基础作者用 Claude Code 当系统管理员从零搭起本地推理机，给出完整硬件选型、内核坑和逐项优化前后数据，可迁移到类似自建场景。
作者发布 GitHub 仓库 zazuss/mlc-llm-on-jetson，记录在 Jetson Orin Nano 8GB（L4T R39.2.1 / JetPack 7）上从源码编译 MLC-LLM 并运行 Qwen3-1.7B q4f16_1 的完整流程。因该平台无预编译 aarch64 CUDA wheel，四条分发路线均不可用，只能源码编译。实测空 prompt 下单流 decode 53.7 tok/s，比 llama.cpp 同模型快 32%；但 8K 上下文时 decode 掉到 14.96 tok/s，32K 直接 OOM，归因于 MLC 缺少 KV cache 量化（每 token 固定 112 KB）及 TVM 通用 GEMM 模板的低效 attention kernel。
推荐理由：作者给出从源码编译到跑分的完整记录，并用 tegrastats 数据把长上下文掉速归因到反量化 ALU 瓶颈。
Reddit 用户 /u/No-Refrigerator-1672 在 2x RTX 3080 20GB（PCIe 3.0 x16、240W 功耗限制）上实测 Zaggita 发布的 GPU 性能解锁补丁，该补丁修复 Nvidia 对消费卡 AI 相关硬件指令的算力限制。用 vLLM 0.32.0 跑 cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4（fp8 KV cache、MTP 开启）测试，prefill 吞吐提升 20.8% 到 28.6%（提示越长提升越大），TTFT 下降 17.2% 到 22.3%，decode 步速基本不变；MTP 实际接受率约 2，实际生成速度约 45 tok/s。
推荐理由：作者在双 RTX 3080 20GB 上实测 Zaggita 的解锁补丁，给出了从 8k 到 262k 提示长度的 prefill 提速数据和解码不变的结论。
/u/panchovix 在 r/LocalLLaMA 发文解释 GPU FP32 累加解锁原理：NVIDIA 通过工厂熔丝把消费卡的 FP16/BF16/FP8/TF32 配 FP32 累加限速一半，解锁是借固件漏洞写 override 寄存器恢复全速。Turing/Ampere/Ada 可通过驱动加载的 Booter 固件缓冲溢出漏洞解锁，4090 FP16 累加从 165 提到 331 TFLOPS、3090 Ti BF16 GEMM 从 87 到 157、2080 Ti 从 47 到 94；Blackwell 因改用 FSP（RISC-V）信任根、无 Booter 可利用，暂无法解锁。
推荐理由：作者实测多代显卡并核对驱动源码，解释 FP32 累加解锁的原理、各代架构能否解锁的原因与实际收益范围。
Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路：用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图，拟合出约 0.0565 的斜率，即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重；据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点，可给 KV cache 和运行时开销留出余量，而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。
推荐理由：作者用主流开源 MoE 模型拟合出活跃与闲置权重约 1:18 的经验比例，可据此判断 RAM 与 VRAM 的加配时机。
/u/C0smo777 在 EPYC 9575F + 768 GB DDR5 + 4x RTX 3090 上实测 Unsloth 的 DeepSeek-V4.1-Flash-1017 UD-Q4_K_XL 量化版，用 llama.cpp PR #30817 构建，散文生成从 12.6 提升到 25.4 tok/s，代码达 39.3 tok/s。关键调优包括用 --load-mode none --lazy-mode off 全量载入 RAM、每物理核一线程、-ub 2048 使 prompt 处理快约 35%；DSpark Q8_0 投机解码在代码上约 80% 接受率、速度翻倍，散文仅约 30%。作者还记录了 --fit 无法为 drafter 正确分配显存、与 --override-tensor 冲突等坑。
推荐理由：作者实测给出了四组配置的逐项对比数据，包括 DSpark 投机解码在代码与散文上的接受率差异，可复现性较强。
/u/Distinct-Pie2389 在把 Strata 从 IQ2_XS 迁移到 Unsloth UD-IQ4_XS 时发现，0.1.45 之前的版本在请求未设 temperature 且 run config 无 sampling 块时会贪心解码导致模型循环，0.1.45 起改为使用模型卡默认值（thinking: temp 1.0, top_p 0.95, top_k 20）。
推荐理由：作者给出自己 A/B 实测的解码速度与 KL 数据，并附上可直接抄进 run config 的采样与路由参数。
Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。
推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。
Black Forest Labs 发布 FLUX.3 Image Klein，开放蒸馏版（16 步、无 CFG）和 base 版（50 步、CFG）两个权重，首日起即可在 Diffusers 中运行。单模型支持文生图、多参考图生图和 bounding box 布局控制，蒸馏版在 H100 上约 2 秒生成 1024×1024 图像，提供 fp8r 和 nvfp4 量化权重及 DreamBooth LoRA 训练脚本。
推荐理由：官方教程给出两个开放权重的显存占用和 H100 实测生成耗时，还拆解了架构细节，方便评估部署成本。
Reddit 用户 /u/Usual_Tackle5892 不等 512GB 版 M5 Ultra，改用 M5 Ultra 256GB 做 prefill、M3 Ultra 512GB 经 Thunderbolt 5 RDMA 接收缓存做 decode。17.5k token 提示下，GLM-5.3-Flash 4-bit 总耗时从约 40 秒降到约 18.5 秒，缓存交接仅 38 ms 传输 358 MB，M3 上解码 36.8 tok/s 且输出与 M5 一致。作者用 MLX JACCL 后端与 mlx-vlm 0.7.6 搭建，并逐组件分析出 M5 预填充近半时间花在无法用矩阵单元的内核上，限制是 prefill 节点需装下完整模型，仅适用于 256GB 内可容纳的模型。
推荐理由：作者用真实负载实测拆分前后数据，并逐组件剖析预填充耗时构成，方法可迁移到自己的多机推理调优。
/u/Edenar 在 r/LocalLLaMA 分享了一套本地 Agent 部署：用 $500 购入的 CMP 170HX 经 cmpunlocker 解锁到 64GB 显存，通过 USB4 eGPU dock（pcie2x4）接上 Framework Desktop 128GB。Strix Halo 上跑 qwen 3.8 flash next（约 1600-1800 tok/s pp、60 tok/s tg）作主 Agent，CMP 170HX 并发跑 2 个 qwen 3.8 27b（w8a16 量化、各约 200k 上下文）作子 Agent，实际 4 小时会话聚合 1747 tok/s pp、100 tok/s tg。
推荐理由：作者给出完整硬件配置、量化方案和实测吞吐数据，可当作低功耗多卡本地 Agent 部署的参考样本。
Datawhale 团队基于 Stanford CS336 (Spring 2026) 推出中文本土化课程 diy-llm，在线阅读地址为 https://datawhalechina.github.io/diy-llm/。课程共 16 章，覆盖分词器、MoE、GPU 高性能编程、分布式训练、Scaling Laws、数据工程、RLVR、多模态等内容，配套 6 个作业（手搓大模型、Triton 实现 FlashAttention-2、数据处理、GRPO 对齐、模型评估等），并加入 Qwen、DeepSeek 等国产模型案例。文档提供中英双语与 PDF 下载，采用 CC BY-NC-SA 4.0 许可。
推荐理由：斯坦福 CS336 的中文本土化课程，16 章配 6 个作业，覆盖从 tokenizer 到 RLVR 的完整 LLM 构建链条，适合想系统上手的学习者。
Reddit 用户整理 llama.cpp Vulkan 后端的 76 款 GPU 基准数据（数据来自 Performance of llama.cpp with Vulkan #10879），结合 2026 年二手价格排出性价比 Top 20 与最不值 10 款。测试以 Llama 2 7B Q4_0 为基线，结果显示 Nvidia P102-100 约 $45 综合成本约 $0.1569/t/s 居首，AMD Instinct MI50 约 $120 可达 tg128 超过 100 t/s，宽位宽老卡和 HBM2 卡在解码性价比上明显优于窄位宽新卡；Tesla P40 同时出现在最佳与最差榜单中。
推荐理由：作者把 llama.cpp Vulkan 基准数据与 2026 二手价格结合算出性价比排名，还列出最不值榜单，可直接用于预算装机选卡。
Castmates 应用开发者分享在 iPhone 上全本地运行 3B 角色扮演微调模型（Impish Llama 3B，基于 Llama 3.2 3B 加 rank 16 LoRA，Q4_K_M 量化约 2.0 GB）的实测笔记，用 llama.cpp Metal 全层 offload，无需服务器可离线使用。关键结论：历史裁剪预算调至约 0.68 x n_ctx 后长对话事实召回从 25% 升到 75%，逐字历史明显优于有损摘要；BM25 检索会重注入过期事实，过滤窗口内仍含新版本的命中后下降 18.8pp；A18 芯片早期实测约 6 tok/s，4 GB 手机为最低门槛且限 4096 上下文。
推荐理由：作者用固定种子的对照实验给出小模型保持角色的可复用结论，历史裁剪比例和检索过滤做法可直接迁移。
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM，配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文，解码约 90 tok/s，配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由：作者在同一台机器上实测两套本地部署方案，把原始推理速度和真实智能体任务完成时间分开对比，思路对搭建类似配置有参考。
Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程，从手动运行 Gemma 开始，测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding（MTP），再通过 AI Inference 平台复现同一配置作对比。
推荐理由：作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制，方法论清晰，可迁移到自己的推理部署调优。
作者在一台 Mac Studio（M5 Ultra，256 GB 统一内存）上同时驻留四个开源模型，按大模型/小文本/小视觉/决策四槽位分工处理真实 Agent 工作。工作档为 Qwen3.8 Flash Next（99 GB）+ Gemma 4 26B 4-bit + Qwen 3.6 35B-A3B + Clef-Flash 9B，留 82 GB 给上下文；智能档为 DeepSeek V4 Flash 4-bit（常驻 128 GB）。实测吞吐：Qwen3.8 Flash Next 生成约 51-58 tok/s（投机解码草稿接受率 55-65%），DeepSeek V4 Flash 生成 27-31 tok/s。
推荐理由：作者实测了四模型共驻一台 Mac Studio 的内存预算与吞吐数据，还给出本地模型尚不能胜任规划角色的具体分工方案。
作者 Dmitriy-Romanov 发布 recoveryos-llm 仓库，介绍在 macOS Recovery 最小系统里启动 LLM 服务器的方法：64 GB M1 Max 上 GPU 可用内存从正常系统的 55.4 GB 提升到 57.6 GB，多出约 2.3 GB。方法是用 sysctl iogpu.wired_limit_mb=59000 提高 wired limit，配合 MLX 系服务器（SUSHI）运行 176B MoE 量化模型 Qwen3.8-Flash-Next-Sushi-3bpw（约 49 GB 权重），并给出挂载磁盘、启动服务器、Wi-Fi 连接的完整命令。
推荐理由：作者实测在 Recovery 模式下启动 LLM 服务器可多出约 2.3 GB GPU 内存，并给出具体命令和余量经验值，方法可直接复用。
/u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化（约 11GB），在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B，64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化，GSQ-RCO 表现接近全精度；能塞下是因为混合架构只需 16/64 层 KV cache，q4_0 缓存下 64k 仅约 1.1GB。
推荐理由：作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数，附可复现脚本和实测速度数据。
/u/randomgenericbot 在 r/LocalLLaMA 分享在 16GB 显存（RTX 5060 Ti + 单通道 DDR5）上运行 Qwen3.8 27B 的经验：使用 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化（https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF），与朋友在 H200 上跑的 Q8 对比几乎无法区分。
推荐理由：作者实测了 Qwen3.8 27B 在 16GB 显存下的量化选型与 KV 流式方案，并给出各上下文档位的实测速度数据。