按兴趣浏览，循来源深入。
Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。
推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。
作者用 HuggingChat 里的 ML Intern 在几天内自制了 7 个开源模型（含 citrus-disease-vlm-instruct、Huggy LoRA、Pocket rewriter 0.8B、Agate 4-step 等），总算力成本约 103 美元。文中公开全部提示词（GitHub 仓库 yvrjsharma/ml-intern-prompts），并总结了三条关键写法：让 Agent 先报基线再训练、先跑小规模冒烟测试、设定预算上限并要求超支前请示；例如 citrus 项目用 3,017 张标注图微调 Qwen3.5-2B，测试集准确率从基座 14.9% 提升到 52.8%，成本约 1.90 美元。
推荐理由：作者把 7 个提示词原样公开，预算上限、基线对比和冒烟测试的写法可以直接搬到自己的 Agent 训练项目里。
/u/Prudent_Appearance71 在 2 张 64GB CMP 170HX 上用 EXL3 3.05bpw 让 GLM-5.3-Flash 目标权重完全驻留 HBM，配合 6bpw DFlash2 草稿模型和环形缓存跑通 384K 上下文，解码约 90 tok/s，配置和脚本已开源在 https://github.com/Flun/glm53-flash-cmp170hx-exl3。
推荐理由：作者在同一台机器上实测两套本地部署方案，把原始推理速度和真实智能体任务完成时间分开对比，思路对搭建类似配置有参考。
Flant 的 Александр Подмосковный 发布 hardfest-gpu-workshop 实战教程，从手动运行 Gemma 开始，测算 KV cache 内存、启用 prefix cache 与 CPU offload、chunked prefill 和 speculative decoding（MTP），再通过 AI Inference 平台复现同一配置作对比。
推荐理由：作者以自己的实验台手把手推导 KV cache 计算并逐项验证各优化机制，方法论清晰，可迁移到自己的推理部署调优。
/u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化（约 11GB），在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B，64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化，GSQ-RCO 表现接近全精度；能塞下是因为混合架构只需 16/64 层 KV cache，q4_0 缓存下 64k 仅约 1.1GB。
推荐理由：作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数，附可复现脚本和实测速度数据。
/u/randomgenericbot 在 r/LocalLLaMA 分享在 16GB 显存（RTX 5060 Ti + 单通道 DDR5）上运行 Qwen3.8 27B 的经验：使用 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化（https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF），与朋友在 H200 上跑的 Q8 对比几乎无法区分。
推荐理由：作者实测了 Qwen3.8 27B 在 16GB 显存下的量化选型与 KV 流式方案，并给出各上下文档位的实测速度数据。
/u/Kernoriordan 在 16GB RTX 5080 上用 NInfer v1.5（Ubuntu 24.04 经 WSL2）运行 Qwen 3.8 27B，分配 110,592 上下文，编码任务实测中位解码 96.45t/s（最低 84.6、最高 131.7），中位首 token 时间 1.4 秒。
推荐理由：作者给出 32 次真实编码请求的解码速度、TTFT 和显存占用数据，可复现的启动参数对 16GB 显卡本地部署有直接参考。
/u/Heavy-Level-5215 在被 ROCm 放弃的 RX 580 8GB 上改用 Mesa RADV 的 Vulkan 路线，通过 OpenAI 兼容路由在单卡上运行 qwen2.5-coder 1.5B/7B。
推荐理由：作者用 Mesa RADV 走 Vulkan 路线让被 ROCm 放弃的 RX 580 跑起多模型栈，并给出各模型实测吞吐与换模型耗时数据。
作者开源了一个完全本地运行的 AI Agent 项目 local-ai-agent，支持浏览网页、执行代码和分析图像、视频与文档。
推荐理由：作者完整公开了本地 Agent 的架构、工具清单和 8GB VRAM 下的模型切换细节，可复现也可借鉴到类似项目。